AWS DevDay 2020 Kubeflow Pipelines - SageMaker Workshop

README.md

Kubeflow Pipelines - SageMaker Workshop

メンバー

• Owner
  • Yoshitaka Haribara
  • Kazuki Matsuda
• Container
  • Tori Hara
  • Yuki Asano
  • Shinya Tahara
• ML
  • Osamu Matsumoto
  • Kazuki Motohashi
  • Yohei Tsuji

手順

ハンズオン環境

• ご自身のアカウント (オレゴンを推奨)、あるいは運営側で用意した Event Engine の一時アカウント (オレゴンリージョン) をご利用下さい
• https://dashboard.eventengine.run/
• Event Hash: <Chat 欄でアナウンスします>

注意事項

• 命名規則は Workshop の手順書通り、かつオレゴンリージョンで進めた方が書き換えが少なくて楽です。
• EKS Workshop のページは 右端のオレンジ三角で遷移していきます。ページの下部に書かれている手順を見過ごして次に進むと後で困るので注意して下さい。

メインの手順

まずはアカウントのセットアップをして下さい。

• https://www.eksworkshop.com/020_prerequisites/
  • ご自身の AWS アカウントをご利用の方 → IAM User の作成
  • Event Engine ご利用の方 → Amazon アカウントでログイン
• その後、ハンズオン用に Cloud9 の環境を作ります。

順調に進んだら、 eksctl で EKS クラスターを作成します。

• https://www.eksworkshop.com/030_eksctl/
• 手順に Warning が書かれていますが、EKS クラスターを作る前に IAM Role (eksworkshop-admin) が正しくセットされているかは確認。
• ここまでで開始20分ぐらいを想定しています。EKS クラスター作成を15分ぐらい待つ間、解決できないエラーが出たら GoToWebinar のチャット欄で質問して下さい。
  • EKS クラスター作成後、Kubeflow インストールするところで desired capacity を 3 → 6 に上げて数分待つので、先に eksworkshop.yaml を書き換えといた方が時間節約できて良い。
  • クラスター作成の待ち時間で、自己紹介と、今回のハンズオンの全体像について説明する予定です。

クラスターが作成できたことを確認したら、次は Kubeflow をインストールします。

• https://www.eksworkshop.com/advanced/420_kubeflow/
  • (Note にあるように、プロダクションでは Cognito での認証と ACM での SSL を設定しましょう。)
• port-forward して Kubeflow Dashboard を表示。ここまでで開始50分ぐらいを想定。
  • https://www.eksworkshop.com/advanced/420_kubeflow/dashboard/
• はじめの Notebook “myjupyter” と Pod での学習・推論は時間がないので飛ばして下さい。
• Notebook “eks-kubeflow-workshop” を作って Fairing を試します。
  • https://www.eksworkshop.com/advanced/420_kubeflow/fairing/
  • 02_01 Fairing (intro)
    • aws-samples/eks-kubeflow-workshop#72
      • ModuleNotFoundError: No module named 'tensorflow.python.util.module_wrapper' が出るので
      • base image を TF 1.15 に書き換える (1文字だけ)
  • 02_06 Fairing (end-to-end) も飛ばして大丈夫です。
    • https://www.eksworkshop.com/advanced/420_kubeflow/fairing/
  • 05_04 (Kubeflow Pipelines + SageMaker, 30 min)
    • Amazon SageMaker Components for Kubeflow Pipelines とは (en (https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-components-for-kubeflow-pipelines/) | ja (https://aws.amazon.com/jp/blogs/news/introducing-amazon-sagemaker-components-for-kubeflow-pipelines/))
    • バケットを作成して S3_BUCKET に指定
    • !pip install boto3 --upgrade
    • 詰まったら、awscli 入れ直して、 .bash_profile に PATH 通して、こんな感じでベタ書きしたらいけます

%%bash
source ~/.bash_profile
aws s3 mb s3://ylbqhbplvurihiht4610875655447503-kubeflow-pipeline-data --region us-west-2

まとめ

• https://github.com/aws-samples/eks-kubeflow-workshop/tree/master/notebooks の中で興味のあるノートブックを残りの時間やワークショップ後に試してみて下さい。

ハンズオン後に紹介すること (メモ)

• SageMaker のハンズオンも定期的にやっています
• アンケート
  • アンケートが2種類あります。
  • 1. Kubeflow ワークショップ用
  • 2. Dev Day全体アンケート
    • なお、②にお答えいただくと、後日オンデマンドサイトのご案内をお送りします。