はじめに¶
この文書では、GPUを利用可能なVCノードの作成とGPUを利用するアプリケーションコンテナの実行を行います。
GPU利用について¶
インスタンスタイプ、VMサイズ¶
GPUが利用できるEC2インスタンスタイプ(Amazon)、VMサイズ(Microsoft Azure)を指定する必要があります。
ドライバ、ライブラリなど¶
GPUを利用するためには、GPUドライバ、ライブラリなどを準備する必要があります。
VCPではGPUドライバなどをVCノードの構成に合わせた形でセットアップしたものを事前に用意してあります。そのため通常のVCノードを利用する場合にspec指定を行ったのと同様の手順で、いくつかのパラメータを specに指定するだけでGPUを利用することが出来ます。
GPUを利用しない場合（下図左側）と、GPUを利用する場合（下図右側）のVCノードの構成を以下に示します。
GPUを利用しない場合と比較するとGPUを利用する場合は次の点が追加されています。
- OS（マシンイメージ）に nvidia ドライバをインストールしている
- BaseコンテナでNVIDIA Container Runtime for Docker(nvidia-docker)を利用できるようにセットアップしている
nvidia ドライバはカーネルモジュールになっているため、VMのカーネルバージョンに強く依存しています。そのためnvidiaドライバはBaseコンテナではなくOS（マシンイメージ）にインストールしています。
操作手順¶
以下では次の操作を行います。
- GPU用VCノードの起動
- GPU用VCノードの稼働確認
- GPU利用アプリケーションコンテナの実行
GPU用VCノードの起動¶
GPUを利用するために必要となるパラメータを specに指定して、VCノードを起動する。
アクセストークンの入力¶
VCP SDKを利用するにはVCコントローラのアクセストークンが必要となります。次のセルを実行すると入力枠が表示されるのでアクセストークンの値を入力してください。
アクセストークン入力後に Enter キーを押すことで入力が完了します。
from getpass import getpass
vcc_access_token = getpass()
VCP SDKの初期化¶
VCP SDKの初期化を行います。
from common import logsetting
from vcpsdk.vcpsdk import VcpSDK
# VCの管理オブジェクトの作成
vcp = VcpSDK(
vcc_access_token, # VCCのアクセストークン
)
上のセルの実行結果がエラーとなり以下のようなメッセージが表示されている場合は、入力されたアクセストークンに誤りがあります。
2018-09-XX XX:XX:XX,XXX - ERROR - config vc failed: http_status(403)
2018-09-XX XX:XX:XX,XXX - ERROR - 2018/XX/XX XX:XX:XX UTC: VCPAuthException: xxxxxxx:token lookup is failed: permission deniedこの場合はアクセストークンの入力からやり直してください。
VCノードのspecを指定する¶
GPUを利用するVCノードのspecを指定します。
specの取得¶
プロバイダと flavorを指定して specオブジェクトを取得します。ここでは以下の値を指定します。
- プロバイダ:
aws - flavor:
gpu
flavor に gpu を指定することで、GPUが利用できるインスタンスタイプが選択されます。
spec = vcp.get_spec(
'aws', # プロバイダ
'gpu' # flavor
)
次の2点をspec の設定に追加します。これらがGPU用を利用するVCノードに必要なパラメータになります。
- GPUコンテナを実行するためのランタイム（（nvidia-docker2）をセットアップしたBaseコンテナイメージ
- GPUを利用するための nvidiaドライバをインストールしたVMイメージ
# Baseコンテナイメージの設定
spec.image = 'vcp/gpu:1.6.2-gpusopt'
# VMイメージの設定
spec.cloud_image = 'niivcp-gpu-a-21.04.0-r0'
sshの鍵ファイルを設定する¶
VCノードにsshでログインするためには事前に公開鍵認証の鍵を登録する必要があります。そのための設定をここで行います。
VCノードに登録する公開鍵認証の公開鍵のパスを次のセルで指定してください。
import os
ssh_public_key = os.path.expanduser('~/.ssh/id_rsa.pub')
指定した公開鍵を spec に設定します。
spec.set_ssh_pubkey(ssh_public_key)
後でVCノードにSSHでログインする際に秘密鍵も必要になるので、ここで設定しておきます。次のセルで秘密鍵のパスを指定してください。
ssh_private_key = os.path.expanduser('~/.ssh/id_rsa')
公開鍵と秘密鍵が正しいペアであることをチェックします。次のセルを実行してエラーにならないことを確認してください。
!grep -q "$(ssh-keygen -y -f {ssh_private_key})" {ssh_public_key}
specの設定内容の確認¶
ここまで spec に設定した内容を確認してみます。
print(spec)
VCノードの起動¶
VCノードの起動と、VCノードを操作するためのAnsible設定を行います。
Unitの作成とVCノードの起動¶
Unitの作成とVCノードの起動を行います。
まずはUnitGroupを作成します。UnitGroupの名前は handson201とします。
unit_group = vcp.create_ugroup(
'handson201' # UnitGroupの名前
)
VCノードを起動する前のUnitとVCノードの状態を確認しておきます。
from IPython.display import display
# Unitの一覧を DataFrame で表示する
display(unit_group.df_units())
# VCノードの一覧を DataFrame で表示する
display(unit_group.df_nodes())
Unitの作成とVCノードの起動を行います。
処理が完了するまで2分～7分程度かかります。
# Unitの作成（同時に VCノードが作成される）
unit_group.create_unit(
'gpu1', # Unit名
spec
)
起動したUnit, VCノードの一覧を表示します。
# Unitの一覧を DataFrame で表示する
display(unit_group.df_units())
# VCノードの一覧を DataFrame で表示する
display(unit_group.df_nodes())
疎通確認¶
起動した VC ノードに SSHでログイン出来ることを確認します。
まず、VCノードのIPアドレスを確認します。
ip_address = unit_group.find_ip_addresses(node_state='RUNNING').pop()
print(ip_address)
VCノードにSSHでログインする準備としてVCノードのホストキーを ~/.ssh/known_hosts に登録します。
!touch ~/.ssh/known_hosts
# ~/.ssh/known_hosts から古いホストキーを削除する
!ssh-keygen -R {ip_address}
# ~/.ssh/known_hostsにVCノードを登録する
!ssh-keyscan -H {ip_address} >> ~/.ssh/known_hosts
VCノードにSSHでログインをしてコマンドを実行してみます。
!ssh root@{ip_address} ls -la
GPU用VCノードの稼働確認¶
NVIDIA GPUではGPUデバイスを管理、監視するためのコマンドnvidia-smiが提供されています。ここでは、起動したVCノードのGPUに関する状態を取得するためにnvidia-smiコマンドを実行します。
nvidia-smi コマンドを利用するとGPU名やドライババージョン、GPUメモリ使用量、GPU使用率、GPUの温度などのGPUに関する情報を取得することができます。nvidia-smiコマンドが表示するサマリ情報の例を以下に示します。
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130 Driver Version: 384.130 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla K80 Off | 00000000:00:1E.0 Off | 0 |
| N/A 51C P0 59W / 149W | 0MiB / 11439MiB | 96% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+nvidia-smiコマンドはCUDAコンテナの中で実行するので、まずコンテナイメージの取得を行います。(CUDAコンテナはVCノード上のアプリケーションコンテナとして実行されます)
コンテナイメージの取得に１～３分程度かかります。
!ssh root@{ip_address} docker pull nvidia/cuda:8.0-cudnn5-runtime-ubuntu16.04
CUDAコンテナからnvidia-smi コマンドを実行してGPUに関するサマリ情報を表示させます。
コンテナを実行する際に
docker runコマンドの引数に--gpus allオプションを追加しています。このオプションを指定することで、コンテナ内からGPUを利用するための処理が nvidia-container-runtime によって実行されています。
!ssh root@{ip_address} docker run --gpus all --rm \
nvidia/cuda:8.0-cudnn5-runtime-ubuntu16.04 nvidia-smi
次に、GPUに関する詳細情報を取得するために --queryオプションを指定して nvidia-smi コマンドを実行します。
nvidia-smiコマンドの他のオプションについては nvidia-smi documentationを参照してください。
!ssh root@{ip_address} docker run --gpus all --rm \
nvidia/cuda:8.0-cudnn5-runtime-ubuntu16.04 nvidia-smi --query
準備¶
OpenPoseのコンテナイメージを作成するためのDockerfileとコンテナを起動する際のオプションなどを記述した run.sh をGPU環境に配置します。
次のセルではこれらのファイルがopenposeフォルダに置かれていることを前提としています。
!scp -r openpose/ root@{ip_address}:.
!ssh root@{ip_address} 'cat openpose/run.sh'
!ssh root@{ip_address} 'cd openpose && sh run.sh'
コンテナが起動されたことを確認します。次のセルを実行してStateが Up と表示されていればコンテナの起動に成功しています。
!ssh root@{ip_address} 'docker ps'
OpenPoseの利用¶
サンプルの画像を処理する¶
OpenPoseのサンプル画像を処理してみます。
まず処理するファイルを格納するディレクトリを作成します。
result_dir = './openpose_result'
!mkdir -p {result_dir}
処理前のファイルをOpoenPoseコンテナからresult_dir配下に取得します。
!ssh root@{ip_address} \
'cd openpose && docker cp openpose:/root/openpose/examples/media .'
!scp -r root@{ip_address}:openpose/media {result_dir}
処理前の画像を１つ表示させてみます。
from IPython.display import Image
Image(filename='openpose_result/media/COCO_val2014_000000000192.jpg')
処理前の画像のリンクから他の画像を確認することもできます。
OpenPoseで画像の処理を行います。 実行オプション等についてはOpenPoseのドキュメントを参照ください。
!ssh root@{ip_address} 'docker exec -t openpose \
build/examples/openpose/openpose.bin --display 0 \
--image_dir examples/media --write_images /root/result \
--write_images_format jpg'
処理後のファイルをVCノード上からresult_dir配下に取得します。
!scp -r root@{ip_address}:openpose/result {result_dir}
OpenPoseで処理した画像を１枚表示させてみます。
Image(filename='openpose_result/result/COCO_val2014_000000000192_rendered.jpg')
処理結果のリンクから他の処理結果の画像を確認することもできます。
サンプルの動画を処理する¶
処理前の動画を確認します。
from IPython.display import HTML
HTML("""<video style="max-width: 100%;" controls>
<source src="openpose_result/media/video.avi" />
</video>
""")
OpenPoseのサンプル動画を処理してみます。
処理には30秒程度かかります。
!ssh root@{ip_address} 'docker exec -t openpose \
build/examples/openpose/openpose.bin --display 0 \
--video /root/openpose/examples/media/video.avi --write_video /root/result/result.avi'
処理結果のファイルを取得します。
!scp -r root@{ip_address}:openpose/result {result_dir}
処理後の動画を確認します。
# Notebookに埋め込んで再生する場合に、aviだと再生に失敗するが、mp4に変換すると再生できる。
# mp4に変換
!ffmpeg -i openpose_result/result/result.avi openpose_result/result/result.mp4
from IPython.display import HTML
HTML("""<video style="width: 100%;" controls>
<source src="openpose_result/result/result.mp4" />
</video>
""")
上記で見られない場合は、処理後の動画 (result.avi)をダウンロードして確認します。
GrafanaでVCノードの利用状況を確認する¶
GrafanaでVCノードの利用状況を確認してみます。
vcc_ctr = vcp.vcc_info()['host']
http_host = vcc_ctr.split(':')[0]
grafana_url = "https://{}/grafana/d/vcp/vcp-metrics?refresh=5s".format(http_host)
print(grafana_url)
ログインするためのユーザ、パスワードは
admin/adminです。
インターネット上の画像を処理する¶
インターネット上の画像を処理してみます。
処理対象となる画像の URL のリストを設定してください。
image_urls = [
# (例)
# 'http://www.example.com/sample.jpg',
]
処理対象の画像ファイルをOpenPoseコンテナに配置します。
for url in image_urls:
!ssh root@{ip_address} 'cd openpose/data && curl -O {url}'
OpenPoseの処理を実行します。
if len(image_urls) > 0:
!ssh root@{ip_address} 'docker exec -t openpose \
build/examples/openpose/openpose.bin --display 0 \
--image_dir /root/data/ --write_images /root/result2'
処理結果のファイルを取得します。
!scp -r root@{ip_address}:openpose/result2 {result_dir}
処理結果を確認します。
後始末¶
ビルドしたOpenPoseのイメージをプライベートレジストリに格納する場合は、次のセルのコメントを削除して実行してください。
完了するまで2分程度かかります。
# !ssh root@{ip_address} 'cd openpose && docker-compose push'
全てのリソースを削除します。
処理が完了するまで1分～2分程度かかります。
unit_group.cleanup()
ビルドのログがある場合は削除します。
if 'log_file' in locals():
!rm -f {log_file[1]}
取得した画像ファイルなどを削除します。
!rm -rf {result_dir}