GCP AI Platform Notebook - Kaggle Env - Trouble Shooting

dev-shm is too small.md

事象

Jupyterでコード実行したときに、shared memoryの量が少ないと起こられる。

jupyter上のconsoleで df -hP すると /dev/shm に 128M くらいしか割り当てられていない

対処

• VMインスタンスにSSH接続
• 以下のスクリプトでsharedメモリを増やす

#!/bin/bash

set -e
CONTAINER_NAME="$1"
if [ -z "$CONTAINER_NAME" ]; then
        echo "ERROR - Usage: $0 <container-name> [shm-size]"
        exit 1
fi
if [ ! -z "$2" ]; then
        SHM_SIZE="$2"
else
        SHM_SIZE="1073741824"
fi

echotime() {
        echo [$(date "+%Y-%m-%d %H:%M:%S")] $@
}

CONTAINER_ID=$(docker inspect -f '{{ .ID }}' $CONTAINER_NAME)
HOST_CONFIG=/var/lib/docker/containers/$CONTAINER_ID/hostconfig.json

echotime "Stopping docker service"
service docker stop

echotime "Changing container's hostconfig.json"
sed -i 's/"ShmSize":[0-9]\+,/"ShmSize":'$SHM_SIZE',/' $HOST_CONFIG

echotime "Starting docker service"
service docker start

Link

docker/cli#1278 (comment)