ControlNetを併用した形でAnimateDiffを試すためのGoogle Colab用Stable Diffusion web UI起動コマンド

try-animatediff-with-controlnet.sh

### AnimateDiffをControlNetを用いて利用するための起動コマンド、その１ ###
# こちらのコマンドは以下のTDSさんによるX、ならびにnoteの投稿を参照して作成したものです
# X URL    : https://twitter.com/TDS_95514874/status/1694482538297991440
# note URL : https://note.com/tds_/n/n5aad9ef8a9b1
#
# 実行手順：
# このコマンドはweb UI実行後に取得されるSampling methodsのDDIM関連のコードを差し替える必要があるため、一度webUIを実行した後、
# 再度別のコマンドを実行するという、二段階での実行を必要とします。
#
# １．『AnimateDiffをControlNetを用いて利用するための起動コマンド』はその１とその２に分かれていますので、それぞれを別のコードブロックにまずは貼り付けてください
# ２．まずは『その１』のコードブロックのみを実行し、web UIを起動させます。こちらのコードブロックはweb UIの起動確認後、閉じてしまって問題ありません
# 3.次に『その２』のコードブロックを実行することで利用が可能となります
################################################

# stable diffusion webuiのリポジトリをクローンして、クローンしたフォルダに移動
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

# ライブラリのバージョンでエラーになるため以下を実施
!pip install torch==2.0.0+cu118 torchdata==0.6.0 torchtext==0.15.1 torchvision==0.15.1+cu118 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

# v1.5.2を利用する
!git checkout tags/v1.5.2

# モデルファイルのダウンロード(chilled_remix v2)
!wget https://huggingface.co/sazyou-roukaku/chilled_remix/resolve/main/chilled_remix_v2.safetensors --directory-prefix=/content/stable-diffusion-webui/models/Stable-diffusion/

# ControlNetをインストールした状態でweb UIを実行すると"ERROR: Failed building wheel for pycairo"というエラーが出るため、以下のコマンドをまずは実施
!apt -y install -qq aria2 libcairo2-dev pkg-config python3-dev

# TDSさんが改良されたバージョンのControlNet 1.1をダウンロード
!git clone -b animate-diff-support https://github.com/TDS4874/sd-webui-controlnet.git /content/stable-diffusion-webui/extensions/sd-webui-controlnet

# modelファイルのダウンロード
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11e_sd15_ip2p.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11e_sd15_ip2p.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11e_sd15_shuffle.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11e_sd15_shuffle.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11f1e_sd15_tile.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11f1p_sd15_depth.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_canny.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_canny.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_inpaint.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_inpaint.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_lineart.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_mlsd.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_mlsd.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_normalbae.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_normalbae.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_openpose.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_scribble.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_scribble.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_seg.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_seg.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15_softedge.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_softedge.pth
!curl -Lo /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_v11p_sd15s2_lineart_anime.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15s2_lineart_anime.pth

# AnimateDiffの導入
!git clone https://github.com/continue-revolution/sd-webui-animatediff.git /content/stable-diffusion-webui/extensions/sd-webui-animatediff

# AnimateDiff用のモーションモジュールダウンロード (v14のほうが結果が今は良いとのことで、こちらを選択しています)
!wget https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v14.ckpt --directory-prefix=/content/stable-diffusion-webui/extensions/sd-webui-animatediff/model

# After Detailerの導入
!git clone https://github.com/Bing-su/adetailer.git /content/stable-diffusion-webui/extensions/adetailer

# TDSさんのnoteで公開されている new_schedule.json のダウンロード
!wget https://note.com/api/v2/attachments/download/ab17078dadbce7bc28352f78ae7a5888 --content-disposition --directory-prefix=/content/stable-diffusion-webui

# Web UIを実行 (DDIM関連のコードを取得するため一度起動）
!python launch.py --share --xformers --enable-insecure-extension-access --no-half-vae --theme dark

### AnimateDiffをControlNetを用いて利用するための起動コマンド、その２ ###
# web UIを一度実行してからでないと以下のパスは存在しないため、一度web UIを実行・終了してから以下のコマンドを実行する
# TDSさんのnoteで紹介されているddim.pyをダウンロードして適用
!curl -L https://gist.githubusercontent.com/safa-dayo/d1ee442b023b12165a05e829c3e9282b/raw/542608645ed07a5dc9e07da5ed39e12b72f318f8/ddim-animate-diff-support.py -o /content/stable-diffusion-webui/repositories/stable-diffusion-stability-ai/ldm/models/diffusion/ddim.py

# Web UIを実行
!python launch.py --share --xformers --enable-insecure-extension-access --no-half-vae --theme dark