hnmr293

$ clang++ -o layer_norm -Wall --cuda-gpu-arch=sm_89 -L /usr/local/cuda-12.3/targets/x86_64-linux/lib/ -lcudart -O2 layer_norm.cu

hnmr293

from dataclasses import dataclass
from contextlib import contextmanager
import yaml
import torch
import torchvision
from tqdm import tqdm

from inference.utils import calculate_latent_sizes
from train import WurstCoreC, WurstCoreB
from train.base import DataCore

hnmr293

Windows 11 のレジストリによる関連付けの設定

シェル (explorer.exe) からファイルを開こうとしたときの処理

ref.
レジストリの直接編集によるファイルの拡張子と関連づけ - Glamenv-Septzen.net
Application Registration - Win32 apps | Microsoft Learn
Creating Shortcut Menu Handlers - Win32 apps | Microsoft Learn

Windows で名前を指定してファイルを開こうとした場合、以下の順番でファイルが探索される。

hnmr293

LoRA の中身が知りたくて――

やりたいこと

モデルの重み行列を $W$, LoRA の重み行列を $ΔW$ とする. このとき入力ベクトルに適用される変換は $W+ΔW$ となる.

すなわち LoRA は $W$ と $ΔW$ の関係で特徴づけられる. うまくこの関係を抽出できれば, たとえば類似の役割を持った LoRA では特定の層で $W$ よりも $ΔW$ が顕著に大きい……といったように, LoRA の効果を定量的に解釈することが可能になると期待できる。

そこで, いろいろな LoRA での層ごとの $ΔW$ の特徴および $W$ と $ΔW$ の関係を調べたい.

hnmr293

commit: 2b63a22 にて区切り文字を `;` に変更したので注意。

ブロック別プロンプトで特定の1ブロックにプロンプトを追加してみるテスト

ブロック別プロンプトについては以下を参照。

Stable DiffusionのU-Netでブロックごとに異なるプロンプトを与えて画像生成する（ブロック別プロンプト）