Last active
July 6, 2023 08:43
-
-
Save jnory/bf7d94069223902c252d03799d11f85f to your computer and use it in GitHub Desktop.
無料版colabのGPUなしランタイムでrinna modelを動かす
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo を動かすためのツールとして https://github.com/togethercomputer/redpajama.cpp があります。
transformersの形式からggmlの形式に変換するスクリプトが付属していますが、これはモデルを一度メモリにロードする際メモリ使用量が多く、無料版のColabではメモリオーバーしてしまいます。
それの対策として、メモリ使用量を抑えながらモデルを読み込むように修正パッチを当てました。
結果として、GPUなしの無料版Colabでrinnaモデルをggmlに変換できました。