目的に制限のかからない無検閲LLMを使うために、数十万円かけてローカルLLM実行環境を用意する必要はあるでしょうか? Qwen 3.8 27B Uncensoredが話題になったここ数週間、そうした相談を受けることが増えました。 結論を言えば、ほとんどのケースでその必要はありません。
よくある推論APIでは、プロンプトを文字列のまま送り、またレスポンスの主な要素として文字列を受け取ります。 事業者によっては内容をモニターしており、ポリシーに反する内容を検出すれば、そこに悪意がなくとも利用に制限がかかります。これは、生物化学系の研究やサイバーセキュリティにおけるペンテスト(penetration test)などを行う上では非常に不便です。 ローカルLLMはその回避を主目的の一つとして発展してきましたが、そもそもAI企業の規制を掻い潜るのに手元に機材を揃える必要はありません—クラウド上に自身でデプロイし、必要なときだけ呼び出せばいいのですから。そしてそれは、パラメータに刷り込まれたガードレールすらも排除したuncensored LLMにおいても同じことです。
Xet-GC semi-automates the cleanup of Hugging Face repositories bloated by Xet.
With the "LFS Files" modal open in your settings, this script maps each row of the table to its corresponding "Possible filename," which is hidden within a tooltip mask. By parsing the DOM to extract this information, the script retains only the most recent version of each unique filename (assuming the first occurrence from top to bottom is the latest) and automatically selects all older duplicates.
Compute obtained per dollar varies significantly by GPU and arithmetic intensity. According to Runpod's pricing, when pre-training LLMs with `batch_size=1024` (tokens), the L4 offers superior cost-performance for models under 0.5B parameters, while the H100 dominates for larger scales.
| #!/usr/bin/python | |
| import json | |
| import textwrap | |
| import time | |
| from openai import OpenAI | |
| client = OpenAI() |
| init_std, lr = 0.02, 2e-5 # example | |
| """ Redundant """ | |
| indices = df["init_std"] == init_std) & (df["lr"] == lr) | |
| print(df[(indices]) | |
| """ Concise """ | |
| query = f"{init_std=} & {lr=}".replace("=", "==") | |
| print(df.query(query)) # "init_std==0.02 & lr==2e-05" |
Mar 10, 2024.
See pytorch.org/xla for up-to-date info and implementation with multiple TPUs
# Usually pre-installed on TPU instances
pip install torch_xla[tpu] -f https://storage.googleapis.com/libtpu-releases/index.html