このメモは、私(@ymmt2005)が長年にわたってソフトウェアプロダクト開発に関わってきて 2022年現在こうしたほうが良いと考えているベストプラクティスです。
科学的な分析等に基づくわけではない経験則であるため、今後も随時見直すことがありますし、 ここに書いてあることが常に正しいわけでもあらゆるソフトウェア開発に適するわけでもありません。
しかしながら、実務経験が豊富で、モダンな技術スタックに明るいエンジニアの経験則は一定の 役に立つのではないかと考えて記します。
データセット | LLM-jp-13B-v1.0 | weblab-10b | PLaMo-13B | Stockmark-13b | Japanese StableLM Alpha | 備考 |
---|---|---|---|---|---|---|
mc4 | ◯ | ◯ | ◯ | ◯ | ◯ | |
wikipedia | ◯ | ◯ | ◯ | ◯ | StableLMのページからはdumps.wikipediaにリンクされてる | |
pile | ◯ | ◯ | ||||
RedPajama | ◯ | ◯ | ||||
cc100 | ◯ | ◯ | ||||
the stack |
import os | |
import openai | |
from dotenv import load_dotenv | |
from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader, LLMPredictor, PromptHelper | |
from langchain.llms import AzureOpenAI | |
from langchain.embeddings import OpenAIEmbeddings | |
from llama_index import LangchainEmbedding | |
# Load env variables (create .env with OPENAI_API_KEY and OPENAI_API_BASE) | |
load_dotenv() |
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", revision="fp16", torch_dtype=torch.float16, use_auth_token=True) | |
pipe = pipe.to("cuda") | |
img2imgPipe = StableDiffusionImg2ImgPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", revision="fp16", torch_dtype=torch.float16, use_auth_token=True) | |
img2imgPipe = img2imgPipe.to("cuda") | |
inpaintingPipe = StableDiffusionInpaintingPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", revision="fp16", torch_dtype=torch.float16, use_auth_token=True) | |
inpaintingPipe = inpaintingPipe.to("cuda") | |
# based on StableLM chat | |
# https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat | |
import gradio as gr | |
import torch | |
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, StoppingCriteria, StoppingCriteriaList, TextIteratorStreamer | |
import time | |
import numpy as np | |
from torch.nn import functional as F | |
import os | |
from threading import Thread |
beebotteの使い方メモ.md
BeebotteはMQTTブローカ+REST API+Web Socketを提供するサービス。 無料アカウントでは50000メッセージ/日まで使える。