Skip to content

Instantly share code, notes, and snippets.

@7shi
Last active December 11, 2024 09:07
Show Gist options
  • Save 7shi/8b91255997ec442a643dc152d71d0ba1 to your computer and use it in GitHub Desktop.
Save 7shi/8b91255997ec442a643dc152d71d0ba1 to your computer and use it in GitHub Desktop.
Test to see if Japanese can be used with the embedded model
Model Target Dim Rank Similarity Line Text
TaylorAI/bge-micro-v2 楽器について 384 1 0.96016 1243 私について父に何も言わないでください。
TaylorAI/bge-micro-v2 楽器について 384 2 0.92611 3624 プラタパディティヤはこの件についてこれ以上異議を唱えなかった。
TaylorAI/bge-micro-v2 楽器について 384 3 0.92270 829 この件について、私がどのように推測できるでしょうか?」
TaylorAI/bge-micro-v2 楽器について 384 4 0.91973 3314 シータラームの冗談については、他にも何百もの話がある。
TaylorAI/bge-micro-v2 楽器について 384 5 0.91585 1988 「さあ、私について来なさい」と言った。
TaylorAI/bge-micro-v2 楽器について 384 6 0.91575 258 大臣は「あなたの叔父についてです」と言いました。
TaylorAI/bge-micro-v2 楽器について 384 7 0.91552 5012 息をついて言った。
TaylorAI/bge-micro-v2 楽器について 384 8 0.91191 4579 ウダヤディティヤはため息をついて言った。
TaylorAI/bge-micro-v2 楽器について 384 9 0.91052 2477 他には誰もできない。」
TaylorAI/bge-micro-v2 楽器について 384 10 0.90965 3812 廷臣たちは口にハンカチを当てて顔を背けて笑い始めた。
BAAI/bge-small-en-v1.5 楽器について 384 1 0.91069 1243 私について父に何も言わないでください。
BAAI/bge-small-en-v1.5 楽器について 384 2 0.88310 4579 ウダヤディティヤはため息をついて言った。
BAAI/bge-small-en-v1.5 楽器について 384 3 0.88059 1586 私の畑の作物についてそんな風に言わないでください。
BAAI/bge-small-en-v1.5 楽器について 384 4 0.87454 829 この件について、私がどのように推測できるでしょうか?」
BAAI/bge-small-en-v1.5 楽器について 384 5 0.87159 5012 息をついて言った。
BAAI/bge-small-en-v1.5 楽器について 384 6 0.87124 977 「私は何かについて言及しているのか!
BAAI/bge-small-en-v1.5 楽器について 384 7 0.86561 320 この件について、つまり宗教と不道徳について、大臣には実際には意見がありませんでした。
BAAI/bge-small-en-v1.5 楽器について 384 8 0.86505 3314 シータラームの冗談については、他にも何百もの話がある。
BAAI/bge-small-en-v1.5 楽器について 384 9 0.86073 4257 この件については、あなたは私よりもはるかに知識が浅いのは確かです。
BAAI/bge-small-en-v1.5 楽器について 384 10 0.85787 3624 プラタパディティヤはこの件についてこれ以上異議を唱えなかった。
andersonbcdefg/bge-small-4096 楽器について 384 1 0.99759 1860 物音はしない。
andersonbcdefg/bge-small-4096 楽器について 384 2 0.99646 597 剣を捨てた。
andersonbcdefg/bge-small-4096 楽器について 384 3 0.99642 5 夜は更けていた。
andersonbcdefg/bge-small-4096 楽器について 384 4 0.99640 1975 プラタパディティヤはそれまで黙っていた。
andersonbcdefg/bge-small-4096 楽器について 384 5 0.99599 2452 泣きながら言った。
andersonbcdefg/bge-small-4096 楽器について 384 6 0.99599 3423 泣きながら言った。
andersonbcdefg/bge-small-4096 楽器について 384 7 0.99583 5367 私を捨ててください。
andersonbcdefg/bge-small-4096 楽器について 384 8 0.99565 5244 ムクティヤルは言った、「はい。」
andersonbcdefg/bge-small-4096 楽器について 384 9 0.99562 3214 ウダヤディティヤは答えない。
andersonbcdefg/bge-small-4096 楽器について 384 10 0.99561 3337 言い回しだ。」
TaylorAI/gte-tiny 楽器について 384 1 0.98023 1243 私について父に何も言わないでください。
TaylorAI/gte-tiny 楽器について 384 2 0.96666 4579 ウダヤディティヤはため息をついて言った。
TaylorAI/gte-tiny 楽器について 384 3 0.96663 5012 息をついて言った。
TaylorAI/gte-tiny 楽器について 384 4 0.96265 829 この件について、私がどのように推測できるでしょうか?」
TaylorAI/gte-tiny 楽器について 384 5 0.96229 258 大臣は「あなたの叔父についてです」と言いました。
TaylorAI/gte-tiny 楽器について 384 6 0.96190 1548 「笑って足にすがりついてどうするつもりだ、
TaylorAI/gte-tiny 楽器について 384 7 0.96091 4257 この件については、あなたは私よりもはるかに知識が浅いのは確かです。
TaylorAI/gte-tiny 楽器について 384 8 0.95994 320 この件について、つまり宗教と不道徳について、大臣には実際には意見がありませんでした。
TaylorAI/gte-tiny 楽器について 384 9 0.95910 977 「私は何かについて言及しているのか!
TaylorAI/gte-tiny 楽器について 384 10 0.95746 3624 プラタパディティヤはこの件についてこれ以上異議を唱えなかった。
Mihaiii/Ivysaur 楽器について 384 1 0.96537 1243 私について父に何も言わないでください。
Mihaiii/Ivysaur 楽器について 384 2 0.94167 4579 ウダヤディティヤはため息をついて言った。
Mihaiii/Ivysaur 楽器について 384 3 0.94069 5012 息をついて言った。
Mihaiii/Ivysaur 楽器について 384 4 0.93711 258 大臣は「あなたの叔父についてです」と言いました。
Mihaiii/Ivysaur 楽器について 384 5 0.93485 1548 「笑って足にすがりついてどうするつもりだ、
Mihaiii/Ivysaur 楽器について 384 6 0.93455 829 この件について、私がどのように推測できるでしょうか?」
Mihaiii/Ivysaur 楽器について 384 7 0.93425 4257 この件については、あなたは私よりもはるかに知識が浅いのは確かです。
Mihaiii/Ivysaur 楽器について 384 8 0.93333 977 「私は何かについて言及しているのか!
Mihaiii/Ivysaur 楽器について 384 9 0.92753 1586 私の畑の作物についてそんな風に言わないでください。
Mihaiii/Ivysaur 楽器について 384 10 0.92441 320 この件について、つまり宗教と不道徳について、大臣には実際には意見がありませんでした。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 1 0.58377 73 歌ったり、楽器を演奏したり、楽しんだりして、四方八方を満たしています。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 2 0.57347 5484 あちこちで音楽が鳴り響いている。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 3 0.54947 1860 物音はしない。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 4 0.54785 5558 「では、輿を一台持ってくるよ。」
jinaai/jina-embeddings-v2-base-zh 楽器について 768 5 0.53479 1548 「笑って足にすがりついてどうするつもりだ、
jinaai/jina-embeddings-v2-base-zh 楽器について 768 6 0.53136 629 威厳、重厚感、自己意識はすべて忘れ去られ、演奏を続けながらついに歌い始めた。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 7 0.52304 4484 彼はその喜びにしばらくの間、静かに浸り、その後、シータラームに尋ねた。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 8 0.51553 174 幸せな時は私が何ができるでしょうか?幸せな時はスルマは贅沢品、遊び道具です。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 9 0.50459 3893 彼女は静かに、物音も立てずにウダヤディティヤのそばに座った。
jinaai/jina-embeddings-v2-base-zh 楽器について 768 10 0.50330 628 彼は立ち上がって演奏し始めた。
jinaai/jina-embeddings-v2-small-en 楽器について 512 1 0.95992 4579 ウダヤディティヤはため息をついて言った。
jinaai/jina-embeddings-v2-small-en 楽器について 512 2 0.95751 5012 息をついて言った。
jinaai/jina-embeddings-v2-small-en 楽器について 512 3 0.95174 3624 プラタパディティヤはこの件についてこれ以上異議を唱えなかった。
jinaai/jina-embeddings-v2-small-en 楽器について 512 4 0.94728 1243 私について父に何も言わないでください。
jinaai/jina-embeddings-v2-small-en 楽器について 512 5 0.94560 1975 プラタパディティヤはそれまで黙っていた。
jinaai/jina-embeddings-v2-small-en 楽器について 512 6 0.94518 4534 ウダヤディティヤは非常に驚いた。
jinaai/jina-embeddings-v2-small-en 楽器について 512 7 0.94516 1926 彼は執務室に座っていた。
jinaai/jina-embeddings-v2-small-en 楽器について 512 8 0.94232 2572 マンガラのコテージはジョソールの端にあった。
jinaai/jina-embeddings-v2-small-en 楽器について 512 9 0.94209 2973 ウダヤディティヤはスルマの頭を膝に載せて座っていた。
jinaai/jina-embeddings-v2-small-en 楽器について 512 10 0.94167 3228 彼はプラタパディティヤを非常に恐れている。
nomic-ai/nomic-embed-text-v1 楽器について 768 1 0.82225 1243 私について父に何も言わないでください。
nomic-ai/nomic-embed-text-v1 楽器について 768 2 0.80608 4579 ウダヤディティヤはため息をついて言った。
nomic-ai/nomic-embed-text-v1 楽器について 768 3 0.79397 5012 息をついて言った。
nomic-ai/nomic-embed-text-v1 楽器について 768 4 0.72952 2849 プラタパディティヤは激怒して言った。
nomic-ai/nomic-embed-text-v1 楽器について 768 5 0.72952 5361 プラタパディティヤは満足して言った。
nomic-ai/nomic-embed-text-v1 楽器について 768 6 0.72952 2418 プラタパディティヤは激怒して言った。
nomic-ai/nomic-embed-text-v1 楽器について 768 7 0.72952 1939 プラタパディティヤは激昂して言った。
nomic-ai/nomic-embed-text-v1 楽器について 768 8 0.72700 4466 彼は驚いて尋ねた。
nomic-ai/nomic-embed-text-v1 楽器について 768 9 0.72504 3624 プラタパディティヤはこの件についてこれ以上異議を唱えなかった。
nomic-ai/nomic-embed-text-v1 楽器について 768 10 0.72422 3886 ビバは彼の足にしがみついて懇願した。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 1 0.88209 1243 私について父に何も言わないでください。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 2 0.85700 4579 ウダヤディティヤはため息をついて言った。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 3 0.84888 5012 息をついて言った。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 4 0.81973 5203 ムクティヤルは挨拶をして、簡潔に言った。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 5 0.81155 4466 彼は驚いて尋ねた。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 6 0.80595 4084 私だけがライヌとして残っている。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 7 0.80587 1939 プラタパディティヤは激昂して言った。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 8 0.80587 2849 プラタパディティヤは激怒して言った。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 9 0.80587 5361 プラタパディティヤは満足して言った。
nomic-ai/nomic-embed-text-v1.5 楽器について 768 10 0.80587 2418 プラタパディティヤは激怒して言った。
intfloat/multilingual-e5-large 楽器について 1024 1 0.85037 73 歌ったり、楽器を演奏したり、楽しんだりして、四方八方を満たしています。
intfloat/multilingual-e5-large 楽器について 1024 2 0.83808 5484 あちこちで音楽が鳴り響いている。
intfloat/multilingual-e5-large 楽器について 1024 3 0.83584 621 「あなたはシタールを弾くことができますか?」
intfloat/multilingual-e5-large 楽器について 1024 4 0.83584 3776
intfloat/multilingual-e5-large 楽器について 1024 5 0.83584 3584
intfloat/multilingual-e5-large 楽器について 1024 6 0.83547 5052 「武器は必要か?」
intfloat/multilingual-e5-large 楽器について 1024 7 0.83315 4116
intfloat/multilingual-e5-large 楽器について 1024 8 0.83280 897
intfloat/multilingual-e5-large 楽器について 1024 9 0.83178 4138 あるにはあるが、弦が切れていて、音が出ないのだ」と言った。
intfloat/multilingual-e5-large 楽器について 1024 10 0.83066 602 敵を剣で倒すことはできるが、音楽で敵を友にすることができるという歌があります。」
BAAI/bge-m3 楽器について 1024 1 0.66206 5484 あちこちで音楽が鳴り響いている。
BAAI/bge-m3 楽器について 1024 2 0.64810 73 歌ったり、楽器を演奏したり、楽しんだりして、四方八方を満たしています。
BAAI/bge-m3 楽器について 1024 3 0.60793 3180 聞いてください。
BAAI/bge-m3 楽器について 1024 4 0.60116 4138 あるにはあるが、弦が切れていて、音が出ないのだ」と言った。
BAAI/bge-m3 楽器について 1024 5 0.59597 4942 シタールを弾いたり、一緒に散歩したりした。
BAAI/bge-m3 楽器について 1024 6 0.59462 479 「一つ聞きたいことがある。
BAAI/bge-m3 楽器について 1024 7 0.59329 309 聞け、大臣よ。
BAAI/bge-m3 楽器について 1024 8 0.59061 4715 誰かの息遣いが聞こえます。
BAAI/bge-m3 楽器について 1024 9 0.58794 4143 歌を歌ってください。
BAAI/bge-m3 楽器について 1024 10 0.58616 3401 あちこちでガタガタと音がする。
cl-nagoya/ruri-base 楽器について 768 1 0.86019 621 「あなたはシタールを弾くことができますか?」
cl-nagoya/ruri-base 楽器について 768 2 0.84824 1197 そう言って、彼は小さなシタールのペグを回した。
cl-nagoya/ruri-base 楽器について 768 3 0.84782 5484 あちこちで音楽が鳴り響いている。
cl-nagoya/ruri-base 楽器について 768 4 0.84511 624 そしてすぐにシタールを手に取った。
cl-nagoya/ruri-base 楽器について 768 5 0.84411 2566 もうシタールは弾きません。
cl-nagoya/ruri-base 楽器について 768 6 0.83964 4135 ハーン・サヘブ「あなたはもうそのシタールを弾かないのですか?あなたのそのシタールはどこにあるのですか?」
cl-nagoya/ruri-base 楽器について 768 7 0.83921 2565 「このシタールを置いていきます、兄さん。
cl-nagoya/ruri-base 楽器について 768 8 0.83699 628 彼は立ち上がって演奏し始めた。
cl-nagoya/ruri-base 楽器について 768 9 0.83270 2914 その音が彼の唯一の仲間となり、その絶え間ない単調な音が、彼の躍動する情熱のリズムに合わせて拍手を送りました。
cl-nagoya/ruri-base 楽器について 768 10 0.83250 2559 しかし、ビバの涙を見て、シタールの演奏が妨げられるようになった。
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("-m", dest="model", help="model path", required=True)
parser.add_argument("-s", dest="tensorfile", help="input/output tensors file", required=True)
parser.add_argument("-t", dest="textfile", help="input text file", required=True)
parser.add_argument("sentences", nargs="*", help="sentences to search with")
arg = parser.parse_args()
import os, torch, torch.nn.functional as F, safetensors.torch
from sentence_transformers import SentenceTransformer
from tqdm import tqdm
model = SentenceTransformer(arg.model, trust_remote_code=True)
prefix = ""
def embed(s):
return model.encode([prefix + s], convert_to_tensor=True, normalize_embeddings=True)
with open(arg.textfile, "r", encoding="utf-8") as f:
lines = [(i, l) for i, line in enumerate(f, 1) if (l := line.strip())]
if os.path.exists(arg.tensorfile):
tensors = safetensors.torch.load_file(arg.tensorfile)["lines"]
else:
if "/ruri-" in arg.model:
prefix = "文章: "
test = embed("test")[0]
tensors = torch.zeros(len(lines), len(test), dtype=torch.float32)
for i, (_, line) in tqdm(enumerate(lines), total=len(lines)):
tensors[i, :] = embed(line)[0]
safetensors.torch.save_file({"lines": tensors}, arg.tensorfile)
if "/ruri-" in arg.model:
prefix = "クエリ: "
def search(q):
emb = embed(q)
similarities = F.cosine_similarity(tensors, emb, dim=1)
for i, (value, index) in enumerate(zip(*torch.topk(similarities, k=10)), 1):
value, index = value.item(), index.item()
lnum, line = lines[index]
yield len(emb[0]), i, value, lnum, line
if arg.sentences:
for q in arg.sentences:
for d, i, v, lnum, line in search(q):
print(f"{arg.model}\t{q}\t{d}\t{i}\t{v:.5f}\t{lnum}\t{line}")
else:
while True:
print()
try:
q = input("> ")
except:
print()
break
for _, i, v, lnum, line in search(q):
print(f"{i:2d}: {v:.5f} {lnum:4d} {line}")
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment