Last active
December 11, 2024 09:07
-
-
Save 7shi/8b91255997ec442a643dc152d71d0ba1 to your computer and use it in GitHub Desktop.
Test to see if Japanese can be used with the embedded model
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Model | Target | Dim | Rank | Similarity | Line | Text | |
---|---|---|---|---|---|---|---|
TaylorAI/bge-micro-v2 | 楽器について | 384 | 1 | 0.96016 | 1243 | 私について父に何も言わないでください。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 2 | 0.92611 | 3624 | プラタパディティヤはこの件についてこれ以上異議を唱えなかった。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 3 | 0.92270 | 829 | この件について、私がどのように推測できるでしょうか?」 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 4 | 0.91973 | 3314 | シータラームの冗談については、他にも何百もの話がある。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 5 | 0.91585 | 1988 | 「さあ、私について来なさい」と言った。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 6 | 0.91575 | 258 | 大臣は「あなたの叔父についてです」と言いました。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 7 | 0.91552 | 5012 | 息をついて言った。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 8 | 0.91191 | 4579 | ウダヤディティヤはため息をついて言った。 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 9 | 0.91052 | 2477 | 他には誰もできない。」 | |
TaylorAI/bge-micro-v2 | 楽器について | 384 | 10 | 0.90965 | 3812 | 廷臣たちは口にハンカチを当てて顔を背けて笑い始めた。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 1 | 0.91069 | 1243 | 私について父に何も言わないでください。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 2 | 0.88310 | 4579 | ウダヤディティヤはため息をついて言った。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 3 | 0.88059 | 1586 | 私の畑の作物についてそんな風に言わないでください。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 4 | 0.87454 | 829 | この件について、私がどのように推測できるでしょうか?」 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 5 | 0.87159 | 5012 | 息をついて言った。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 6 | 0.87124 | 977 | 「私は何かについて言及しているのか! | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 7 | 0.86561 | 320 | この件について、つまり宗教と不道徳について、大臣には実際には意見がありませんでした。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 8 | 0.86505 | 3314 | シータラームの冗談については、他にも何百もの話がある。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 9 | 0.86073 | 4257 | この件については、あなたは私よりもはるかに知識が浅いのは確かです。 | |
BAAI/bge-small-en-v1.5 | 楽器について | 384 | 10 | 0.85787 | 3624 | プラタパディティヤはこの件についてこれ以上異議を唱えなかった。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 1 | 0.99759 | 1860 | 物音はしない。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 2 | 0.99646 | 597 | 剣を捨てた。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 3 | 0.99642 | 5 | 夜は更けていた。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 4 | 0.99640 | 1975 | プラタパディティヤはそれまで黙っていた。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 5 | 0.99599 | 2452 | 泣きながら言った。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 6 | 0.99599 | 3423 | 泣きながら言った。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 7 | 0.99583 | 5367 | 私を捨ててください。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 8 | 0.99565 | 5244 | ムクティヤルは言った、「はい。」 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 9 | 0.99562 | 3214 | ウダヤディティヤは答えない。 | |
andersonbcdefg/bge-small-4096 | 楽器について | 384 | 10 | 0.99561 | 3337 | 言い回しだ。」 | |
TaylorAI/gte-tiny | 楽器について | 384 | 1 | 0.98023 | 1243 | 私について父に何も言わないでください。 | |
TaylorAI/gte-tiny | 楽器について | 384 | 2 | 0.96666 | 4579 | ウダヤディティヤはため息をついて言った。 | |
TaylorAI/gte-tiny | 楽器について | 384 | 3 | 0.96663 | 5012 | 息をついて言った。 | |
TaylorAI/gte-tiny | 楽器について | 384 | 4 | 0.96265 | 829 | この件について、私がどのように推測できるでしょうか?」 | |
TaylorAI/gte-tiny | 楽器について | 384 | 5 | 0.96229 | 258 | 大臣は「あなたの叔父についてです」と言いました。 | |
TaylorAI/gte-tiny | 楽器について | 384 | 6 | 0.96190 | 1548 | 「笑って足にすがりついてどうするつもりだ、 | |
TaylorAI/gte-tiny | 楽器について | 384 | 7 | 0.96091 | 4257 | この件については、あなたは私よりもはるかに知識が浅いのは確かです。 | |
TaylorAI/gte-tiny | 楽器について | 384 | 8 | 0.95994 | 320 | この件について、つまり宗教と不道徳について、大臣には実際には意見がありませんでした。 | |
TaylorAI/gte-tiny | 楽器について | 384 | 9 | 0.95910 | 977 | 「私は何かについて言及しているのか! | |
TaylorAI/gte-tiny | 楽器について | 384 | 10 | 0.95746 | 3624 | プラタパディティヤはこの件についてこれ以上異議を唱えなかった。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 1 | 0.96537 | 1243 | 私について父に何も言わないでください。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 2 | 0.94167 | 4579 | ウダヤディティヤはため息をついて言った。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 3 | 0.94069 | 5012 | 息をついて言った。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 4 | 0.93711 | 258 | 大臣は「あなたの叔父についてです」と言いました。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 5 | 0.93485 | 1548 | 「笑って足にすがりついてどうするつもりだ、 | |
Mihaiii/Ivysaur | 楽器について | 384 | 6 | 0.93455 | 829 | この件について、私がどのように推測できるでしょうか?」 | |
Mihaiii/Ivysaur | 楽器について | 384 | 7 | 0.93425 | 4257 | この件については、あなたは私よりもはるかに知識が浅いのは確かです。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 8 | 0.93333 | 977 | 「私は何かについて言及しているのか! | |
Mihaiii/Ivysaur | 楽器について | 384 | 9 | 0.92753 | 1586 | 私の畑の作物についてそんな風に言わないでください。 | |
Mihaiii/Ivysaur | 楽器について | 384 | 10 | 0.92441 | 320 | この件について、つまり宗教と不道徳について、大臣には実際には意見がありませんでした。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 1 | 0.58377 | 73 | 歌ったり、楽器を演奏したり、楽しんだりして、四方八方を満たしています。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 2 | 0.57347 | 5484 | あちこちで音楽が鳴り響いている。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 3 | 0.54947 | 1860 | 物音はしない。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 4 | 0.54785 | 5558 | 「では、輿を一台持ってくるよ。」 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 5 | 0.53479 | 1548 | 「笑って足にすがりついてどうするつもりだ、 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 6 | 0.53136 | 629 | 威厳、重厚感、自己意識はすべて忘れ去られ、演奏を続けながらついに歌い始めた。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 7 | 0.52304 | 4484 | 彼はその喜びにしばらくの間、静かに浸り、その後、シータラームに尋ねた。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 8 | 0.51553 | 174 | 幸せな時は私が何ができるでしょうか?幸せな時はスルマは贅沢品、遊び道具です。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 9 | 0.50459 | 3893 | 彼女は静かに、物音も立てずにウダヤディティヤのそばに座った。 | |
jinaai/jina-embeddings-v2-base-zh | 楽器について | 768 | 10 | 0.50330 | 628 | 彼は立ち上がって演奏し始めた。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 1 | 0.95992 | 4579 | ウダヤディティヤはため息をついて言った。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 2 | 0.95751 | 5012 | 息をついて言った。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 3 | 0.95174 | 3624 | プラタパディティヤはこの件についてこれ以上異議を唱えなかった。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 4 | 0.94728 | 1243 | 私について父に何も言わないでください。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 5 | 0.94560 | 1975 | プラタパディティヤはそれまで黙っていた。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 6 | 0.94518 | 4534 | ウダヤディティヤは非常に驚いた。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 7 | 0.94516 | 1926 | 彼は執務室に座っていた。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 8 | 0.94232 | 2572 | マンガラのコテージはジョソールの端にあった。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 9 | 0.94209 | 2973 | ウダヤディティヤはスルマの頭を膝に載せて座っていた。 | |
jinaai/jina-embeddings-v2-small-en | 楽器について | 512 | 10 | 0.94167 | 3228 | 彼はプラタパディティヤを非常に恐れている。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 1 | 0.82225 | 1243 | 私について父に何も言わないでください。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 2 | 0.80608 | 4579 | ウダヤディティヤはため息をついて言った。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 3 | 0.79397 | 5012 | 息をついて言った。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 4 | 0.72952 | 2849 | プラタパディティヤは激怒して言った。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 5 | 0.72952 | 5361 | プラタパディティヤは満足して言った。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 6 | 0.72952 | 2418 | プラタパディティヤは激怒して言った。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 7 | 0.72952 | 1939 | プラタパディティヤは激昂して言った。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 8 | 0.72700 | 4466 | 彼は驚いて尋ねた。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 9 | 0.72504 | 3624 | プラタパディティヤはこの件についてこれ以上異議を唱えなかった。 | |
nomic-ai/nomic-embed-text-v1 | 楽器について | 768 | 10 | 0.72422 | 3886 | ビバは彼の足にしがみついて懇願した。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 1 | 0.88209 | 1243 | 私について父に何も言わないでください。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 2 | 0.85700 | 4579 | ウダヤディティヤはため息をついて言った。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 3 | 0.84888 | 5012 | 息をついて言った。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 4 | 0.81973 | 5203 | ムクティヤルは挨拶をして、簡潔に言った。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 5 | 0.81155 | 4466 | 彼は驚いて尋ねた。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 6 | 0.80595 | 4084 | 私だけがライヌとして残っている。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 7 | 0.80587 | 1939 | プラタパディティヤは激昂して言った。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 8 | 0.80587 | 2849 | プラタパディティヤは激怒して言った。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 9 | 0.80587 | 5361 | プラタパディティヤは満足して言った。 | |
nomic-ai/nomic-embed-text-v1.5 | 楽器について | 768 | 10 | 0.80587 | 2418 | プラタパディティヤは激怒して言った。 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 1 | 0.85037 | 73 | 歌ったり、楽器を演奏したり、楽しんだりして、四方八方を満たしています。 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 2 | 0.83808 | 5484 | あちこちで音楽が鳴り響いている。 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 3 | 0.83584 | 621 | 「あなたはシタールを弾くことができますか?」 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 4 | 0.83584 | 3776 | 。 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 5 | 0.83584 | 3584 | 。 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 6 | 0.83547 | 5052 | 「武器は必要か?」 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 7 | 0.83315 | 4116 | 』 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 8 | 0.83280 | 897 | 「 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 9 | 0.83178 | 4138 | あるにはあるが、弦が切れていて、音が出ないのだ」と言った。 | |
intfloat/multilingual-e5-large | 楽器について | 1024 | 10 | 0.83066 | 602 | 敵を剣で倒すことはできるが、音楽で敵を友にすることができるという歌があります。」 | |
BAAI/bge-m3 | 楽器について | 1024 | 1 | 0.66206 | 5484 | あちこちで音楽が鳴り響いている。 | |
BAAI/bge-m3 | 楽器について | 1024 | 2 | 0.64810 | 73 | 歌ったり、楽器を演奏したり、楽しんだりして、四方八方を満たしています。 | |
BAAI/bge-m3 | 楽器について | 1024 | 3 | 0.60793 | 3180 | 聞いてください。 | |
BAAI/bge-m3 | 楽器について | 1024 | 4 | 0.60116 | 4138 | あるにはあるが、弦が切れていて、音が出ないのだ」と言った。 | |
BAAI/bge-m3 | 楽器について | 1024 | 5 | 0.59597 | 4942 | シタールを弾いたり、一緒に散歩したりした。 | |
BAAI/bge-m3 | 楽器について | 1024 | 6 | 0.59462 | 479 | 「一つ聞きたいことがある。 | |
BAAI/bge-m3 | 楽器について | 1024 | 7 | 0.59329 | 309 | 聞け、大臣よ。 | |
BAAI/bge-m3 | 楽器について | 1024 | 8 | 0.59061 | 4715 | 誰かの息遣いが聞こえます。 | |
BAAI/bge-m3 | 楽器について | 1024 | 9 | 0.58794 | 4143 | 歌を歌ってください。 | |
BAAI/bge-m3 | 楽器について | 1024 | 10 | 0.58616 | 3401 | あちこちでガタガタと音がする。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 1 | 0.86019 | 621 | 「あなたはシタールを弾くことができますか?」 | |
cl-nagoya/ruri-base | 楽器について | 768 | 2 | 0.84824 | 1197 | そう言って、彼は小さなシタールのペグを回した。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 3 | 0.84782 | 5484 | あちこちで音楽が鳴り響いている。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 4 | 0.84511 | 624 | そしてすぐにシタールを手に取った。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 5 | 0.84411 | 2566 | もうシタールは弾きません。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 6 | 0.83964 | 4135 | ハーン・サヘブ「あなたはもうそのシタールを弾かないのですか?あなたのそのシタールはどこにあるのですか?」 | |
cl-nagoya/ruri-base | 楽器について | 768 | 7 | 0.83921 | 2565 | 「このシタールを置いていきます、兄さん。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 8 | 0.83699 | 628 | 彼は立ち上がって演奏し始めた。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 9 | 0.83270 | 2914 | その音が彼の唯一の仲間となり、その絶え間ない単調な音が、彼の躍動する情熱のリズムに合わせて拍手を送りました。 | |
cl-nagoya/ruri-base | 楽器について | 768 | 10 | 0.83250 | 2559 | しかし、ビバの涙を見て、シタールの演奏が妨げられるようになった。 |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
import argparse | |
parser = argparse.ArgumentParser() | |
parser.add_argument("-m", dest="model", help="model path", required=True) | |
parser.add_argument("-s", dest="tensorfile", help="input/output tensors file", required=True) | |
parser.add_argument("-t", dest="textfile", help="input text file", required=True) | |
parser.add_argument("sentences", nargs="*", help="sentences to search with") | |
arg = parser.parse_args() | |
import os, torch, torch.nn.functional as F, safetensors.torch | |
from sentence_transformers import SentenceTransformer | |
from tqdm import tqdm | |
model = SentenceTransformer(arg.model, trust_remote_code=True) | |
prefix = "" | |
def embed(s): | |
return model.encode([prefix + s], convert_to_tensor=True, normalize_embeddings=True) | |
with open(arg.textfile, "r", encoding="utf-8") as f: | |
lines = [(i, l) for i, line in enumerate(f, 1) if (l := line.strip())] | |
if os.path.exists(arg.tensorfile): | |
tensors = safetensors.torch.load_file(arg.tensorfile)["lines"] | |
else: | |
if "/ruri-" in arg.model: | |
prefix = "文章: " | |
test = embed("test")[0] | |
tensors = torch.zeros(len(lines), len(test), dtype=torch.float32) | |
for i, (_, line) in tqdm(enumerate(lines), total=len(lines)): | |
tensors[i, :] = embed(line)[0] | |
safetensors.torch.save_file({"lines": tensors}, arg.tensorfile) | |
if "/ruri-" in arg.model: | |
prefix = "クエリ: " | |
def search(q): | |
emb = embed(q) | |
similarities = F.cosine_similarity(tensors, emb, dim=1) | |
for i, (value, index) in enumerate(zip(*torch.topk(similarities, k=10)), 1): | |
value, index = value.item(), index.item() | |
lnum, line = lines[index] | |
yield len(emb[0]), i, value, lnum, line | |
if arg.sentences: | |
for q in arg.sentences: | |
for d, i, v, lnum, line in search(q): | |
print(f"{arg.model}\t{q}\t{d}\t{i}\t{v:.5f}\t{lnum}\t{line}") | |
else: | |
while True: | |
print() | |
try: | |
q = input("> ") | |
except: | |
print() | |
break | |
for _, i, v, lnum, line in search(q): | |
print(f"{i:2d}: {v:.5f} {lnum:4d} {line}") |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Targeted text:
Detailed description (in Japanese):
Reference (Models):