gemma3 embedding 300m の JMTEB 日本語評価

summary.json

{
    "Classification": {
        "amazon_counterfactual_classification": {
            "macro_f1": 0.45
        },
        "amazon_review_classification": {
            "macro_f1": 0.5130416018341507
        },
        "massive_intent_classification": {
            "macro_f1": 0.7143203518823266
        },
        "massive_scenario_classification": {
            "macro_f1": 0.8602760429780033
        }
    },
    "Reranking": {
        "esci": {
            "ndcg@10": 0.9155279025985579
        }
    },
    "Retrieval": {
        "jagovfaqs_22k": {
            "ndcg@10": 0.43432087671043174
        },
        "jaqket": {
            "ndcg@10": 0.06974470726269034
        },
        "mrtydi": {
            "ndcg@10": 0.07532798578154416
        },
        "nlp_journal_abs_intro": {
            "ndcg@10": 0.8414278767164943
        },
        "nlp_journal_title_abs": {
            "ndcg@10": 0.6719609943427125
        },
        "nlp_journal_title_intro": {
            "ndcg@10": 0.44133854799629085
        }
    },
    "STS": {
        "jsick": {
            "spearman": 0.7354042975078292
        },
        "jsts": {
            "spearman": 0.7317586426035952
        }
    },
    "Clustering": {
        "livedoor_news": {
            "v_measure_score": 0.5230784583724223
        },
        "mewsc16": {
            "v_measure_score": 0.39424101723942295
        }
    },
    "PairClassification": {
        "paws_x_ja": {
            "binary_f1": 0.6242038216560509
        }
    }
}

JMTEB v1 で評価したので

• hotchpotch/JMTEB@e152a7a...f23d9a7
  この辺を適用する。

JMTEB_DATASET_REVISION=5f27a5598 poetry run python -m jmteb \
  --embedder SentenceBertEmbedder \
  --embedder.model_name_or_path 'google/embeddinggemma-300m' \
  --embedder.model_kwargs '{"torch_dtype": "torch.bfloat16"}' \
  --embedder.device cuda \
  --embedder.batch_size 32 \
  --embedder.max_seq_length 2048 \
  --evaluators 'src/jmteb/configs/gemma_300m_jmteb.jsonnet' \
  --save_dir 'results/embeddinggemma-300m' \
  --overwrite_cache false

で実行。JMTEBは最新のhfデータでは一部データが削除されてしまっているので、JMTEB_DATASET_REVISION を渡せるように改変した。また、bfloat16 of float32 が embeddinggemma-300m では必要。float16 は性能が落ちる。これはドキュメントにも記載がある。