kyo-takano

kyo-takano

#!/usr/bin/python

import json
import textwrap
import time

from openai import OpenAI

client = OpenAI()

kyo-takano

init_std, lr = 0.02, 2e-5  # example

""" Redundant """
indices = df["init_std"] == init_std) & (df["lr"] == lr)
print(df[(indices])

""" Concise """
query = f"{init_std=} & {lr=}".replace("=", "==")
print(df.query(query))  # "init_std==0.02 & lr==2e-05"

kyo-takano

Cheatsheet: Migrating a PyTorch script to a single TPU

Mar 10, 2024.

See pytorch.org/xla for up-to-date info and implementation with multiple TPUs

Installing PyTorch/XLA for TPU

# Usually pre-installed on TPU instances
pip install torch_xla[tpu] -f https://storage.googleapis.com/libtpu-releases/index.html

kyo-takano

kyo-takano

kyo-takano

kyo-takano

import gzip

def gzip_search(query: str, candidate_chunks: list[str], top_k: int=1):
    """
    文字列ベースで類似したテキストチャンクを推定するアルゴリズム.
    `query`, `chunk`, および`query + " " + chunk`をそれぞれgzipで圧縮し、編集距離のようなものをベースに評価する.

    Parameters:
        query (str): 検索クエリとして使用する文字列.
        top_k (int, optional): 返される類似チャンクの上位k個を指定する (default: 1).

kyo-takano

kyo-takano