Skip to content

Instantly share code, notes, and snippets.

View uchidama's full-sized avatar

UCHIDA Masatoshi uchidama

17 followers · 11 following
View GitHub Profile
@uchidama
uchidama / create_unity_assets_dirs.sh
Last active April 16, 2024 17:02
# Unityフォルダ構成のルールについて # https://qiita.com/takish/items/8608ba9070755da3ae6d # ここで書かれたフォルダ構成をUnityの空のプロジェクトを作ったあとに作成するスクリプト # 空のプロジェクトのルートフォルダにおいて実行
#!/bin/bash
#
# Unityフォルダ構成のルールについて
# https://qiita.com/takish/items/8608ba9070755da3ae6d
# ここで書かれたフォルダ構成をUnityの空のプロジェクトを作ったあとに作成するスクリプト
# 空のプロジェクトのルートフォルダにおいて実行
# Base directory for Unity project Assets
base_dir="./Assets"
@uchidama
uchidama / the_stack_load.py
Created March 6, 2024 06:02
he-stackデータセットから10MBだけ読み込んで、先頭を表示する
# the-stackデータセットから10MBだけ読み込んで、先頭を表示する
import sys
from datasets import load_dataset
dataset = load_dataset("bigcode/the-stack", split="train", streaming=True)
data_subset = []
total_size = 0
@uchidama
uchidama / mc4_load.py
Created February 21, 2024 04:32
# 参考URL:
# https://note.com/oriki111/n/n49ae98873a98?sub_rt=share_h
# 実行コマンド。実行時間のログをテキストに書いておく
# python3 mc4_load.py | tee mc4_load.txt
# 仮想環境の作成
# python3.12 -m venv myenv
# 仮想環境をアクティベート
@uchidama
uchidama / wikipedia_en_load.py
Created February 20, 2024 07:20
'''
データセット関連の情報
https://huggingface.co/datasets/graelo/wikipedia <- 日本語データセット読める
https://huggingface.co/datasets/wikipedia <- 日本語データセット読めない
https://dumps.wikimedia.org/jawiki/
'''
'''
実行コマンド。実行時間のログをテキストに書いておく
# python3 wikipedia_en_load.py | tee wikipedia_en_load.txt
@uchidama
uchidama / wikipedia_jp_load.py
Last active February 20, 2024 05:50
wikipedia日本語データセットの読み込み
# 参考URL:
# GoogleColobで小規模言語モデル(0.15B)の事前学習モデルを作ってみる
# https://ayousanz.hatenadiary.jp/entry/2024/01/23/225623
#
'''
データセット関連の情報
https://huggingface.co/datasets/graelo/wikipedia <- 日本語データセット読める
https://huggingface.co/datasets/wikipedia <- 日本語データセット読めない
https://dumps.wikimedia.org/jawiki/
@uchidama
uchidama / Japanese_LLM_Pretraining_Datasets.md
Last active February 19, 2024 05:36
データセット
@uchidama
uchidama / stablediffusionui-voldemort-v1-2-trinartv1.ipynb
Last active October 18, 2022 08:58
stablediffusionui-voldemort-v1-2-trinartv1.ipynb
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@uchidama
uchidama / stablediffusionui-voldemort-v1-2-waifudiffusionv1-3-easystart.ipynb
Last active October 11, 2022 05:09
stablediffusionui-voldemort-v1-2-waifudiffusionv1-3-easystart.ipynb
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@uchidama
uchidama / stablediffusion_simple1024x1024imagegen.ipynb
Created October 5, 2022 09:27
StableDiffusion_Simple1024x1024ImageGen.ipynb
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@uchidama
uchidama / abc214_c.py
Last active September 8, 2021 15:17
AtCoder Beginner Contest 214 [ C - Distribution ] https://atcoder.jp/contests/abc214/tasks/abc214_c
'''
[問題]
https://atcoder.jp/contests/abc214/tasks/abc214_c
[参考]
https://atcoder.jp/contests/abc214/editorial/2438
　円周上を２周させないと答えが出ないとのこと
'''
import sys