uchidama

#!/bin/bash
#
# Unityフォルダ構成のルールについて
# https://qiita.com/takish/items/8608ba9070755da3ae6d
#  ここで書かれたフォルダ構成をUnityの空のプロジェクトを作ったあとに作成するスクリプト
#  空のプロジェクトのルートフォルダにおいて実行

# Base directory for Unity project Assets
base_dir="./Assets"

uchidama

# the-stackデータセットから10MBだけ読み込んで、先頭を表示する

import sys
from datasets import load_dataset

dataset = load_dataset("bigcode/the-stack", split="train", streaming=True)

data_subset = []
total_size = 0

uchidama

# 参考URL:
# https://note.com/oriki111/n/n49ae98873a98?sub_rt=share_h

# 実行コマンド。実行時間のログをテキストに書いておく
# python3 mc4_load.py | tee mc4_load.txt

# 仮想環境の作成
# python3.12 -m venv myenv

# 仮想環境をアクティベート

uchidama

'''
データセット関連の情報
https://huggingface.co/datasets/graelo/wikipedia <- 日本語データセット読める
https://huggingface.co/datasets/wikipedia <- 日本語データセット読めない
https://dumps.wikimedia.org/jawiki/
'''

'''
実行コマンド。実行時間のログをテキストに書いておく
# python3 wikipedia_en_load.py | tee wikipedia_en_load.txt

uchidama

# 参考URL:
# GoogleColobで小規模言語モデル(0.15B)の事前学習モデルを作ってみる
# https://ayousanz.hatenadiary.jp/entry/2024/01/23/225623
# 

'''
データセット関連の情報
https://huggingface.co/datasets/graelo/wikipedia <- 日本語データセット読める
https://huggingface.co/datasets/wikipedia <- 日本語データセット読めない
https://dumps.wikimedia.org/jawiki/

uchidama

フルスクラッチ事前学習の日本語大規模言語モデル5種で使われているデータセット

データセット	LLM-jp-13B-v1.0	weblab-10b	PLaMo-13B	Stockmark-13b	Japanese StableLM Alpha	備考
mc4	◯	◯	◯	◯	◯
wikipedia	◯		◯	◯	◯	StableLMのページからはdumps.wikipediaにリンクされてる
pile	◯	◯
RedPajama			◯		◯
cc100				◯	◯
the stack

uchidama

uchidama

import keras
from keras.datasets import fashion_mnist

import numpy as np
from PIL import Image, ImageOps
import os

def save_image(filename, data_array):
    im = Image.fromarray(data_array.astype('uint8'))
    im_invert = ImageOps.invert(im)

uchidama

uchidama