自動訓練

autotrain.sh

autotrain llm --train  \
	--data-path data \
	--epochs 3  \
	--block-size 1024 \
	--gradient-accumulation 4 \
	--logging_steps 500 \
	--lora-alpha 32  \
	--lora-dropout 0.05  \
	--lora-r 8  \
	--lr 2e-4 \
	--merge-adapter \
	--model TinyPixel/Llama-2-7B-bf16-sharded  \
	--project-name lora \
	--text-column text \
	--train-batch-size 4 \
	--trainer sft \
	--use-int4 \
	--use-peft \
	--warmup-ratio 0.1 \
	--weight-decay 0.01