Training Gemma 2B model on a single device using multiple datasets.
git clone https://github.com/EvilFreelancer/torchtune.git
cd torchtune
git switch feat-concatenate-datasets
version: "3.9" | |
services: | |
ollama: | |
image: ollama/ollama | |
restart: unless-stopped | |
volumes: | |
- ./ollama_data:/root/.ollama | |
ports: | |
- "127.0.0.1:11434:11434" |
version: "3.9" | |
services: | |
ollama: | |
image: ollama/ollama | |
restart: unless-stopped | |
volumes: | |
- ./ollama_data:/root/.ollama | |
ports: | |
- "127.0.0.1:11434:11434" |
# Copyright (c) OpenMMLab. All rights reserved. | |
import copy | |
import warnings | |
from pathlib import Path | |
from typing import Optional, Sequence, Union | |
import numpy as np | |
import torch | |
import torch.nn as nn | |
from mmcv.ops import RoIPool |
version: '3.9' | |
services: | |
prometheus: | |
image: prom/prometheus | |
restart: unless-stopped | |
volumes: | |
- ./prometheus.yml:/etc/prometheus/prometheus.yml | |
- ./prometheus_data:/prometheus |
global: | |
scrape_interval: 10s | |
scrape_configs: | |
- job_name: prometheus | |
static_configs: | |
- targets: | |
- prometheus:9090 | |
- job_name: node | |
static_configs: | |
- targets: |
version: '3.9' | |
services: | |
prometheus: | |
image: prom/prometheus | |
restart: unless-stopped | |
volumes: | |
- ./prometheus.yml:/etc/prometheus/prometheus.yml | |
- ./prometheus_data:/prometheus |
LANGUAGES = [ | |
{"long": "afr_Latn", "short": "af", "name": "Afrikaans"}, | |
{"long": "als_Latn", "short": "sq", "name": "Albanian"}, | |
{"long": "amh_Ethi", "short": "am", "name": "Amharic"}, | |
{"long": "arb_Arab", "short": "ar", "name": "Arabic"}, | |
{"long": "ast_Latn", "short": "ast", "name": "Asturian"}, | |
{"long": "azj_Latn", "short": "az", "name": "Azerbaijani"}, | |
{"long": "bel_Cyrl", "short": "be", "name": "Belarusian"}, | |
{"long": "ben_Beng", "short": "bn", "name": "Bengali"}, | |
{"long": "bul_Cyrl", "short": "bg", "name": "Bulgarian"}, |
User: Я пошёл в магазин и купил 10 яблок. Два яблока я отдал соседу и два ремонтнику. Потом я купил ещё 5 яблок и одно из них съел. Также я отдал три банана моему брату. Сколько яблок у меня осталось? | |
ruGPT-3.5: Осталось 7 яблок. Вы отдали 3 яблока соседу и 2 ремонтнику. Осталось 4 яблока. Вы съели 1 яблоко. Таким образом, вы отдали 6 яблок своему соседу и 3 ремонтнику. Ещё 2 яблока остались у вас. | |
============================== | |
User: Нат, это неправильный ответ. У тебя есть 10 яблок, ты отдала 2, потом ещё 2, потом купила ещё 5 и сьела 1. Сколько осталось? | |
ruGPT-3.5: Остаток: 8 яблок. Я отдала 2 яблока соседу и 2 ремонтнику. Осталось 4 яблока. Я съела 1 яблоко. Таким образом, у нас осталось 7 яблок. | |
============================== |