Skip to content

Instantly share code, notes, and snippets.

View EvilFreelancer's full-sized avatar

Pavel Zloi EvilFreelancer

242 followers · 87 following
View GitHub Profile
@EvilFreelancer
EvilFreelancer / README.md
Last active April 30, 2024 11:11
TorchTune: LoRA miltidataset training of Gemma 2B model on a single device

TorchTune / Gemma 2B / LoRA / Single Device

Training Gemma 2B model on a single device using multiple datasets.

Prepare environment

git clone https://github.com/EvilFreelancer/torchtune.git
cd torchtune
git switch feat-concatenate-datasets
@EvilFreelancer
EvilFreelancer / README.md
Last active April 30, 2024 11:12
TorchTune: Distributed LoRA miltidataset training of Gemma 2B model

TorchTune / Gemma 2B / LoRA / Distributed

Training Gemma 2B model on a multiple devices (1 node with 2 GPUs) using multiple datasets.

Prepare environment

git clone https://github.com/EvilFreelancer/torchtune.git
cd torchtune
git switch feat-concatenate-datasets
@EvilFreelancer
EvilFreelancer / docker-compose.yml
Last active March 31, 2024 15:36
Пример запуска OLLAMA в Docker с активным GPU
version: "3.9"
services:
ollama:
image: ollama/ollama
restart: unless-stopped
volumes:
- ./ollama_data:/root/.ollama
ports:
- "127.0.0.1:11434:11434"
@EvilFreelancer
EvilFreelancer / docker-compose.yml
Last active March 31, 2024 15:36
Пример запуска OLLAMA в Docker в режиме CPU only
version: "3.9"
services:
ollama:
image: ollama/ollama
restart: unless-stopped
volumes:
- ./ollama_data:/root/.ollama
ports:
- "127.0.0.1:11434:11434"
@EvilFreelancer
EvilFreelancer / inference.py
Created March 14, 2024 08:28
ByungKwanLee/MoAI > issues/2
# Copyright (c) OpenMMLab. All rights reserved.
import copy
import warnings
from pathlib import Path
from typing import Optional, Sequence, Union
import numpy as np
import torch
import torch.nn as nn
from mmcv.ops import RoIPool
@EvilFreelancer
EvilFreelancer / docker-compose.yml
Last active March 11, 2024 20:39
Конфигурация docker-compose.yml для запуска Prometheus и Grafana (шаг 3)
version: '3.9'
services:
prometheus:
image: prom/prometheus
restart: unless-stopped
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml
- ./prometheus_data:/prometheus
@EvilFreelancer
EvilFreelancer / prometheus.yml
Created March 11, 2024 18:05
Конфигурация docker-compose.yml для запуска Prometheus и Grafana (шаг 2)
global:
scrape_interval: 10s
scrape_configs:
- job_name: prometheus
static_configs:
- targets:
- prometheus:9090
- job_name: node
static_configs:
- targets:
@EvilFreelancer
EvilFreelancer / docker-compose.yml
Last active March 11, 2024 20:39
Конфигурация docker-compose.yml для запуска Prometheus и Grafana (шаг 1)
version: '3.9'
services:
prometheus:
image: prom/prometheus
restart: unless-stopped
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml
- ./prometheus_data:/prometheus
@EvilFreelancer
EvilFreelancer / nllb_languages.py
Last active February 3, 2024 13:32
Пример локального запуска модели NLLB (перевод rus -> eng)
LANGUAGES = [
{"long": "afr_Latn", "short": "af", "name": "Afrikaans"},
{"long": "als_Latn", "short": "sq", "name": "Albanian"},
{"long": "amh_Ethi", "short": "am", "name": "Amharic"},
{"long": "arb_Arab", "short": "ar", "name": "Arabic"},
{"long": "ast_Latn", "short": "ast", "name": "Asturian"},
{"long": "azj_Latn", "short": "az", "name": "Azerbaijani"},
{"long": "bel_Cyrl", "short": "be", "name": "Belarusian"},
{"long": "ben_Beng", "short": "bn", "name": "Bengali"},
{"long": "bul_Cyrl", "short": "bg", "name": "Bulgarian"},
@EvilFreelancer
EvilFreelancer / Задача: 10 яблок
Last active October 11, 2023 19:45
ruGPT-3.5 13B - Логические задачки
User: Я пошёл в магазин и купил 10 яблок. Два яблока я отдал соседу и два ремонтнику. Потом я купил ещё 5 яблок и одно из них съел. Также я отдал три банана моему брату. Сколько яблок у меня осталось?
ruGPT-3.5: Осталось 7 яблок. Вы отдали 3 яблока соседу и 2 ремонтнику. Осталось 4 яблока. Вы съели 1 яблоко. Таким образом, вы отдали 6 яблок своему соседу и 3 ремонтнику. Ещё 2 яблока остались у вас.
==============================
User: Нат, это неправильный ответ. У тебя есть 10 яблок, ты отдала 2, потом ещё 2, потом купила ещё 5 и сьела 1. Сколько осталось?
ruGPT-3.5: Остаток: 8 яблок. Я отдала 2 яблока соседу и 2 ремонтнику. Осталось 4 яблока. Я съела 1 яблоко. Таким образом, у нас осталось 7 яблок.
==============================