[[GPT]] Гайд для тех, кто не хочет делиться своими данными при общении с AI чатами или сэкономить 20 баксов на подписку, а тратить не больше 5 в крипте. То есть с LLM моделя можно работать как полностью локально (важна оперативка), либо через провайдера OpenRouter. Сначала немного теории. Что такое [[LLM]] модели https://www.youtube.com/watch?v=zjkBMFhNj_g
Для работа offline с [[LLM]] модели вам нужно следующее:
- Устанавливаем Ollama сервер. Это как Docker, только для моделей
- Скачиваем сервере с https://ollama.com/
- Выбираем модель https://ollama.com/library и скачиваем ее. Если у вас не более 16Gb RAM, то я рекомендую
wizardlm2:7b
. Это неплохая модель, немного хуже, чем chatGPT 3.5. - Команда следующая:
ollama run wizardlm2:7b-q5_K_M
. После скачивания запуститься промт, в котором можно проверить модель, ну либо сразу закрыть. На верхней панели должна появиться иконка с запущенной ламой.