Moje první lokálně běžící LLM! 2024-12-06
Okamžitě funguje.
$ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Stáhlo necelý 2 GB a pustilo se na pozadí. Je to jen platforma, nutno stáhnout jeden z dostupných modelů. Následující příkaz stáhne model o velikosti skoro 4 GB a hned spustí command line interface: