Tu propia Inteligencia Artificial

ai-cmtv.md

Tu propia Inteligencia Artificial

*Los comandos de este tutorial funcionan con Linux, MacOs y WSL de Windows.

1- Requisitos

Debes tener instalado Docker en tu ordenador. (Excepto para uno de los ejemplos más abajo)

Contexto sobre Docker:

Docker es una de las tecnologías más omnipresentes en el sector digital. Permite crear entornos aislados muy ligeros simulando cualquier sistema operativo. Un ejemplo: El comando docker run -it ubuntu:24.04 /bin/bash te permite levantar localmente un contenedor ubuntu y acceder a su shell. Docker trabaja con contenedores e imágenes. Los contenedores se pueden crear (Siempre a partir de una imagen), arrancar, parar o destruir. Las imágenes se pueden descargar o borrar pero también puedes construirte tu propia imagen. Cheatsheet para Docker: https://docs.docker.com/get-started/docker_cheatsheet.pdf

---

2- Ejercicio 1: Correr localmente Llama

Alternativa sin Docker

Simplemente descargamos y ejecutamos su binario:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama2        # ollama run <modelo_de_lenguaje>

Alternativa con Docker

Simplemente descargamos y usamos el contenedor oficial:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run mistral     # docker exec -it ollama ollama run <modelo_de_lenguaje>

Cuando hayas terminado puedes salir del contenedor con CTRL+D y hacer limpieza ejectutando:

docker stop ollama
docker rm ollama && docker rmi ollama/ollama && docker volume rm ollama

Más información en su repositorio: https://github.com/ollama/ollama

---

3- Ejercicio 2: Correr localmente LlamaGPT con interfaz gráfica

Simplemente utilizaremos el proyecto llama-gpt que nos ofrece el maravilloso equipo de Umbrel. Y lo haremos mediante los siguientes pasos:

• Descargamos el repositorio de llama-gpt de GitHub y nos situamos en él (Verás que son los mismos pasos que nos ofrecen ellos en su repositorio en GitHub)

git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt

• Lanzamos su bash script: ./run.sh --model 7b

• Verás que se ejecutan muchos pasos. Docker necesita hacer su magia y además descargar el modelo "7b" (3.53 GB). En unos minutos, te aparecerá el mensaje ready - started server on 0.0.0.0:3000, url: http://localhost:3000. Significa que ya está listo. Ya puedes abrir cualquier navegador y escribir en la barra de direcciones: localhost:3000. ¡Lo tenemos!

• Para hacer limpieza una vez hayas acabado: docker compose down && docker rmi llama-gpt-llama-gpt-ui && docker image prune

---

4- Próximamente: Usar un modelo entrenado con datos propios.