LLM: ollama install ubuntu 24.04 docker open-webio

From OnnoWiki
Jump to navigation Jump to search

Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/

Pastikan:

  • OS bisa linux server, seperti ubuntu server.
  • Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
  • Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.


Install aplikasi pendukung 

sudo apt update
sudo apt install curl net-tools ffmpeg


Download 

curl -fsSL https://ollama.com/install.sh | sh

Sebagai user biasa run & download model 

ollama pull llama3
ollama pull bge-m3:latest

ollama pull qwen2.5-coder:7b
ollama pull deepseek-r1:7b
ollama pull llama3.3:1b
ollama pull gemma3:4b

ollama pull adijayainc/bhsa-deepseek-r1-1.5b
ollama pull adijayainc/bhsa-llama3.2

optional, 

ollama pull llama3.2:1b

ollama pull rizkiagungid/deeprasx
ollama pull fyandono/chatbot-id
ollama pull rexyb10/codeai
ollama pull fahlevi20/DeepSeek-R1-TechSchole-Indonesia

ollama pull all-MiniLM

Kalau punya GPU dengan RAM besar 

ollama pull llama3.3

systemctl status ollama


Install docker open-webui

Persiapan 

sudo apt  install docker.io
sudo docker pull ghcr.io/open-webui/open-webui:main

Tanpa GPU 

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

sudo docker run -d -p 3000:8080 -v ollama:/usr/share/ollama/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama


Dengan GPU 

docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda

sudo docker run -d -p 3000:8080 --gpus=all -v ollama:/usr/share/ollama/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Contoh

curl http://localhost:11434/api/generate -d '{
  "model" : "llama3",
  "prompt" : "tell me a joke",
  "stream" : false
  }'


Referensi

Retrieved from "https://onnocenter.or.id/wiki/index.php?title=LLM:_ollama_install_ubuntu_24.04_docker_open-webio&oldid=72121"