LLM: ubuntu 24.04 ollama + open-webio full docker
Untuk menginstal Ollama dan Open WebUI yang stabil di Ubuntu 24.04, Anda dapat mengikuti langkah-langkah berikut:
1. Instalasi Docker:
Pastikan Docker terinstal di sistem Anda. Jika belum, instal dengan perintah berikut:
sudo apt update sudo apt install -y docker.io
2. Instalasi NVIDIA Container Toolkit (Opsional, jika menggunakan GPU NVIDIA):
Jika Anda memiliki GPU NVIDIA dan ingin memanfaatkannya, instal NVIDIA Container Toolkit:
sudo apt install -y nvidia-docker2 sudo systemctl restart docker
3. Menjalankan Ollama dan Open WebUI menggunakan Docker:
Ada beberapa metode untuk menjalankan Ollama dan Open WebUI. Salah satu metode yang direkomendasikan adalah menggunakan Docker Compose.
Menggunakan Docker Compose:
Install
sudo su
apt install docker.io
curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
Buat file `docker-compose.yaml` dengan isi berikut:
services:
ollama:
image: ollama/ollama
container_name: ollama
volumes:
- ollama:/root/.ollama
restart: unless-stopped
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "3000:8080"
volumes:
- open-webui:/app/backend/data
environment:
- OLLAMA_API_BASE_URL=http://ollama:11434
depends_on:
- ollama
restart: unless-stopped
volumes:
ollama: {}
open-webui: {}
Kemudian, jalankan perintah berikut untuk memulai layanan:
sudo docker-compose up -d
Metode ini memungkinkan Anda untuk menjalankan kedua layanan dengan mudah dan memastikan integrasi yang stabil antara Ollama dan Open WebUI.
Check Model di ollama
Untuk menampilkan daftar model yang tersedia di Ollama saat menggunakan Docker, Anda dapat mengikuti langkah-langkah berikut:
1. Masuk ke Kontainer Ollama:
Pertama, identifikasi nama atau ID kontainer Ollama Anda dengan menjalankan:
docker ps
Cari kontainer dengan image `ollama/ollama`. Setelah Anda mengetahui nama atau ID kontainernya, akses shell interaktif di dalamnya:
docker exec -it nama_atau_id_kontainer /bin/bash
2. Menampilkan Daftar Model:
Setelah berada di dalam kontainer, jalankan perintah berikut untuk menampilkan daftar model yang tersedia:
ollama list
Perintah ini akan menampilkan semua model yang saat ini tersedia di Ollama.
Jika Anda ingin menambahkan model baru, Anda dapat menggunakan perintah `ollama pull nama_model:versi` di dalam kontainer. Misalnya, untuk menambahkan model "llama2" versi "13b", gunakan:
ollama pull mistral ollama pull llama3.2:3b ollama pull gemma3:4b ollama pull bge-m3:latest ollama pull qwen2.5-coder:7b ollama pull deepseek-r1:7b ollama pull llava ollama pull Supa-AI/gemma2-9b-cpt-sahabatai-v1-instruct ollama pull adijayainc/bhsa-deepseek-r1-1.5b ollama pull adijayainc/bhsa-llama3.2
Setelah penambahan selesai, Anda dapat memverifikasi dengan menjalankan kembali
ollama list
Setting
- Pastikan Connection ke Ollama di set ke host http://ollama:11434