LLM: RAG ollama dengan open-webui dan chroma
Untuk mengintegrasikan Ollama, Open WebUI, dan Chroma sebagai vector database untuk Retrieval-Augmented Generation (RAG) di Ubuntu 24.04, ikuti langkah-langkah berikut:
1. Instalasi Ollama di Ubuntu 24.04
Ollama memungkinkan Anda menjalankan model bahasa besar (LLM) secara lokal. Untuk menginstalnya:
1. Perbarui sistem dan instal dependensi:
sudo apt update sudo apt install -y curl net-tools
2. Unduh dan jalankan skrip instalasi Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Catatan: Pastikan sistem Anda memiliki GPU NVIDIA atau AMD untuk kinerja optimal. Jika tidak, Ollama akan berjalan dalam mode CPU.
3. Verifikasi instalasi dan status layanan Ollama:
ollama --version ollama pull llama3 ollama pull bge-m3:latest systemctl status ollama
Pastikan layanan Ollama aktif dan berjalan. Optional,
ollama pull gemma3:4b ollama pull deepseek-r1:7b ollama pull llama3.2:1b ollama pull qwen2.5-coder:7b # untuk coding ollama pull adijayainc/bhsa-deepseek-r1-1.5b ollama pull adijayainc/bhsa-llama3.2 ollama pull rizkiagungid/deeprasx ollama pull fyandono/chatbot-id ollama pull rexyb10/codeai ollama pull fahlevi20/DeepSeek-R1-TechSchole-Indonesia
2. Instalasi Open WebUI
Open WebUI menyediakan antarmuka pengguna untuk berinteraksi dengan LLM. Untuk menginstalnya:
1. Pastikan Docker terinstal:
sudo apt install -y docker.io
2. Jalankan Open WebUI menggunakan Docker:
sudo docker run -d -p 8080:8080 --name open-webui ghcr.io/open-webui/open-webui:main
Catatan: Perintah ini akan menjalankan Open WebUI pada port 8080.
3. Akses Open WebUI:
Browse
http://localhost:8080 http://ip-address:8080
3. Integrasi Chroma sebagai Vector Database untuk RAG
Chroma digunakan untuk menyimpan dan mengambil embedding vektor dalam proses RAG. Untuk mengintegrasikannya:
1. Instal Chroma:
Chroma dapat diinstal sebagai layanan terpisah atau diintegrasikan langsung dalam aplikasi Python Anda. Untuk instalasi lokal:
sudo apt install python3-pip pip install chromadb
2. Konfigurasi Open WebUI untuk menggunakan Chroma:
- Setel variabel lingkungan:
Saat menjalankan Open WebUI dengan Docker, tambahkan variabel lingkungan untuk mengatur Chroma sebagai vector database:
docker run -d -p 8080:8080 \ -e VECTOR_DB=chroma \ --name open-webui ghcr.io/open-webui/open-webui:main
- Verifikasi integrasi:
Akses Open WebUI dan pastikan bahwa Chroma terdeteksi sebagai vector database.
3. Muat dan kelola dokumen untuk RAG:
- Unggah dokumen:
Navigasikan ke bagian "Workspace" > "Documents" di Open WebUI dan unggah dokumen yang ingin Anda gunakan sebagai sumber pengetahuan.
- Buat Knowledge Base:
Setelah dokumen diunggah, buat "Knowledge Base" dan tambahkan dokumen tersebut ke dalamnya.
- Konfigurasi model untuk menggunakan Knowledge Base:
Buat atau edit model di Open WebUI untuk menggunakan Knowledge Base yang telah dibuat.
4. Gunakan RAG dalam interaksi:
Saat berinteraksi dengan model di Open WebUI, model akan menggunakan informasi dari Knowledge Base melalui Chroma untuk memberikan jawaban yang lebih informatif.