LLM: RAG ollama dengan open-webui dan chroma

From OnnoWiki
Jump to navigation Jump to search

Untuk mengintegrasikan Ollama, Open WebUI, dan Chroma sebagai vector database untuk Retrieval-Augmented Generation (RAG) di Ubuntu 24.04, ikuti langkah-langkah berikut:


1. Instalasi Ollama di Ubuntu 24.04

Ollama memungkinkan Anda menjalankan model bahasa besar (LLM) secara lokal. Untuk menginstalnya:

1. Perbarui sistem dan instal dependensi: 

sudo apt update
sudo apt upgrade
sudo apt install -y curl net-tools

2. Unduh dan jalankan skrip instalasi Ollama: 

curl -fsSL https://ollama.com/install.sh | sh

Catatan: Pastikan sistem Anda memiliki GPU NVIDIA atau AMD untuk kinerja optimal. Jika tidak, Ollama akan berjalan dalam mode CPU.

3. Verifikasi instalasi dan status layanan Ollama: 

ollama --version
systemctl status ollama

Pastikan layanan Ollama aktif dan berjalan.

2. Instalasi Open WebUI

Open WebUI menyediakan antarmuka pengguna untuk berinteraksi dengan LLM. Untuk menginstalnya:

1. Pastikan Docker terinstal: 

sudo apt install -y docker.io

2. Jalankan Open WebUI menggunakan Docker: 

sudo docker run -d -p 8080:8080 --name open-webui ghcr.io/open-webui/open-webui:main

Catatan: Perintah ini akan menjalankan Open WebUI pada port 8080.

3. Akses Open WebUI:

Buka browser dan navigasikan ke `http://localhost:8080`.

3. Integrasi Chroma sebagai Vector Database untuk RAG

Chroma digunakan untuk menyimpan dan mengambil embedding vektor dalam proses RAG. Untuk mengintegrasikannya:

1. Instal Chroma:

Chroma dapat diinstal sebagai layanan terpisah atau diintegrasikan langsung dalam aplikasi Python Anda. Untuk instalasi lokal: 

apt install python3-pip
pip install chromadb


2. Konfigurasi Open WebUI untuk menggunakan Chroma:

  • Setel variabel lingkungan:

Saat menjalankan Open WebUI dengan Docker, tambahkan variabel lingkungan untuk mengatur Chroma sebagai vector database: 

docker run -d -p 8080:8080 \
  -e VECTOR_DB=chroma \
  --name open-webui ghcr.io/open-webui/open-webui:main
  • Verifikasi integrasi:

Akses Open WebUI dan pastikan bahwa Chroma terdeteksi sebagai vector database.

3. Muat dan kelola dokumen untuk RAG:

  • Unggah dokumen:

Navigasikan ke bagian "Workspace" > "Documents" di Open WebUI dan unggah dokumen yang ingin Anda gunakan sebagai sumber pengetahuan.

  • Buat Knowledge Base:

Setelah dokumen diunggah, buat "Knowledge Base" dan tambahkan dokumen tersebut ke dalamnya.

  • Konfigurasi model untuk menggunakan Knowledge Base:

Buat atau edit model di Open WebUI untuk menggunakan Knowledge Base yang telah dibuat.

4. Gunakan RAG dalam interaksi:

Saat berinteraksi dengan model di Open WebUI, model akan menggunakan informasi dari Knowledge Base melalui Chroma untuk memberikan jawaban yang lebih informatif.

Pranala Menarik

Retrieved from "https://onnocenter.or.id/wiki/index.php?title=LLM:_RAG_ollama_dengan_open-webui_dan_chroma&oldid=72063"