LLM: RAG ollama menggunakan open-webui dan vector database

Untuk mengintegrasikan Open WebUI dengan basis data vektor dan Ollama guna membangun sistem Retrieval-Augmented Generation (RAG), Anda dapat mengikuti langkah-langkah berikut:

1. Instalasi dan Konfigurasi Ollama:

• Unduh dan Instal Ollama: Pastikan Anda mengunduh dan menginstal Ollama versi terbaru sesuai dengan sistem operasi Anda.
  • Jalankan Layanan Ollama: Setelah instalasi, mulai layanan Ollama dengan perintah:

ollama serve

• Unduh Model yang Diperlukan:
  • Model Embedding: Unduh model embedding seperti `bge-m3` yang akan digunakan untuk vektorisasi dokumen:

ollama pull bge-m3:latest

• • Model Bahasa Besar (LLM): Unduh model bahasa besar seperti `qwen2.5` untuk keperluan generasi teks:

ollama pull qwen2.5:14b

• • Catatan: Pilih ukuran model (`14b`, `7b`, dll.) sesuai dengan kapasitas perangkat keras Anda.*

2. Instalasi Open WebUI:

• Menggunakan Docker:
  • Pastikan Docker telah terinstal di sistem Anda.
  • Buat direktori untuk menyimpan data Open WebUI:

sudo mkdir -p /DATA/open-webui

• • Jalankan perintah berikut untuk memulai Open WebUI:

docker run -d -p 3000:8080 \
    --add-host=host.docker.internal:host-gateway \
    -v /DATA/open-webui:/app/backend/data \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:main

• • Catatan: Jika Anda memiliki GPU Nvidia dan ingin memanfaatkannya, tambahkan opsi `--gpus all` pada perintah di atas.*

3. Konfigurasi Integrasi antara Open WebUI dan Ollama:

• Akses Panel Admin Open WebUI:
  • Buka browser dan akses `http://localhost:3000`.
  • Daftarkan akun administrator pertama Anda.
• Pengaturan Koneksi ke Ollama:
  • Masuk ke 'Admin Panel' > 'Settings' > 'External Connections'.
  • Pastikan `Ollama API Address` diatur ke `host.docker.internal:11434`.
  • Klik 'Verify Connection' untuk memastikan Open WebUI dapat terhubung dengan layanan Ollama.
• Pengaturan Model Embedding:
  • Navigasikan ke 'Admin Panel' > 'Settings' > 'Documents'.
  • Atur 'Semantic Vector Model Engine' ke 'Ollama'.
  • Pilih model 'bge-m3:latest' sebagai 'Semantic Vector Model'.
  • Sesuaikan parameter lain sesuai kebutuhan, seperti ukuran maksimal unggahan dan jumlah maksimal unggahan.
  • Klik 'Save' untuk menyimpan pengaturan.

4. Pengujian Sistem RAG:

• Unggah Dokumen: Di antarmuka utama Open WebUI, unggah dokumen yang ingin Anda gunakan sebagai basis pengetahuan.
• Ajukan Pertanyaan: Setelah dokumen diunggah dan diproses, ajukan pertanyaan terkait konten dokumen tersebut.
• Proses RAG: Open WebUI akan menggunakan model embedding untuk mencari bagian relevan dari dokumen dan model bahasa besar untuk menghasilkan respons berdasarkan informasi yang ditemukan.

Dengan mengikuti langkah-langkah di atas, Anda dapat membangun sistem RAG lokal yang efisien menggunakan Open WebUI, Ollama, dan basis data vektor. Pendekatan ini tidak hanya meningkatkan kemampuan sistem dalam memahami dan memproses pertanyaan berbasis dokumen, tetapi juga memastikan bahwa data sensitif tetap berada di lingkungan lokal Anda.

Pranala Menarik

• LLM