LLM: RAG ollama dengan open-webui dan qdrant

From OnnoWiki
Jump to navigation Jump to search

Untuk mengintegrasikan Ollama, Open WebUI, dan Qdrant pada Ubuntu 24.04 untuk implementasi Retrieval-Augmented Generation (RAG), ikuti langkah-langkah berikut:


1. Instalasi Ollama

Ollama adalah platform yang memungkinkan Anda menjalankan model bahasa besar (LLM) secara lokal. Untuk menginstalnya: 

curl -fsSL https://ollama.com/install.sh | sh

Setelah instalasi, verifikasi dengan: 

ollama --version


2. Instalasi Qdrant

Qdrant adalah basis data vektor yang dirancang untuk pencarian vektor yang efisien. Untuk menginstalnya:

  • Menggunakan Docker:
docker run -d --name qdrant -p 6333:6333 qdrant/qdrant
  • Tanpa Docker:

Unduh dan ikuti panduan instalasi resmi dari [dokumentasi Qdrant](https://qdrant.tech/documentation/quick-start/).

Setelah berjalan, akses antarmuka web Qdrant di `http://localhost:6333/dashboard` untuk memverifikasi instalasi.


3. Instalasi Open WebUI

Open WebUI menyediakan antarmuka web untuk berinteraksi dengan LLM. Untuk menginstalnya menggunakan Docker: 

docker run -d --network=host \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

4. Konfigurasi Integrasi Qdrant dengan Open WebUI

Untuk mengintegrasikan Qdrant sebagai basis data vektor di Open WebUI:

1. Setel variabel lingkungan: 

export VECTOR_DB=qdrant
export QDRANT_API_KEY=your_qdrant_api_key
export QDRANT_URI=http://localhost:6333

2. Pastikan Open WebUI mengenali konfigurasi ini. Jika menggunakan Docker, tambahkan variabel lingkungan tersebut saat menjalankan container.

==5. Menambahkan Basis Pengetahuan untuk RAG

Untuk menambahkan dokumen sebagai basis pengetahuan:

1. Akses Open WebUI melalui browser di `http://localhost:3000`.

2. Buat Basis Pengetahuan Baru:

  • Navigasi ke `Workspace > Knowledge > + Create a Knowledge Base`.
  • Beri nama, misalnya, "Dokumentasi Proyek".
  • Tentukan tujuan, misalnya, "Asistensi".

3. Unggah Dokumen:

  • Seret dan lepas file (misalnya, `.md`, `.pdf`) ke basis pengetahuan yang baru dibuat.

4. Buat Model Kustom:

  • Navigasi ke `Workspace > Models > + Add New Model`.
  • Beri nama model, misalnya, "Asisten Proyek".
  • Pilih model dasar (misalnya, Llama 3).
  • Pilih sumber pengetahuan yang telah dibuat sebelumnya.

5. Mulai Chat Baru:

  • Pilih model "Asisten Proyek" untuk mulai berinteraksi dengan basis pengetahuan yang telah diunggah.

Catatan:

  • Performa: Jalankan Ollama pada mesin dengan GPU untuk kinerja optimal. Jika tidak ada GPU, Ollama akan berjalan dalam mode CPU.
  • Keamanan: Saat mengatur Qdrant untuk akses jaringan, pastikan untuk mengamankan endpoint dengan autentikasi yang tepat.
  • Pemantauan: Pantau penggunaan sumber daya saat menjalankan model besar untuk mencegah kelebihan beban sistem.
Retrieved from "https://onnocenter.or.id/wiki/index.php?title=LLM:_RAG_ollama_dengan_open-webui_dan_qdrant&oldid=72056"