LLM: RAG ollama dengan open-webui dan qdrant

Untuk mengintegrasikan **Ollama**, **Open WebUI**, dan **Qdrant** pada **Ubuntu 24.04** untuk implementasi **Retrieval-Augmented Generation (RAG)**, ikuti langkah-langkah berikut:

---

1. 1. 1. Instalasi Ollama

• • Ollama** adalah platform yang memungkinkan Anda menjalankan model bahasa besar (LLM) secara lokal. Untuk menginstalnya:

```bash curl -fsSL https://ollama.com/install.sh | sh ```

Setelah instalasi, verifikasi dengan:

```bash ollama --version ```

citeturn0search4

---

1. 1. 2. Instalasi Qdrant

• • Qdrant** adalah basis data vektor yang dirancang untuk pencarian vektor yang efisien. Untuk menginstalnya:

- **Menggunakan Docker**:

 ```bash
 docker run -d --name qdrant -p 6333:6333 qdrant/qdrant
 ```

- **Tanpa Docker**:

 Unduh dan ikuti panduan instalasi resmi dari [dokumentasi Qdrant](https://qdrant.tech/documentation/quick-start/).

Setelah berjalan, akses antarmuka web Qdrant di `http://localhost:6333/dashboard` untuk memverifikasi instalasi.

citeturn0search5

---

1. 1. 3. Instalasi Open WebUI

• • Open WebUI** menyediakan antarmuka web untuk berinteraksi dengan LLM. Untuk menginstalnya menggunakan Docker:

```bash docker run -d --network=host \

 -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
 -v open-webui:/app/backend/data \
 --name open-webui \
 --restart always \
 ghcr.io/open-webui/open-webui:main

```

citeturn0search14

---

1. 1. 4. Konfigurasi Integrasi Qdrant dengan Open WebUI

Untuk mengintegrasikan Qdrant sebagai basis data vektor di Open WebUI:

1. **Setel variabel lingkungan**:

  ```bash
  export VECTOR_DB=qdrant
  export QDRANT_API_KEY=your_qdrant_api_key
  export QDRANT_URI=http://localhost:6333
  ```

  citeturn0search3

2. **Pastikan Open WebUI mengenali konfigurasi ini**. Jika menggunakan Docker, tambahkan variabel lingkungan tersebut saat menjalankan container.

---

1. 1. 5. Menambahkan Basis Pengetahuan untuk RAG

Untuk menambahkan dokumen sebagai basis pengetahuan:

1. **Akses Open WebUI** melalui browser di `http://localhost:3000`.

2. **Buat Basis Pengetahuan Baru**:

  - Navigasi ke `Workspace > Knowledge > + Create a Knowledge Base`.
  - Beri nama, misalnya, "Dokumentasi Proyek".
  - Tentukan tujuan, misalnya, "Asistensi".

3. **Unggah Dokumen**:

  - Seret dan lepas file (misalnya, `.md`, `.pdf`) ke basis pengetahuan yang baru dibuat.

4. **Buat Model Kustom**:

  - Navigasi ke `Workspace > Models > + Add New Model`.
  - Beri nama model, misalnya, "Asisten Proyek".
  - Pilih model dasar (misalnya, Llama 3).
  - Pilih sumber pengetahuan yang telah dibuat sebelumnya.

5. **Mulai Chat Baru**:

  - Pilih model "Asisten Proyek" untuk mulai berinteraksi dengan basis pengetahuan yang telah diunggah.

citeturn0search9

---

• • Catatan**:

- **Performa**: Jalankan Ollama pada mesin dengan GPU untuk kinerja optimal. Jika tidak ada GPU, Ollama akan berjalan dalam mode CPU.

- **Keamanan**: Saat mengatur Qdrant untuk akses jaringan, pastikan untuk mengamankan endpoint dengan autentikasi yang tepat.

- **Pemantauan**: Pantau penggunaan sumber daya saat menjalankan model besar untuk mencegah kelebihan beban sistem.

Dengan mengikuti langkah-langkah ini, Anda dapat mengatur lingkungan yang mengintegrasikan Ollama, Open WebUI, dan Qdrant untuk implementasi RAG pada Ubuntu 24.04.