LLM: RAG menggunakan open-webui ollama
Jump to navigation
Jump to search
Untuk mengaktifkan fitur Documents di Open WebUI agar berfungsi sebagai Retrieval-Augmented Generation (RAG) dengan menggunakan Ollama sebagai backend, Anda dapat mengikuti langkah-langkah berikut:
- Pastikan Ollama Terinstal dan Berjalan: Pastikan Anda telah menginstal Ollama versi terbaru dan menjalankannya di sistem Anda. Jika belum, Anda dapat mengunduh dan menginstalnya sesuai petunjuk di situs resmi Ollama.
- Unduh Model Embedding yang Diperlukan: Untuk melakukan embedding dokumen, unduh model yang sesuai melalui Ollama. Misalnya, untuk model bge-m3, jalankan perintah berikut:
ollama pull bge-m3:latest
Model ini akan digunakan untuk menghasilkan representasi vektor dari dokumen Anda.
- Konfigurasi Open WebUI untuk Menggunakan Ollama: Akses panel admin Open WebUI dan navigasikan ke Settings. Pada bagian External Connections, pastikan alamat API Ollama telah diatur dengan benar, misalnya http://localhost:11434. Klik tombol Verify Connection untuk memastikan koneksi berhasil.
- Atur Model Embedding di Open WebUI: Masih di panel Settings, buka tab Documents dan lakukan pengaturan berikut:
- Semantic Vector Model Engine: Pilih Ollama.
- Semantic Vector Model: Masukkan nama model embedding yang telah anda unduh, misalnya bge-m3:latest.
- Pengaturan Lainnya: Sesuaikan parameter seperti ukuran maksimum unggahan, jumlah unggahan maksimum, nilai Top K, ukuran blok, dan overlap blok sesuai kebutuhan Anda.
- Setelah melakukan pengaturan, klik tombol Save untuk menyimpan perubahan.
- Unggah Dokumen dan Gunakan Fitur RAG: Setelah konfigurasi selesai, Anda dapat mengunggah dokumen melalui menu Documents di Open WebUI. Dokumen yang diunggah akan diproses menggunakan model embedding yang telah ditentukan. Saat mengajukan pertanyaan, sistem akan menggunakan informasi dari dokumen tersebut untuk memberikan jawaban yang lebih relevan dan kontekstual.
Dengan mengikuti langkah-langkah di atas, fitur Documents di Open WebUI akan berfungsi sebagai RAG dengan Ollama sebagai backend, memungkinkan integrasi informasi dari dokumen yang Anda unggah ke dalam interaksi Anda dengan model bahasa.