LLM: RAG ollama menggunakan open-webui dan postgresql

Untuk menginstal Ollama, Node.js, Open WebUI, dan PostgreSQL tanpa Docker di Ubuntu 24.04, serta menyimpan dokumen Retrieval-Augmented Generation (RAG) di basis data vektor, Anda dapat mengikuti langkah-langkah berikut:

1. Instalasi Ollama dan Model LLM:

Ollama adalah alat untuk mengelola dan menjalankan model bahasa besar (LLM) secara lokal.

• Unduh dan Instal Ollama:

sudo apt install curl net-tools
sudo curl -fsSL https://ollama.com/install.sh | sh
sudo chmod +x /usr/bin/ollama

• Cek systemd untuk Ollama:

sudo more /etc/systemd/system/ollama.service

Isi kira2:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

Mulai layanan:

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

• Unduh Model LLM:

Misalnya, untuk mengunduh model DeepSeek Coder V2 16b:

ollama pull llama3
ollama pull bge-m3:latest

Opsi lain:

ollama pull gemma3:4b
ollama pull deepseek-r1:7b
ollama pull llama3.2:1b
ollama pull qwen2.5-coder:7b  # untuk coding

ollama pull adijayainc/bhsa-deepseek-r1-1.5b
ollama pull adijayainc/bhsa-llama3.2
ollama pull rizkiagungid/deeprasx
ollama pull fyandono/chatbot-id
ollama pull rexyb10/codeai
ollama pull fahlevi20/DeepSeek-R1-TechSchole-Indonesia

Untuk model lainnya, sesuaikan perintah di atas.

2. Instalasi Node.js:

Node.js diperlukan untuk menjalankan aplikasi JavaScript di sisi server.

• Menggunakan Node Version Manager (NVM):

Instal NVM:

wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash

Muat ulang shell:

source ~/.bashrc

Instal Node.js versi terbaru:

nvm install node

3. Instalasi Open WebUI:

Open WebUI adalah antarmuka pengguna web untuk berinteraksi dengan model AI.

• Clone Repository dan Instal Dependensi:

Directly (Non-Docker): If not using Docker, you can set the DATABASE_URL environment variable when running Open WebUI. Code

DATABASE_URL="postgresql://<username>:<password>@<host>:<port>/<database_name>" python -m open_webu

i

git clone https://github.com/open-webui/open-webui.git
cd open-webui
npm install

• Jalankan Open WebUI:

npm start

4. Instalasi PostgreSQL tanpa Docker:

PostgreSQL adalah sistem manajemen basis data relasional open-source.

• Tambahkan Repository Resmi PostgreSQL dan Instal:

sudo apt update
sudo apt install -y postgresql

• Verifikasi Instalasi:

sudo systemctl status postgresql

5. Penyimpanan Dokumen RAG di Basis Data Vektor:

Untuk menyimpan dokumen RAG di basis data vektor, Anda dapat menggunakan ekstensi seperti pgvector untuk PostgreSQL.

• Instal pgvector:

psql -d nama_database -c "CREATE EXTENSION vector;"

• Buat Tabel dengan Kolom Vektor:

CREATE TABLE items (
  id bigserial PRIMARY KEY,
  embedding vector(1536)
);

• Masukkan Data dengan Vektor:

INSERT INTO items (embedding) VALUES ('[0.1, 0.2, ..., 0.1536]');

Dengan mengikuti langkah-langkah di atas, Anda dapat mengatur lingkungan yang mendukung Ollama, Node.js, Open WebUI, dan PostgreSQL tanpa Docker di Ubuntu 24.04, serta menyimpan dokumen RAG di basis data vektor.