LLM: RAG ollama menggunakan open-webui dan postgresql

Untuk menginstal Ollama, Node.js, Open WebUI, dan PostgreSQL tanpa Docker di Ubuntu 24.04, serta menyimpan dokumen Retrieval-Augmented Generation (RAG) di basis data vektor, Anda dapat mengikuti langkah-langkah berikut:

• • 1. Instalasi Ollama dan Model LLM:**

Ollama adalah alat untuk mengelola dan menjalankan model bahasa besar (LLM) secara lokal.

- **Unduh dan Instal Ollama:**

```bash

 sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
 sudo chmod +x /usr/bin/ollama
 ```



- **Tambahkan Ollama sebagai Layanan Startup (Opsional):**

```bash

 sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
 ```



 Buat file layanan systemd untuk Ollama:

```bash

 sudo nano /etc/systemd/system/ollama.service
 ```



 Isi dengan:

```

 [Unit]
 Description=Ollama Service
 After=network-online.target

 [Service]
 ExecStart=/usr/bin/ollama serve
 User=ollama
 Group=ollama
 Restart=always
 RestartSec=3

 [Install]
 WantedBy=default.target
 ```



 Kemudian, aktifkan dan mulai layanan:

```bash

 sudo systemctl daemon-reload
 sudo systemctl enable ollama
 sudo systemctl start ollama
 ```



- **Unduh Model LLM:**

 Misalnya, untuk mengunduh model DeepSeek Coder V2 16b:

```bash

 ollama pull deepseek-coder-v2
 ```



 Untuk model lainnya, sesuaikan perintah di atas.

• • 2. Instalasi Node.js:**

Node.js diperlukan untuk menjalankan aplikasi JavaScript di sisi server.

- **Menggunakan Node Version Manager (NVM):**

 Instal NVM:

```bash

 wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
 ```



 Muat ulang shell:

```bash

 source ~/.bashrc
 ```



 Instal Node.js versi terbaru:

```bash

 nvm install node
 ```



• • 3. Instalasi Open WebUI:**

Open WebUI adalah antarmuka pengguna web untuk berinteraksi dengan model AI.

- **Clone Repository dan Instal Dependensi:**

```bash

 git clone https://github.com/open-webui/open-webui.git
 cd open-webui
 npm install
 ```



- **Jalankan Open WebUI:**

```bash

 npm start
 ```



• • 4. Instalasi PostgreSQL tanpa Docker:**

PostgreSQL adalah sistem manajemen basis data relasional open-source.

- **Tambahkan Repository Resmi PostgreSQL dan Instal:**

```bash

 sudo apt update
 sudo apt install -y postgresql
 ```



- **Verifikasi Instalasi:**

```bash

 sudo systemctl status postgresql
 ```



• • 5. Penyimpanan Dokumen RAG di Basis Data Vektor:**

Untuk menyimpan dokumen RAG di basis data vektor, Anda dapat menggunakan ekstensi seperti pgvector untuk PostgreSQL.

- **Instal pgvector:**

```bash

 psql -d nama_database -c "CREATE EXTENSION vector;"
 ```



- **Buat Tabel dengan Kolom Vektor:**

```sql

 CREATE TABLE items (
   id bigserial PRIMARY KEY,
   embedding vector(1536)
 );
 ```



- **Masukkan Data dengan Vektor:**

```sql

 INSERT INTO items (embedding) VALUES ('[0.1, 0.2, ..., 0.1536]');
 ```



Dengan mengikuti langkah-langkah di atas, Anda dapat mengatur lingkungan yang mendukung Ollama, Node.js, Open WebUI, dan PostgreSQL tanpa Docker di Ubuntu 24.04, serta menyimpan dokumen RAG di basis data vektor.