GPT4All: Install CLI + open-webui

Berikut adalah langkah-langkah instalasi `gpt4all` dan `open-webui` di Ubuntu Server 24.04.1 via CLI (tanpa GUI):

1. Persiapan Sistem

Update sistem:

sudo apt update && sudo apt upgrade -y

Install dependensi dasar:

sudo apt install -y git curl wget unzip build-essential python3 python3-pip

2. Instalasi GPT4All=

GPT4All memiliki dua bagian:

• Backend/Engine (C++ CLI atau Python)
• Model LLM (.bin)

Clone repositori GPT4All:

git clone https://github.com/nomic-ai/gpt4all.git
cd gpt4all

Build CLI (opsional, jika hanya ingin CLI chat):

cd gpt4all-backend
mkdir build && cd build
cmake ..
make -j$(nproc)

> CLI binary akan berada di `gpt4all-backend/build/bin/gpt4all`.

Alternatif: Gunakan GPT4All Python bindings

pip install gpt4all

3. Download Model LLM

Misal kita ingin model `ggml-gpt4all-j-v1.3-groovy.bin`:

mkdir -p ~/gpt4all/models
cd ~/gpt4all/models
wget https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin

4. Instalasi Open WebUI (tanpa GUI)

Open WebUI adalah antarmuka web (tanpa GUI lokal), berjalan via Docker.

a. Install Docker & Docker Compose:

sudo apt install -y docker.io docker-compose
sudo systemctl enable --now docker
sudo usermod -aG docker $USER

> Logout dan login kembali agar `docker` bisa dijalankan tanpa `sudo`.

5. Jalankan Open WebUI dengan GPT4All

a. Clone Open WebUI

cd ~
git clone https://github.com/open-webui/open-webui.git
cd open-webui

b. Jalankan dengan Docker Compose

docker-compose up -d

Secara default, WebUI akan berjalan di: `http://localhost:3000`

6. Konfigurasi Model GPT4All di WebUI

Setelah WebUI jalan:

• Akses `http://<IP-server>:3000` dari browser lokal.
• Masuk ke settings ➝ Local LLMs ➝ Tambah model GPT4All.
• Arahkan ke `.bin` file yang sudah diunduh.

Uji Coba

Jika CLI:

cd ~/gpt4all/gpt4all-backend/build/bin
./gpt4all-lora-quantized-ggml -m ~/gpt4all/models/ggml-gpt4all-j-v1.3-groovy.bin

Jika WebUI:

Akses dari browser: `http://<server-ip>:3000`

Catatan Tambahan

• Untuk penggunaan headless (server), pastikan firewall (ufw) membuka port 3000:

sudo ufw allow 3000/tcp

• Open WebUI bisa diakses dari client yang satu jaringan dengan server.
• Model GPT4All cukup ringan dan cocok untuk RAM 4–8 GB.

Pranala Menarik

• LLM