OnnoWiki - User contributions [en]

MCP: Reset dari nol, embed semua doc, isi vector database

2026-07-26T02:54:55Z

Onnowpurbo: Created page with "# Rekomendasi **Tidak perlu install ulang AnythingLLM.** Gunakan reset melalui API lalu lakukan **restart normal**, bukan `docker kill` atau force restart. Menghapus dan mem..."

# Rekomendasi

**Tidak perlu install ulang AnythingLLM.** Gunakan reset melalui API lalu lakukan **restart normal**, bukan `docker kill` atau force restart.

Menghapus dan membuat ulang container dengan storage volume yang sama tidak menghapus workspace, dokumen, atau vector database karena data AnythingLLM disimpan di `/app/server/storage` dan memang dirancang tetap ada setelah rebuild atau pull image baru. ([AnythingLLM][1])

Script berikut menggunakan API resmi untuk:

1. Backup seluruh storage AnythingLLM.
2. Menghapus semua workspace.
3. Menghapus semua dokumen internal dan cached embedding.
4. Restart container secara graceful.
5. Membuat satu workspace baru.
6. Upload dan embed ulang seluruh file dari `/opt/ai-stack/documents`.
7. Membuat manifest berisi nama file, hash SHA-256, dan lokasi dokumen internal.

AnythingLLM menyediakan endpoint resmi untuk mendaftar dan menghapus workspace, menghapus dokumen permanen, membuat workspace, serta upload dokumen langsung ke workspace.

[Download reset-rebuild-anythingllm.sh](sandbox:/mnt/data/reset-rebuild-anythingllm.sh)

Script sudah diperiksa dengan `bash -n`.

---

## 1. Copy script ke server

Misalnya file sudah berada di folder Downloads:

```bash
sudo mkdir -p /opt/ai-stack/batch

sudo cp ~/Downloads/reset-rebuild-anythingllm.sh \
/opt/ai-stack/batch/

sudo chmod 750 \
/opt/ai-stack/batch/reset-rebuild-anythingllm.sh
```

Periksa:

```bash
ls -lh /opt/ai-stack/batch/reset-rebuild-anythingllm.sh
```

---

## 2. Periksa nama dan port container

```bash
docker ps --format 'table {{.Names}}\t{{.Image}}\t{{.Ports}}' \
| grep -i anything
```

Atau:

```bash
docker port anythingllm
```

Contoh:

```text
3001/tcp -> 0.0.0.0:3001
```

Berarti:

```bash
export ANYTHINGLLM_URL="http://127.0.0.1:3001"
```

Apabila AnythingLLM memakai port host `3002`:

```bash
export ANYTHINGLLM_URL="http://127.0.0.1:3002"
```

Hal ini penting bila port `3001` sudah digunakan WAHA.

---

## 3. Buat API key AnythingLLM

Masuk ke:

```text
AnythingLLM
→ Settings
→ Developer API
→ API Keys
→ New API Key
```

Dokumentasi API pada instance tersedia di:

```text
http://IP-SERVER:PORT/api/docs
```

API key harus disimpan sebagai rahasia karena siapa pun yang memilikinya dapat mengoperasikan API AnythingLLM. ([AnythingLLM][2])

Set API key:

```bash
export ANYTHINGLLM_API_KEY='MASUKKAN_API_KEY_ANDA'
```

Jangan menyimpan API key langsung di dalam script.

---

## 4. Tentukan konfigurasi

Untuk hanya meng-embed Markdown:

```bash
export DOCUMENT_ROOT="/opt/ai-stack/documents"
export WORKSPACE_NAME="Perpustakaan"
export CONTAINER_NAME="anythingllm"
export EMBED_EXTENSIONS="md"
```

Untuk Markdown, PDF, DOCX, dan TXT:

```bash
export EMBED_EXTENSIONS="md,pdf,docx,txt"
```

Saya menyarankan memakai:

```bash
export EMBED_EXTENSIONS="md"
```

bila semua PDF sudah dikonversi dan dibersihkan menjadi Markdown untuk RAG. Ini mencegah isi yang sama ter-embed dua kali dari versi PDF dan Markdown.

---

## 5. Pastikan API key bekerja

```bash
curl --fail --silent --show-error \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
"${ANYTHINGLLM_URL}/api/v1/auth"
```

Hasil yang benar:

```json
{
"authenticated": true
}
```

---

## 6. Jalankan dry-run dahulu

```bash
/opt/ai-stack/batch/reset-rebuild-anythingllm.sh \
--dry-run
```

Dry-run hanya menghitung:

* Jumlah workspace lama.
* Jumlah dokumen internal lama.
* Jumlah file sumber yang akan di-embed.
* Ekstensi yang diproses.
* Nama workspace baru.

Tidak ada data yang dihapus.

---

## 7. Jalankan reset dan rebuild

```bash
/opt/ai-stack/batch/reset-rebuild-anythingllm.sh \
--yes-reset
```

Jika user belum mendapat akses Docker dan direktori backup:

```bash
sudo -E /opt/ai-stack/batch/reset-rebuild-anythingllm.sh \
--yes-reset
```

Opsi `-E` mempertahankan variabel lingkungan seperti API key dan URL.

---

## 8. Hasil backup

Sebelum menghapus data, script menghentikan container sementara dan membuat backup konsisten:

```text
/opt/ai-stack/backups/anythingllm-storage-YYYYMMDD-HHMMSS.tar.gz
```

Periksa:

```bash
ls -lh /opt/ai-stack/backups/
```

Contoh:

```text
anythingllm-storage-20260726-103000.tar.gz
anythingllm-rebuild-manifest-20260726-103215.tsv
```

Manifest berisi:

```text
relative_path sha256 anythingllm_location
```

Contoh:

```text
AI/RAG/Pengenalan RAG.md a421... custom-documents/Pengenalan-RAG.md-uuid.json
```

---

## 9. Pantau proses

Terminal lain:

```bash
docker logs -f anythingllm
```

Pantau resource:

```bash
docker stats anythingllm ollama
```

Pantau GPU ketika embedding memakai Ollama:

```bash
watch -n 1 nvidia-smi
```

---

## 10. Verifikasi setelah selesai

Periksa workspace:

```bash
curl --fail --silent --show-error \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
"${ANYTHINGLLM_URL}/api/v1/workspaces" \
| python3 -m json.tool
```

Seharusnya hanya terdapat satu workspace baru.

Periksa dokumen:

```bash
curl --fail --silent --show-error \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
"${ANYTHINGLLM_URL}/api/v1/documents" \
| python3 -m json.tool
```

AnythingLLM menjelaskan bahwa menghapus dokumen secara permanen dari sistem akan menghapus parsed source, cached embedding, serta mengeluarkannya dari setiap workspace. ([AnythingLLM][3])

---

# Apakah perlu force restart?

## Pilihan terbaik: reset API + restart normal

Script menggunakan:

```bash
docker restart -t 30 anythingllm
```

Ini memberikan waktu sampai 30 detik agar proses berhenti secara normal sebelum Docker mengambil tindakan lanjutan.

**Jangan menggunakan ini kecuali container macet:**

```bash
docker kill anythingllm
```

Force restart tidak membersihkan vector database. Ia hanya menghentikan dan menyalakan proses.

---

# Kapan perlu install ulang?

Install ulang atau factory reset hanya diperlukan apabila:

* SQLite AnythingLLM rusak.
* LanceDB rusak dan API tidak dapat membersihkannya.
* Container terus crash akibat storage internal.
* Konfigurasi sistem sudah sangat kacau.
* Anda benar-benar ingin menghapus user, API key, model settings, MCP, agent skills, chat history, dan seluruh konfigurasi.

Menarik image atau membuat ulang container **tanpa menghapus storage** bukan factory reset karena data tetap persisten. ([AnythingLLM][1])

---

# Factory reset penuh

Ini **bukan pilihan utama**. Perintah berikut menghilangkan seluruh konfigurasi aplikasi, bukan hanya RAG.

```bash
cd /opt/ai-stack

sudo docker compose stop anythingllm
```

Cari lokasi storage:

```bash
docker inspect anythingllm \
--format '{{range .Mounts}}{{println .Source "->" .Destination}}{{end}}'
```

Misalnya:

```text
/opt/ai-stack/anythingllm/storage -> /app/server/storage
```

Backup dan ganti nama:

```bash
sudo mv \
/opt/ai-stack/anythingllm/storage \
"/opt/ai-stack/anythingllm/storage.factory-reset.$(date +%Y%m%d-%H%M%S)"
```

Buat storage kosong:

```bash
sudo mkdir -p /opt/ai-stack/anythingllm/storage
sudo chown -R 1000:1000 /opt/ai-stack/anythingllm/storage
```

Jalankan kembali:

```bash
sudo docker compose up -d anythingllm
```

AnythingLLM kemudian tampil seperti instalasi pertama. Anda harus mengatur ulang:

* Akun administrator.
* LLM provider.
* Embedding provider.
* Vector database.
* API key.
* MCP dan agent skills.
* Workspace.
* Dokumen.

Karena tujuan Anda adalah membersihkan workspace dan membangun ulang seluruh embedding, **gunakan script API-reset, bukan factory reset dan bukan install ulang**.

[1]: https://docs.anythingllm.com/installation-docker/local-docker "Local Docker Installation ~ AnythingLLM"
[2]: https://docs.anythingllm.com/features/api "API Access & Keys ~ AnythingLLM"
[3]: https://docs.anythingllm.com/features/privacy-and-data-handling "Privacy & Data ~ AnythingLLM"

LLM

2026-07-26T02:47:25Z

Onnowpurbo: /* MCP */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]
* [[ComfyUI: Text to Speech]]

==MCP==

* [[MCP: Instalasi]]
* [[MCP: Convert PDF ke .md]]
* [[MCP: Instalasi pip]]
* [[MCP: Regenerate Vector Database untuk update content documents]]
* [[MCP: Reset dari nol, embed semua doc, isi vector database]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

MCP: Regenerate Vector Database untuk update content documents

2026-07-26T02:44:03Z

Onnowpurbo:

# Teknik memperbarui vector database AnythingLLM

## Prinsip utama

**Tidak perlu me-reset seluruh vector database setiap kali ada file `.md` baru.**

Gunakan dua pola:

| Perubahan folder | Tindakan |
| --------------------------- | -------------------------------------------------------- |
| Ada file `.md` baru | Upload dan embed file baru saja |
| Isi file `.md` lama berubah | Hapus embedding versi lama, lalu upload ulang |
| File `.md` dihapus | Hapus dari workspace dan hapus permanen dari AnythingLLM |
| Ganti embedding model | Rebuild seluruh vector database |
| Ganti vector database | Rebuild seluruh vector database |
| Ubah chunking secara besar | Sebaiknya rebuild seluruh database |

AnythingLLM menetapkan embedding model dan vector database secara system-wide. Ketika embedder atau vector database diganti, dokumen lama perlu dihapus dan di-embed ulang; AnythingLLM tidak otomatis memindahkan vector lama. ([AnythingLLM][1])

---

# 1. Folder `documents` bukan vector database

Misalnya perpustakaan berada di:

```text
/opt/ai-stack/documents
```

Menambahkan file:

```text
/opt/ai-stack/documents/AI/buku-baru.md
```

**tidak otomatis membuat embedding baru di AnythingLLM.**

Folder tersebut sebaiknya dianggap sebagai:

```text
Source Library / Master Documents
```

Sedangkan database AnythingLLM berada pada storage internal AnythingLLM, misalnya:

```text
/opt/ai-stack/anythingllm/storage
```

Fitur Automatic Document Sync AnythingLLM belum dapat mengawasi satu direktori lokal secara keseluruhan. Pada instalasi Docker, file lokal yang hanya disalin ke folder host juga tidak otomatis disinkronkan sebagai dokumen baru. ([docs.anythingllm.com][2])

Arsitektur yang direkomendasikan:

```text
/opt/ai-stack/
├── documents/ # Dokumen master
│ ├── AI/
│ ├── CYBER-SECURITY/
│ └── ONNO-PDF/
│
├── anythingllm/
│ └── storage/ # Database internal AnythingLLM
│
└── batch/
├── sync-anythingllm.sh
└── .anythingllm-sync/
```

---

# 2. Metode manual untuk file baru

Untuk jumlah file sedikit:

1. Masuk ke AnythingLLM.
2. Buka workspace tujuan.
3. Buka pengelolaan dokumen workspace.
4. Upload file `.md` baru.
5. Pindahkan file ke workspace.
6. Klik **Save and Embed** atau tombol embedding yang tersedia.
7. Tunggu sampai proses embedding selesai.
8. Uji dengan pertanyaan yang hanya dapat dijawab oleh file baru.

Metode ini hanya menambah vector untuk file baru. Dokumen lama tidak perlu diproses ulang.

---

# 3. Metode API untuk banyak file `.md`

AnythingLLM menyediakan Developer API untuk meng-upload, mengelola, meng-embed, dan memperbarui dokumen workspace. Dokumentasi API instance tersedia pada `/api/docs`. API key harus dirahasiakan karena siapa pun yang memilikinya dapat menggunakan API instance. ([AnythingLLM][3])

Misalnya alamat AnythingLLM:

```text
http://127.0.0.1:3001
```

Dokumentasi API:

```text
http://127.0.0.1:3001/api/docs
```

## Membuat API key

Di AnythingLLM:

```text
Settings
→ Developer API
→ API Keys
→ New API Key
```

Simpan key, misalnya:

```bash
export ANYTHINGLLM_API_KEY='MASUKKAN_API_KEY'
```

Jangan memasukkan API key ke Git repository.

---

## Tentukan konfigurasi

```bash
export ANYTHINGLLM_URL="http://127.0.0.1:3001"
export WORKSPACE_SLUG="perpustakaan"
export DOCUMENT_ROOT="/opt/ai-stack/documents"
```

`WORKSPACE_SLUG` bukan selalu nama tampilan workspace.

Contoh:

```text
Nama workspace : Perpustakaan Onno
Slug : perpustakaan-onno
```

---

## Uji API key

```bash
curl --fail --silent --show-error \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
"${ANYTHINGLLM_URL}/api/v1/auth"
```

Hasil yang benar:

```json
{
"authenticated": true
}
```

---

## Upload satu file dan langsung embed

```bash
curl --fail --silent --show-error \
-X POST \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
-F "file=@/opt/ai-stack/documents/AI/buku-baru.md" \
-F "addToWorkspaces=${WORKSPACE_SLUG}" \
"${ANYTHINGLLM_URL}/api/v1/document/upload"
```

Endpoint upload resmi menerima file multipart dan parameter `addToWorkspaces`, yaitu daftar slug workspace tempat dokumen akan langsung di-embed setelah upload. Responsnya mengembalikan lokasi dokumen internal AnythingLLM. ([GitHub][4])

Contoh respons:

```json
{
"success": true,
"error": null,
"documents": [
{
"location": "custom-documents/buku-baru.md-uuid.json",
"title": "buku-baru.md"
}
]
}
```

Nilai `location` perlu disimpan karena digunakan saat menghapus atau mengganti dokumen.

---

# 4. Script untuk folder yang hanya bertambah

Metode ini cocok jika:

* File yang sudah masuk tidak diedit.
* File tidak diganti dengan nama yang sama.
* Folder hanya mendapatkan file baru.

Instal `jq`:

```bash
sudo apt update
sudo apt install -y jq
```

Buat folder script:

```bash
sudo mkdir -p /opt/ai-stack/batch
sudo chown -R "$USER":"$USER" /opt/ai-stack/batch
```

Buat script:

```bash
nano /opt/ai-stack/batch/sync-new-md-anythingllm.sh
```

Isi:

```bash
#!/usr/bin/env bash

set -Eeuo pipefail

DOCUMENT_ROOT="${DOCUMENT_ROOT:-/opt/ai-stack/documents}"
ANYTHINGLLM_URL="${ANYTHINGLLM_URL:-http://127.0.0.1:3001}"
WORKSPACE_SLUG="${WORKSPACE_SLUG:-perpustakaan}"
STATE_DIR="${STATE_DIR:-/opt/ai-stack/batch/.anythingllm-sync}"
MARKER_FILE="${STATE_DIR}/last-successful-sync"
LOG_FILE="${STATE_DIR}/sync.log"

: "${ANYTHINGLLM_API_KEY:?ANYTHINGLLM_API_KEY belum di-set}"

mkdir -p "$STATE_DIR"
touch "$LOG_FILE"

log() {
printf '[%s] %s\n' "$(date '+%F %T')" "$*" | tee -a "$LOG_FILE"
}

if [[ ! -d "$DOCUMENT_ROOT" ]]; then
log "ERROR: folder tidak ditemukan: $DOCUMENT_ROOT"
exit 1
fi

# Marker sangat lama untuk proses pertama.
if [[ ! -e "$MARKER_FILE" ]]; then
touch -t 197001010000 "$MARKER_FILE"
fi

TEMP_MARKER="$(mktemp "${STATE_DIR}/sync-marker.XXXXXX")"

success_count=0
failed_count=0

while IFS= read -r -d '' file; do
log "Upload: $file"

response="$(
curl --fail --silent --show-error \
-X POST \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
-F "file=@${file}" \
-F "addToWorkspaces=${WORKSPACE_SLUG}" \
"${ANYTHINGLLM_URL}/api/v1/document/upload"
)" || {
log "GAGAL upload: $file"
failed_count=$((failed_count + 1))
continue
}

success="$(jq -r '.success // false' <<<"$response")"
error="$(jq -r '.error // empty' <<<"$response")"
location="$(jq -r '.documents[0].location // empty' <<<"$response")"

if [[ "$success" != "true" || -n "$error" || -z "$location" ]]; then
log "GAGAL diproses: $file"
log "Respons: $response"
failed_count=$((failed_count + 1))
continue
fi

log "BERHASIL: $file"
log "AnythingLLM location: $location"
success_count=$((success_count + 1))

done < <(
find "$DOCUMENT_ROOT" \
-type f \
-iname '*.md' \
-newer "$MARKER_FILE" \
-print0
)

if (( failed_count == 0 )); then
mv "$TEMP_MARKER" "$MARKER_FILE"
log "Sinkronisasi selesai. Berhasil=$success_count Gagal=0"
else
rm -f "$TEMP_MARKER"
log "Sinkronisasi belum ditandai selesai karena ada kegagalan."
log "Berhasil=$success_count Gagal=$failed_count"
exit 1
fi
```

Simpan lalu beri izin:

```bash
chmod +x /opt/ai-stack/batch/sync-new-md-anythingllm.sh
```

Jalankan:

```bash
export ANYTHINGLLM_API_KEY='MASUKKAN_API_KEY'
export WORKSPACE_SLUG='perpustakaan-onno'

/opt/ai-stack/batch/sync-new-md-anythingllm.sh
```

Lihat log:

```bash
tail -f /opt/ai-stack/batch/.anythingllm-sync/sync.log
```

### Peringatan

Script marker ini akan menganggap file yang diedit sebagai file baru. AnythingLLM dapat membuat dokumen baru dengan UUID baru sehingga embedding versi lama masih ada.

Karena itu, metode ini hanya aman untuk perpustakaan **append-only**.

---

# 5. Teknik yang benar ketika isi `.md` diperbarui

Misalnya:

```text
/opt/ai-stack/documents/AI/pengenalan-rag.md
```

sudah pernah di-embed, kemudian isinya diedit.

Jangan langsung upload ulang tanpa menghapus versi lama karena dapat menghasilkan:

```text
Embedding lama
+
Embedding baru
```

Akibatnya, hasil RAG dapat mengambil informasi lama dan baru sekaligus.

Gunakan urutan berikut:

```text
1. Remove embedding lama dari workspace
2. Delete dokumen lama secara permanen
3. Upload file versi terbaru
4. Embed file baru ke workspace
5. Simpan mapping UUID/location yang baru
```

---

## Menghapus embedding lama dari workspace

Misalnya lokasi internal dokumen lama:

```text
custom-documents/pengenalan-rag.md-abc123.json
```

Jalankan:

```bash
curl --fail --silent --show-error \
-X POST \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"adds": [],
"deletes": [
"custom-documents/pengenalan-rag.md-abc123.json"
]
}' \
"${ANYTHINGLLM_URL}/api/v1/workspace/${WORKSPACE_SLUG}/update-embeddings"
```

Endpoint `update-embeddings` memang digunakan untuk menambah atau menghapus dokumen dari vector namespace sebuah workspace. Nilainya harus berupa path internal seperti `custom-documents/nama-file-uuid.json`, bukan nama file asli pada host.

---

## Menghapus dokumen lama secara permanen

```bash
curl --fail --silent --show-error \
-X DELETE \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"names": [
"custom-documents/pengenalan-rag.md-abc123.json"
]
}' \
"${ANYTHINGLLM_URL}/api/v1/system/remove-documents"
```

Developer API menyediakan endpoint `DELETE /v1/system/remove-documents` untuk menghapus dokumen internal secara permanen.

---

## Upload versi baru

```bash
curl --fail --silent --show-error \
-X POST \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
-F "file=@/opt/ai-stack/documents/AI/pengenalan-rag.md" \
-F "addToWorkspaces=${WORKSPACE_SLUG}" \
"${ANYTHINGLLM_URL}/api/v1/document/upload"
```

Simpan `documents[0].location` dari respons sebagai mapping baru.

---

# 6. Gunakan hash untuk mendeteksi perubahan

Untuk perpustakaan yang sering berubah, teknik terbaik adalah menyimpan:

```text
path file
SHA-256
AnythingLLM document location
workspace slug
last sync
```

Contoh database manifest:

```json
{
"/opt/ai-stack/documents/AI/pengenalan-rag.md": {
"sha256": "1d2af7...",
"location": "custom-documents/pengenalan-rag.md-abc123.json",
"workspace": "perpustakaan-onno",
"last_sync": "2026-07-26T09:30:00+07:00"
}
}
```

Saat sinkronisasi:

```text
File belum ada di manifest
→ Upload dan embed

Hash sama
→ Tidak melakukan apa-apa

Hash berubah
→ Hapus embedding lama
→ Hapus dokumen lama
→ Upload dan embed versi baru
→ Update manifest

File ada di manifest tetapi hilang dari folder
→ Hapus embedding
→ Hapus dokumen internal
→ Hapus entry dari manifest
```

Hitung hash:

```bash
sha256sum "/opt/ai-stack/documents/AI/pengenalan-rag.md"
```

Keuntungan metode hash:

* Tidak melakukan embedding berulang tanpa alasan.
* Tidak membuat vector duplikat.
* Bisa menangani file yang berubah.
* Bisa menangani file yang dihapus.
* Bisa melakukan audit dokumen.
* Bisa melanjutkan proses setelah kegagalan.

---

# 7. Kapan melakukan full regenerate

Lakukan rebuild total jika:

* Embedding model diganti.
* Provider embedder diganti.
* Vector database diganti, misalnya LanceDB menjadi Qdrant.
* Chunk size atau chunk overlap diubah secara signifikan.
* Banyak dokumen lama sudah tidak sinkron.
* Terjadi banyak embedding duplikat.
* Retrieval masih menampilkan isi dokumen yang sudah dihapus.
* Struktur koleksi diubah secara besar.

AnythingLLM menyatakan bahwa penggantian embedder atau vector database membutuhkan penghapusan dan embedding ulang dokumen. ([AnythingLLM][1])

---

# 8. Prosedur full regenerate yang aman

## Langkah 1 — Hentikan proses upload

Jangan menambah atau mengedit dokumen selama rebuild.

---

## Langkah 2 — Backup storage AnythingLLM

Cari mount container:

```bash
docker inspect anythingllm \
--format '{{range .Mounts}}{{println .Source "->" .Destination}}{{end}}'
```

Misalnya hasil:

```text
/opt/ai-stack/anythingllm/storage -> /app/server/storage
```

Backup:

```bash
cd /opt/ai-stack

sudo tar \
-czf "anythingllm-storage-$(date +%F-%H%M%S).tar.gz" \
anythingllm/storage
```

Periksa:

```bash
ls -lh /opt/ai-stack/anythingllm-storage-*.tar.gz
```

---

## Langkah 3 — Reset melalui AnythingLLM

Untuk tiap workspace:

```text
Workspace
→ Settings
→ Vector Database
→ Reset Vector Database
```

Kemudian hapus dokumen lama dari daftar dokumen apabila memang akan membangun ulang semuanya.

**Jangan langsung menghapus folder LanceDB secara manual** sementara AnythingLLM berjalan. Database vector, database aplikasi, cache dokumen, dan relasi workspace dapat menjadi tidak konsisten.

---

## Langkah 4 — Pastikan konfigurasi embedder final

Contoh:

```text
Embedding provider : Ollama
Embedding model : nomic-embed-text
Vector database : LanceDB
```

Jangan mengganti model embedding di tengah proses ingest.

Model chat dan model embedding adalah dua hal berbeda:

```text
Model chat:
qwen3:8b

Model embedding:
nomic-embed-text
atau model embedding lain
```

---

## Langkah 5 — Upload semua `.md`

```bash
find /opt/ai-stack/documents \
-type f \
-iname '*.md' \
-print0 |
while IFS= read -r -d '' file; do
echo "Embedding: $file"

curl --fail --silent --show-error \
-X POST \
-H "Authorization: Bearer ${ANYTHINGLLM_API_KEY}" \
-F "file=@${file}" \
-F "addToWorkspaces=${WORKSPACE_SLUG}" \
"${ANYTHINGLLM_URL}/api/v1/document/upload" |
jq .
done
```

---

## Langkah 6 — Pantau log

```bash
cd /opt/ai-stack
docker compose logs -f anythingllm
```

Atau:

```bash
docker logs -f anythingllm
```

Perhatikan error seperti:

```text
failed to embed
failed to vectorize
document processing API is not online
fetch failed
out of memory
connection refused
```

---

## Langkah 7 — Verifikasi RAG

Buat satu file pengujian:

```markdown
---
title: Dokumen Uji Sinkronisasi
document_id: TEST-RAG-20260726
version: 1
---

Kode verifikasi perpustakaan adalah MERAH-7261.
```

Upload lalu tanyakan:

```text
Apa kode verifikasi perpustakaan dari dokumen TEST-RAG-20260726?
```

Jawaban yang benar:

```text
MERAH-7261
```

Setelah berhasil, ubah file menjadi:

```markdown
version: 2
```

dan:

```text
Kode verifikasi perpustakaan adalah BIRU-9928.
```

Lakukan prosedur replace, lalu tanyakan kembali. Jawaban seharusnya hanya:

```text
BIRU-9928
```

Jika masih muncul `MERAH-7261`, embedding lama belum benar-benar dihapus.

---

# 9. Rekomendasi operasional

Untuk perpustakaan Anda, gunakan:

```text
/opt/ai-stack/documents
↓
SHA-256 scanner
↓
AnythingLLM Developer API
↓
Workspace
↓
Embedding model
↓
LanceDB
```

Aturan sinkronisasi:

```text
File baru → ADD
File berubah → DELETE OLD + ADD NEW
File hilang → DELETE
Embedder berubah → FULL REBUILD
```

Jadwal yang masuk akal:

```text
Perpustakaan sering diperbarui : setiap malam
Perpustakaan jarang diperbarui : dijalankan manual
Update besar : full rebuild terjadwal
```

Untuk kondisi Anda, pilihan paling aman adalah **incremental sync berbasis SHA-256**, bukan reset vector database setiap kali ada `.md` baru.

[1]: https://docs.anythingllm.com/setup/embedder-configuration/overview "Overview ~ AnythingLLM"
[2]: https://docs.anythingllm.com/beta-preview/active-features/live-document-sync "Automatic document sync ~ AnythingLLM"
[3]: https://docs.anythingllm.com/features/api "API Access & Keys ~ AnythingLLM"
[4]: https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/server/swagger/openapi.json "raw.githubusercontent.com"

MCP: Regenerate Vector Database untuk update content documents

2026-07-26T02:40:37Z

Onnowpurbo: Created blank page

LLM

2026-07-26T02:39:40Z

Onnowpurbo: /* MCP */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]
* [[ComfyUI: Text to Speech]]

==MCP==

* [[MCP: Instalasi]]
* [[MCP: Convert PDF ke .md]]
* [[MCP: Instalasi pip]]
* [[MCP: Regenerate Vector Database untuk update content documents]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

MCP: Instalasi pip

2026-07-26T02:04:46Z

Onnowpurbo: Created page with "Error tersebut berarti Python sudah ada, tetapi modul **pip** belum terpasang. Gunakan virtual environment supaya tidak mengganggu Python sistem Ubuntu. Ubuntu juga merekomend..."

Error tersebut berarti Python sudah ada, tetapi modul **pip** belum terpasang. Gunakan virtual environment supaya tidak mengganggu Python sistem Ubuntu. Ubuntu juga merekomendasikan penggunaan `venv` untuk paket yang dipasang melalui pip. ([Ubuntu Documentation][1])

Jalankan sebagai `root`:

```bash
cd /opt/ai-stack/batch

apt update
apt install -y python3-full python3-venv python3-pip
```

Buat virtual environment:

```bash
python3 -m venv .venv
```

Aktifkan:

```bash
source .venv/bin/activate
```

Prompt biasanya berubah menjadi:

```text
(.venv) root@server2:/opt/ai-stack/batch#
```

Pastikan Python sudah memakai virtual environment:

```bash
which python3
```

Seharusnya:

```text
/opt/ai-stack/batch/.venv/bin/python3
```

Kemudian instal dependensi:

```bash
python3 -m pip install --upgrade pip
python3 -m pip install pymupdf pyyaml
```

Verifikasi:

```bash
python3 - <<'PY'
import pymupdf
import yaml

print("PyMuPDF berhasil:", pymupdf.__version__)
print("PyYAML berhasil:", yaml.__version__)
PY
```

Setelah itu jalankan batch converter:

```bash
chmod +x batch_pdf_to_md.sh
chmod +x pdf_to_rag_md.py

./batch_pdf_to_md.sh /path/folder/pdf
```

Contoh:

```bash
./batch_pdf_to_md.sh \
/opt/ai-stack/documents \
/opt/ai-stack/output
```

Setiap kali keluar dari terminal atau login ulang, aktifkan kembali environment sebelum menjalankan script:

```bash
cd /opt/ai-stack/batch
source .venv/bin/activate
./batch_pdf_to_md.sh /opt/ai-stack/documents /opt/ai-stack/output
```

Jangan gunakan:

```bash
pip install --break-system-packages
```

karena pemasangan langsung ke Python sistem dapat berbenturan dengan paket bawaan Ubuntu.

[1]: https://documentation.ubuntu.com/ubuntu-for-developers/tutorials/python-use/?utm_source=chatgpt.com "Develop with Python on Ubuntu - Ubuntu for Developers"

LLM

2026-07-26T02:04:32Z

Onnowpurbo: /* MCP */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]
* [[ComfyUI: Text to Speech]]

==MCP==

* [[MCP: Instalasi]]
* [[MCP: Convert PDF ke .md]]
* [[MCP: Instalasi pip]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

Batch pdf to md.sh

2026-07-26T01:47:44Z

Onnowpurbo: Created page with "<pre> #!/usr/bin/env bash # Batch wrapper untuk pdf_to_rag_md.py # # Penggunaan: # ./batch_pdf_to_md.sh /path/folder_pdf # ./batch_pdf_to_md.sh /path/folder_pdf /path/fol..."

<pre>

#!/usr/bin/env bash
# Batch wrapper untuk pdf_to_rag_md.py
#
# Penggunaan:
# ./batch_pdf_to_md.sh /path/folder_pdf
# ./batch_pdf_to_md.sh /path/folder_pdf /path/folder_output
# ./batch_pdf_to_md.sh /path/folder_pdf /path/folder_output /path/pdf_to_rag_md.py
#
# Hasil:
# OUTPUT_DIR/<path-relatif>/<nama-pdf>/
# ├── *.md
# └── manifest.json

set -Eeuo pipefail
IFS=$'\n\t'

PROGRAM_NAME="$(basename "$0")"
SCRIPT_DIR="$(cd -- "$(dirname -- "${BASH_SOURCE[0]}")" && pwd -P)"

usage() {
cat <<EOF
Penggunaan:
$PROGRAM_NAME INPUT_PATH [OUTPUT_DIR] [PYTHON_SCRIPT]

Argumen:
INPUT_PATH Folder yang akan dicari secara rekursif, atau satu file PDF.
OUTPUT_DIR Folder induk hasil konversi.
Default: INPUT_PATH/output untuk input folder,
atau folder_file/output untuk input satu PDF.
PYTHON_SCRIPT Lokasi script Python konverter.
Default: dicari di folder yang sama dengan shell script.

Contoh:
$PROGRAM_NAME /opt/ai-stack/documents
$PROGRAM_NAME /opt/ai-stack/documents /opt/ai-stack/output
$PROGRAM_NAME ./pdf ./output ./pdf_to_rag_md.py
EOF
}

log() {
printf '[%s] %s\n' "$(date '+%Y-%m-%d %H:%M:%S')" "$*"
}

fail() {
printf 'ERROR: %s\n' "$*" >&2
exit 1
}

if [[ ${1:-} == "-h" || ${1:-} == "--help" ]]; then
usage
exit 0
fi

[[ $# -ge 1 && $# -le 3 ]] || {
usage >&2
exit 2
}

command -v python3 >/dev/null 2>&1 || fail "python3 tidak ditemukan."
command -v find >/dev/null 2>&1 || fail "Perintah find tidak ditemukan."

INPUT_PATH="$1"
[[ -e "$INPUT_PATH" ]] || fail "Path input tidak ditemukan: $INPUT_PATH"

# Ubah menjadi absolute path tanpa membutuhkan realpath.
if [[ -d "$INPUT_PATH" ]]; then
INPUT_PATH="$(cd -- "$INPUT_PATH" && pwd -P)"
INPUT_IS_DIR=1
else
INPUT_DIR="$(cd -- "$(dirname -- "$INPUT_PATH")" && pwd -P)"
INPUT_PATH="$INPUT_DIR/$(basename -- "$INPUT_PATH")"
INPUT_IS_DIR=0
fi

if [[ $# -ge 2 ]]; then
OUTPUT_DIR="$2"
else
if (( INPUT_IS_DIR )); then
OUTPUT_DIR="$INPUT_PATH/output"
else
OUTPUT_DIR="$(dirname -- "$INPUT_PATH")/output"
fi
fi
mkdir -p -- "$OUTPUT_DIR"
OUTPUT_DIR="$(cd -- "$OUTPUT_DIR" && pwd -P)"
[[ "$OUTPUT_DIR" != "$INPUT_PATH" ]] \
|| fail "OUTPUT_DIR tidak boleh sama persis dengan folder input. Gunakan subfolder, misalnya: $INPUT_PATH/output"

if [[ $# -ge 3 ]]; then
PYTHON_SCRIPT="$3"
else
if [[ -f "$SCRIPT_DIR/pdf_to_rag_md.py" ]]; then
PYTHON_SCRIPT="$SCRIPT_DIR/pdf_to_rag_md.py"
elif [[ -f "$SCRIPT_DIR/pdf_to_rag_md(2).py" ]]; then
PYTHON_SCRIPT="$SCRIPT_DIR/pdf_to_rag_md(2).py"
else
fail "Script Python tidak ditemukan. Letakkan pdf_to_rag_md.py di $SCRIPT_DIR atau berikan argumen PYTHON_SCRIPT."
fi
fi

[[ -f "$PYTHON_SCRIPT" ]] || fail "Script Python tidak ditemukan: $PYTHON_SCRIPT"
PYTHON_SCRIPT="$(cd -- "$(dirname -- "$PYTHON_SCRIPT")" && pwd -P)/$(basename -- "$PYTHON_SCRIPT")"

# Pastikan script Python valid dan dependensinya tersedia sebelum batch dimulai.
python3 -m py_compile "$PYTHON_SCRIPT" \
|| fail "Script Python gagal diperiksa dengan py_compile."

python3 - <<'PY' \
|| fail "Dependensi Python belum lengkap. Instal dengan: python3 -m pip install pymupdf pyyaml"
try:
import pymupdf # noqa: F401
except ImportError:
import fitz # noqa: F401
import yaml # noqa: F401
PY

find_input_files() {
if [[ "$OUTPUT_DIR" == "$INPUT_PATH/"* ]]; then
find "$INPUT_PATH" -path "$OUTPUT_DIR" -prune -o -type f "$@" -print0
else
find "$INPUT_PATH" -type f "$@" -print0
fi
}

printf '\n=== Daftar semua file pada input ===\n'
if (( INPUT_IS_DIR )); then
while IFS= read -r -d '' file; do
printf '%s\n' "$file"
done < <(find_input_files | sort -z)
else
printf '%s\n' "$INPUT_PATH"
fi
printf '=== Akhir daftar file ===\n\n'

PDF_FILES=()
if (( INPUT_IS_DIR )); then
while IFS= read -r -d '' pdf; do
PDF_FILES+=("$pdf")
done < <(find_input_files -iname '*.pdf' | sort -z)
else
[[ "${INPUT_PATH,,}" == *.pdf ]] \
|| fail "File input bukan PDF: $INPUT_PATH"
PDF_FILES+=("$INPUT_PATH")
fi

TOTAL=${#PDF_FILES[@]}
if (( TOTAL == 0 )); then
log "Tidak ada file PDF yang ditemukan."
exit 0
fi

LOG_FILE="$OUTPUT_DIR/batch_conversion.log"
SUMMARY_FILE="$OUTPUT_DIR/batch_summary.tsv"
printf 'status\tinput_pdf\toutput_folder\n' > "$SUMMARY_FILE"
: > "$LOG_FILE"

log "Ditemukan $TOTAL file PDF."
log "Output utama: $OUTPUT_DIR"
log "Log batch: $LOG_FILE"

SUCCESS=0
FAILED=0
INDEX=0

for PDF_FILE in "${PDF_FILES[@]}"; do
((INDEX += 1))

if (( INPUT_IS_DIR )); then
RELATIVE_PATH="${PDF_FILE#"$INPUT_PATH"/}"
else
RELATIVE_PATH="$(basename -- "$PDF_FILE")"
fi

RELATIVE_PARENT="$(dirname -- "$RELATIVE_PATH")"
PDF_NAME="$(basename -- "$RELATIVE_PATH")"
PDF_STEM="${PDF_NAME%.*}"

if [[ "$RELATIVE_PARENT" == "." ]]; then
PDF_OUTPUT_DIR="$OUTPUT_DIR/$PDF_STEM"
else
PDF_OUTPUT_DIR="$OUTPUT_DIR/$RELATIVE_PARENT/$PDF_STEM"
fi

mkdir -p -- "$PDF_OUTPUT_DIR"

printf '\n[%d/%d] Konversi: %s\n' "$INDEX" "$TOTAL" "$PDF_FILE"
printf ' Output : %s\n' "$PDF_OUTPUT_DIR"

printf '\n===== [%d/%d] %s =====\n' "$INDEX" "$TOTAL" "$PDF_FILE" \
| tee -a "$LOG_FILE"

set +e
python3 "$PYTHON_SCRIPT" \
"$PDF_FILE" \
--output-dir "$PDF_OUTPUT_DIR" \
--overwrite 2>&1 | tee -a "$LOG_FILE"
EXIT_CODE=${PIPESTATUS[0]}
set -e

if (( EXIT_CODE == 0 )); then
printf 'SUCCESS\t%s\t%s\n' "$PDF_FILE" "$PDF_OUTPUT_DIR" \
>> "$SUMMARY_FILE"
((SUCCESS += 1))
log "BERHASIL: $PDF_FILE" | tee -a "$LOG_FILE"
else
printf 'FAILED(%d)\t%s\t%s\n' "$EXIT_CODE" "$PDF_FILE" "$PDF_OUTPUT_DIR" \
>> "$SUMMARY_FILE"
((FAILED += 1))
log "GAGAL (exit $EXIT_CODE): $PDF_FILE" | tee -a "$LOG_FILE"
fi
done

printf '\n=== Ringkasan batch ===\n'
printf 'Total PDF : %d\n' "$TOTAL"
printf 'Berhasil : %d\n' "$SUCCESS"
printf 'Gagal : %d\n' "$FAILED"
printf 'Output : %s\n' "$OUTPUT_DIR"
printf 'Ringkasan : %s\n' "$SUMMARY_FILE"
printf 'Log : %s\n' "$LOG_FILE"

(( FAILED == 0 ))

</pre>

MCP: Convert PDF ke .md

2026-07-26T01:45:10Z

Onnowpurbo:

Shell script sudah dibuat berdasarkan opsi CLI pada Python terlampir.

### File

* [Download paket lengkap ZIP](sandbox:/mnt/data/pdf_batch_converter.zip)
* [Download shell script][[batch_pdf_to_md.sh]]
* [Download Python script dengan nama sederhana][[pdf_to_rag_md.py]]

### Instalasi

Letakkan `batch_pdf_to_md.sh` dan `pdf_to_rag_md.py` dalam folder yang sama:

```bash
chmod +x batch_pdf_to_md.sh
chmod +x pdf_to_rag_md.py

python3 -m pip install pymupdf pyyaml
```

### Menjalankan

Output otomatis ditempatkan di subfolder `output`:

```bash
./batch_pdf_to_md.sh /opt/ai-stack/documents
```

Dengan folder output khusus:

```bash
./batch_pdf_to_md.sh \
/opt/ai-stack/documents \
/opt/ai-stack/output
```

Atau menentukan lokasi Python script secara eksplisit:

```bash
./batch_pdf_to_md.sh \
/opt/ai-stack/documents \
/opt/ai-stack/output \
/opt/scripts/pdf_to_rag_md.py
```

Script akan:

1. Menampilkan semua file dalam path input.
2. Mencari seluruh PDF secara rekursif, termasuk subfolder.
3. Menjalankan Python converter untuk setiap PDF.
4. Membuat folder output terpisah untuk setiap PDF agar `manifest.json` tidak saling menimpa.
5. Membuat `batch_conversion.log`.
6. Membuat `batch_summary.tsv` berisi status berhasil atau gagal.

Contoh hasil:

```text
/opt/ai-stack/output/
├── Buku Pertama/
│ ├── Buku Pertama 01 Topik.md
│ ├── Buku Pertama 02 Topik.md
│ └── manifest.json
├── AI/
│ └── Buku Kedua/
│ ├── Buku Kedua 01 Topik.md
│ └── manifest.json
├── batch_conversion.log
└── batch_summary.tsv
```

Shell script tersebut sudah diuji dengan beberapa PDF, nama file yang mengandung spasi, dan PDF di dalam subfolder.

MCP: Convert PDF ke .md

2026-07-26T01:44:24Z

Onnowpurbo: Created page with "Shell script sudah dibuat berdasarkan opsi CLI pada Python terlampir. ### File * [Download paket lengkap ZIP](sandbox:/mnt/data/pdf_batch_converter.zip) * [Download shell s..."

Shell script sudah dibuat berdasarkan opsi CLI pada Python terlampir.

### File

* [Download paket lengkap ZIP](sandbox:/mnt/data/pdf_batch_converter.zip)
* [Download shell script](sandbox:/mnt/data/batch_pdf_to_md.sh)
* [Download Python script dengan nama sederhana](sandbox:/mnt/data/pdf_to_rag_md.py)

### Instalasi

Letakkan `batch_pdf_to_md.sh` dan `pdf_to_rag_md.py` dalam folder yang sama:

```bash
chmod +x batch_pdf_to_md.sh
chmod +x pdf_to_rag_md.py

python3 -m pip install pymupdf pyyaml
```

### Menjalankan

Output otomatis ditempatkan di subfolder `output`:

```bash
./batch_pdf_to_md.sh /opt/ai-stack/documents
```

Dengan folder output khusus:

```bash
./batch_pdf_to_md.sh \
/opt/ai-stack/documents \
/opt/ai-stack/output
```

Atau menentukan lokasi Python script secara eksplisit:

```bash
./batch_pdf_to_md.sh \
/opt/ai-stack/documents \
/opt/ai-stack/output \
/opt/scripts/pdf_to_rag_md.py
```

Script akan:

1. Menampilkan semua file dalam path input.
2. Mencari seluruh PDF secara rekursif, termasuk subfolder.
3. Menjalankan Python converter untuk setiap PDF.
4. Membuat folder output terpisah untuk setiap PDF agar `manifest.json` tidak saling menimpa.
5. Membuat `batch_conversion.log`.
6. Membuat `batch_summary.tsv` berisi status berhasil atau gagal.

Contoh hasil:

```text
/opt/ai-stack/output/
├── Buku Pertama/
│ ├── Buku Pertama 01 Topik.md
│ ├── Buku Pertama 02 Topik.md
│ └── manifest.json
├── AI/
│ └── Buku Kedua/
│ ├── Buku Kedua 01 Topik.md
│ └── manifest.json
├── batch_conversion.log
└── batch_summary.tsv
```

Shell script tersebut sudah diuji dengan beberapa PDF, nama file yang mengandung spasi, dan PDF di dalam subfolder.

LLM

2026-07-26T01:44:11Z

Onnowpurbo: /* MCP */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]
* [[ComfyUI: Text to Speech]]

==MCP==

* [[MCP: Instalasi]]
* [[MCP: Convert PDF ke .md]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

Pdf to rag md.py

2026-07-24T21:03:25Z

Onnowpurbo: Created page with "<pre> #!/usr/bin/env python3 """ Convert a text-based PDF into RAG-friendly Markdown files, one file per topic. Main features ------------- - Uses the PDF table of contents w..."

<pre>
#!/usr/bin/env python3
"""
Convert a text-based PDF into RAG-friendly Markdown files, one file per topic.

Main features
-------------
- Uses the PDF table of contents when available.
- Falls back to font-size / bold / numbering heuristics for headings.
- Falls back again to page groups if no reliable headings exist.
- Ignores images and other non-text PDF blocks.
- Removes repeated headers and footers.
- Removes standalone page numbers.
- Removes likely footnotes conservatively.
- Writes YAML front matter containing traceable RAG metadata.
- Creates a JSON manifest for auditing and bulk ingestion.

Notes
-----
This script is intended for PDFs that already contain selectable text.
Scanned/image-only PDFs must be OCRed first.
"""

from __future__ import annotations

import argparse
import hashlib
import json
import math
import re
import sys
import unicodedata
from collections import Counter, defaultdict
from dataclasses import dataclass, field
from datetime import datetime, timezone
from pathlib import Path
from typing import Any, Iterable, Sequence

try:
import pymupdf # PyMuPDF >= modern releases
except ImportError: # compatibility with older PyMuPDF installations
try:
import fitz as pymupdf # type: ignore
except ImportError as exc:
raise SystemExit(
"PyMuPDF belum terpasang. Jalankan: pip install pymupdf pyyaml"
) from exc

try:
import yaml
except ImportError as exc:
raise SystemExit(
"PyYAML belum terpasang. Jalankan: pip install pymupdf pyyaml"
) from exc

PAGE_NUMBER_RE = re.compile(
r"^\s*(?:(?:page|halaman|hlm\.?|p\.)\s*)?"
r"[-–—]?\s*(?:\d{1,5}|[ivxlcdm]{1,12})\s*[-–—]?\s*$",
re.IGNORECASE,
)

NUMBERED_HEADING_RE = re.compile(
r"^\s*(?:"
r"(?:bab|chapter|bagian|part|section|seksi)\s+[A-Z0-9IVXLCDM]+"
r"|(?:\d+(?:\.\d+){0,4})[\s.)–—:-]+"
r")",
re.IGNORECASE,
)

FOOTNOTE_MARKER_RE = re.compile(
r"^\s*(?:\[?\d{1,3}\]?|[*†‡])(?:[.)\]:-]|\s)+"
)

BULLET_RE = re.compile(r"^\s*(?:[-*•◦▪‣]|\d+[.)]|[a-zA-Z][.)])\s+")

SKIP_TOPIC_RE = re.compile(
r"^\s*(?:"
r"daftar\s+isi|table\s+of\s+contents|contents|"
r"daftar\s+gambar|list\s+of\s+figures|"
r"daftar\s+tabel|list\s+of\s+tables"
r")\s*$",
re.IGNORECASE,
)

@dataclass(slots=True)
class TextBlock:
page_index: int
page_number: int
page_width: float
page_height: float
x0: float
y0: float
x1: float
y1: float
text: str
avg_font_size: float
max_font_size: float
bold_ratio: float
line_count: int

@property
def top_ratio(self) -> float:
return self.y0 / self.page_height if self.page_height else 0.0

@property
def bottom_ratio(self) -> float:
return self.y1 / self.page_height if self.page_height else 0.0

@dataclass(slots=True)
class HeadingInfo:
title: str
level: int
source: str

@dataclass
class Topic:
title: str
index: int
detection_method: str
blocks: list[TextBlock] = field(default_factory=list)
body_parts: list[str] = field(default_factory=list)
pages: set[int] = field(default_factory=set)

def add(self, block: TextBlock, markdown: str) -> None:
self.blocks.append(block)
self.body_parts.append(markdown)
self.pages.add(block.page_number)

@property
def body(self) -> str:
text = "\n\n".join(part.strip() for part in self.body_parts if part.strip())
return clean_markdown_spacing(text)

@dataclass(slots=True)
class Config:
topic_level: int
fallback_pages: int
top_band: float
bottom_band: float
repeat_ratio: float
drop_footnotes: bool
footnote_bottom_band: float
footnote_font_ratio: float
language: str
tags: list[str]
source_uri: str | None
include_page_comments: bool

def parse_args() -> argparse.Namespace:
parser = argparse.ArgumentParser(
description=(
"Ubah PDF menjadi file Markdown per topik untuk RAG, lengkap "
"dengan YAML metadata dan pembersihan artefak PDF."
)
)
parser.add_argument("pdf", type=Path, help="File PDF sumber")
parser.add_argument(
"-o",
"--output-dir",
type=Path,
default=None,
help="Folder output. Default: <nama-pdf>_rag_md",
)
parser.add_argument(
"--topic-level",
type=int,
choices=(1, 2, 3, 4),
default=2,
help="Heading sampai level ini akan menjadi file topik baru. Default: 2",
)
parser.add_argument(
"--fallback-pages",
type=int,
default=5,
help="Jika heading tidak terdeteksi, buat satu topik per N halaman. Default: 5",
)
parser.add_argument(
"--language",
default="id",
help="Kode bahasa metadata, misalnya id atau en. Default: id",
)
parser.add_argument(
"--tags",
default="",
help="Tag metadata dipisahkan koma, misalnya: keamanan,soc,wazuh",
)
parser.add_argument(
"--source-uri",
default=None,
help="URI/URL sumber asli, jika ada",
)
parser.add_argument(
"--password",
default=None,
help="Password PDF terenkripsi, jika diperlukan",
)
parser.add_argument(
"--keep-footnotes",
action="store_true",
help="Jangan hapus blok yang terdeteksi sebagai footnote",
)
parser.add_argument(
"--page-comments",
action="store_true",
help="Tambahkan komentar HTML saat halaman berubah untuk trace lebih rinci",
)
parser.add_argument(
"--top-band",
type=float,
default=0.12,
help="Proporsi area atas untuk deteksi header berulang. Default: 0.12",
)
parser.add_argument(
"--bottom-band",
type=float,
default=0.12,
help="Proporsi area bawah untuk deteksi footer berulang. Default: 0.12",
)
parser.add_argument(
"--repeat-ratio",
type=float,
default=0.35,
help="Rasio halaman minimum agar teks dianggap header/footer berulang. Default: 0.35",
)
parser.add_argument(
"--footnote-bottom-band",
type=float,
default=0.18,
help="Proporsi area bawah untuk deteksi footnote. Default: 0.18",
)
parser.add_argument(
"--footnote-font-ratio",
type=float,
default=0.86,
help="Ukuran font footnote relatif terhadap font isi. Default: 0.86",
)
return parser.parse_args()

def utc_now_iso() -> str:
return datetime.now(timezone.utc).replace(microsecond=0).isoformat()

def sha256_file(path: Path, chunk_size: int = 1024 * 1024) -> str:
digest = hashlib.sha256()
with path.open("rb") as handle:
while chunk := handle.read(chunk_size):
digest.update(chunk)
return digest.hexdigest()

def normalize_unicode(text: str) -> str:
text = unicodedata.normalize("NFKC", text)
return (
text.replace("\u00ad", "")
.replace("\u200b", "")
.replace("\ufeff", "")
.replace("\xa0", " ")
)

def normalize_repeat_key(text: str) -> str:
text = normalize_unicode(text).lower()
text = re.sub(r"\b\d+\b", "#", text)
text = re.sub(r"\s+", " ", text).strip(" -–—|•\t")
return text

def normalize_heading_key(text: str) -> str:
text = normalize_unicode(text).casefold()
text = re.sub(r"[^\w\s]", " ", text, flags=re.UNICODE)
return re.sub(r"\s+", " ", text).strip()

def weighted_mode_font_size(samples: Iterable[tuple[float, int]]) -> float:
buckets: Counter[float] = Counter()
for size, weight in samples:
if size <= 0 or weight <= 0:
continue
bucket = round(size * 2) / 2.0
buckets[bucket] += weight
if not buckets:
return 11.0
return float(buckets.most_common(1)[0][0])

def join_pdf_lines(lines: Sequence[str]) -> str:
"""Join visual PDF lines into cleaner paragraphs while preserving list items."""
output: list[str] = []
current = ""

for raw_line in lines:
line = re.sub(r"\s+", " ", normalize_unicode(raw_line)).strip()
if not line:
continue

if BULLET_RE.match(line):
if current:
output.append(current.strip())
current = ""
bullet = re.sub(r"^\s*[•◦▪‣]\s+", "- ", line)
output.append(bullet)
continue

if not current:
current = line
continue

if current.endswith("-") and line[:1].islower():
current = current[:-1] + line
else:
current += " " + line

if current:
output.append(current.strip())

return "\n".join(output)

def extract_raw_blocks(doc: Any) -> tuple[list[TextBlock], list[tuple[float, int]]]:
blocks: list[TextBlock] = []
font_samples: list[tuple[float, int]] = []

for page_index in range(doc.page_count):
page = doc.load_page(page_index)
page_dict = page.get_text("dict", sort=True)
page_width = float(page.rect.width)
page_height = float(page.rect.height)

for raw_block in page_dict.get("blocks", []):
# type 0 is text. Image and drawing blocks are deliberately ignored.
if raw_block.get("type") != 0:
continue

line_texts: list[str] = []
block_font_weight = 0
block_font_total = 0.0
block_max_font = 0.0
bold_chars = 0
total_chars = 0

for line in raw_block.get("lines", []):
span_texts: list[str] = []
for span in line.get("spans", []):
text = normalize_unicode(str(span.get("text", "")))
if not text:
continue

size = float(span.get("size", 0.0) or 0.0)
chars = max(len(text.strip()), 1)
font_name = str(span.get("font", "")).casefold()
is_bold = "bold" in font_name or "black" in font_name or "semibold" in font_name

span_texts.append(text)
block_font_total += size * chars
block_font_weight += chars
block_max_font = max(block_max_font, size)
total_chars += chars
if is_bold:
bold_chars += chars
font_samples.append((size, min(chars, 200)))

line_text = "".join(span_texts).strip()
if line_text:
line_texts.append(line_text)

text = join_pdf_lines(line_texts).strip()
if not text:
continue

bbox = raw_block.get("bbox", (0.0, 0.0, 0.0, 0.0))
avg_font = block_font_total / block_font_weight if block_font_weight else 0.0
bold_ratio = bold_chars / total_chars if total_chars else 0.0

blocks.append(
TextBlock(
page_index=page_index,
page_number=page_index + 1,
page_width=page_width,
page_height=page_height,
x0=float(bbox[0]),
y0=float(bbox[1]),
x1=float(bbox[2]),
y1=float(bbox[3]),
text=text,
avg_font_size=avg_font,
max_font_size=block_max_font,
bold_ratio=bold_ratio,
line_count=len(line_texts),
)
)

return blocks, font_samples

def detect_repeated_margin_text(
blocks: Sequence[TextBlock],
page_count: int,
top_band: float,
bottom_band: float,
repeat_ratio: float,
) -> set[str]:
occurrences: dict[str, set[int]] = defaultdict(set)

for block in blocks:
is_top = block.top_ratio <= top_band
is_bottom = block.bottom_ratio >= 1.0 - bottom_band
if not (is_top or is_bottom):
continue

key = normalize_repeat_key(block.text)
if 2 <= len(key) <= 180:
occurrences[key].add(block.page_number)

threshold = max(3, math.ceil(page_count * repeat_ratio))
return {key for key, pages in occurrences.items() if len(pages) >= threshold}

def is_standalone_page_number(text: str) -> bool:
compact = re.sub(r"\s+", " ", text).strip()
return bool(PAGE_NUMBER_RE.fullmatch(compact))

def is_likely_footnote(block: TextBlock, body_font: float, config: Config) -> bool:
if not config.drop_footnotes:
return False

small_font = block.avg_font_size <= body_font * config.footnote_font_ratio
in_bottom_area = block.top_ratio >= 1.0 - config.footnote_bottom_band
marker = bool(FOOTNOTE_MARKER_RE.match(block.text))
shortish = len(block.text) <= 900

# Conservative: require both positional/font evidence, or a strong marker
# combined with small font near the lower half of the page.
if small_font and in_bottom_area and shortish:
return True
if marker and small_font and block.top_ratio >= 0.55 and shortish:
return True
return False

def clean_blocks(
blocks: Sequence[TextBlock],
repeated_margin_text: set[str],
body_font: float,
config: Config,
) -> list[TextBlock]:
cleaned: list[TextBlock] = []

for block in blocks:
key = normalize_repeat_key(block.text)
is_margin = (
block.top_ratio <= config.top_band
or block.bottom_ratio >= 1.0 - config.bottom_band
)

if is_margin and key in repeated_margin_text:
continue
if is_standalone_page_number(block.text):
continue
if is_likely_footnote(block, body_font, config):
continue

text = clean_block_text(block.text)
if not text:
continue

cleaned.append(
TextBlock(
page_index=block.page_index,
page_number=block.page_number,
page_width=block.page_width,
page_height=block.page_height,
x0=block.x0,
y0=block.y0,
x1=block.x1,
y1=block.y1,
text=text,
avg_font_size=block.avg_font_size,
max_font_size=block.max_font_size,
bold_ratio=block.bold_ratio,
line_count=block.line_count,
)
)

return cleaned

def clean_block_text(text: str) -> str:
text = normalize_unicode(text)
lines: list[str] = []
for line in text.splitlines():
line = re.sub(r"[ \t]+", " ", line).strip()
if not line or is_standalone_page_number(line):
continue
line = re.sub(r"^\s*[•◦▪‣]\s+", "- ", line)
lines.append(line)
return "\n".join(lines).strip()

def get_toc_map(doc: Any) -> tuple[dict[int, list[tuple[int, str]]], list[list[Any]]]:
toc = doc.get_toc(simple=True) or []
by_page: dict[int, list[tuple[int, str]]] = defaultdict(list)

for entry in toc:
if len(entry) < 3:
continue
level, title, page_number = entry[:3]
title = re.sub(r"\s+", " ", str(title)).strip()
if not title or not isinstance(page_number, int) or page_number < 1:
continue
by_page[page_number].append((int(level), title))

return by_page, toc

def match_toc_heading(
block: TextBlock,
toc_by_page: dict[int, list[tuple[int, str]]],
) -> HeadingInfo | None:
block_key = normalize_heading_key(block.text)
if not block_key:
return None

candidates: list[tuple[int, str]] = []
for page_number in (block.page_number - 1, block.page_number, block.page_number + 1):
candidates.extend(toc_by_page.get(page_number, []))

for level, title in candidates:
title_key = normalize_heading_key(title)
if not title_key:
continue
exact = block_key == title_key
contained = (
len(title_key) >= 5
and (block_key.startswith(title_key) or title_key.startswith(block_key))
and min(len(block_key), len(title_key)) / max(len(block_key), len(title_key)) >= 0.72
)
if exact or contained:
return HeadingInfo(title=title, level=max(1, min(level, 6)), source="pdf_toc")

return None

def looks_like_heading_text(text: str) -> bool:
one_line = re.sub(r"\s+", " ", text).strip()
if not one_line or len(one_line) > 180:
return False
if one_line.count(".") >= 4 and len(one_line) > 90:
return False
if len(one_line.split()) > 22:
return False
if one_line.endswith((".", ";", ",")) and not NUMBERED_HEADING_RE.match(one_line):
return False
return True

def infer_heading_level(text: str, font_ratio: float) -> int:
compact = re.sub(r"\s+", " ", text).strip()
lowered = compact.casefold()

if re.match(r"^(bab|chapter|bagian|part)\s+", lowered):
return 1

numbered = re.match(r"^(\d+(?:\.\d+){0,4})[\s.)–—:-]+", compact)
if numbered:
depth = numbered.group(1).count(".") + 1
return min(depth, 4)

if font_ratio >= 1.65:
return 1
if font_ratio >= 1.38:
return 2
return 3

def detect_heading(
block: TextBlock,
body_font: float,
toc_by_page: dict[int, list[tuple[int, str]]],
) -> HeadingInfo | None:
toc_match = match_toc_heading(block, toc_by_page)
if toc_match:
return toc_match

if not looks_like_heading_text(block.text):
return None

font_ratio = block.avg_font_size / body_font if body_font else 1.0
compact = re.sub(r"\s+", " ", block.text).strip()
numbered = bool(NUMBERED_HEADING_RE.match(compact))
mostly_bold = block.bold_ratio >= 0.55
mostly_upper = len(compact) >= 4 and compact.upper() == compact and any(c.isalpha() for c in compact)

strong_size = font_ratio >= 1.20
modest_size_with_signal = font_ratio >= 1.04 and (mostly_bold or numbered or mostly_upper)

if not (strong_size or modest_size_with_signal):
return None

level = infer_heading_level(compact, font_ratio)
return HeadingInfo(title=compact, level=level, source="font_heuristic")

def unique_toc_starts_for_page(
page_number: int,
toc_by_page: dict[int, list[tuple[int, str]]],
topic_level: int,
) -> list[tuple[int, str]]:
seen: set[str] = set()
result: list[tuple[int, str]] = []
for level, title in toc_by_page.get(page_number, []):
if level > topic_level:
continue
key = normalize_heading_key(title)
if not key or key in seen:
continue
seen.add(key)
result.append((level, title))
return result

def topic_default_title(doc_title: str, pdf_stem: str) -> str:
title = re.sub(r"\s+", " ", doc_title or "").strip()
return title if title else pdf_stem.replace("_", " ").replace("-", " ").strip().title()

def build_topics_from_headings(
blocks: Sequence[TextBlock],
body_font: float,
toc_by_page: dict[int, list[tuple[int, str]]],
default_title: str,
config: Config,
) -> tuple[list[Topic], int]:
topics: list[Topic] = []
current: Topic | None = None
detected_splits = 0
last_page: int | None = None
page_toc_started: set[int] = set()
last_body_page: int | None = None

def start_topic(title: str, method: str) -> Topic:
nonlocal detected_splits
cleaned_title = re.sub(r"\s+", " ", title).strip() or default_title
topic = Topic(
title=cleaned_title,
index=len(topics) + 1,
detection_method=method,
)
topics.append(topic)
detected_splits += 1
return topic

for block in blocks:
if block.page_number != last_page:
last_page = block.page_number
toc_starts = unique_toc_starts_for_page(
block.page_number, toc_by_page, config.topic_level
)
if toc_starts and block.page_number not in page_toc_started:
_, toc_title = toc_starts[0]
if current is None or normalize_heading_key(current.title) != normalize_heading_key(toc_title):
current = start_topic(toc_title, "pdf_toc")
page_toc_started.add(block.page_number)

heading = detect_heading(block, body_font, toc_by_page)

if heading and heading.level <= config.topic_level:
same_as_current = (
current is not None
and normalize_heading_key(current.title) == normalize_heading_key(heading.title)
)
if not same_as_current:
current = start_topic(heading.title, heading.source)
# The topic title is already emitted as H1 during writing.
continue

if current is None:
current = Topic(
title=default_title,
index=1,
detection_method="document_intro",
)
topics.append(current)

if config.include_page_comments and last_body_page != block.page_number:
current.body_parts.append(f"")
last_body_page = block.page_number

if heading:
markdown_level = max(2, min(heading.level + 1, 6))
current.add(block, f"{'#' * markdown_level} {heading.title}")
else:
current.add(block, block.text)

# Remove empty topics and fix indexes.
topics = [topic for topic in topics if topic.body.strip()]
for index, topic in enumerate(topics, start=1):
topic.index = index
return topics, detected_splits

def best_fallback_title(blocks: Sequence[TextBlock], default: str) -> str:
for block in blocks:
compact = re.sub(r"\s+", " ", block.text).strip()
if looks_like_heading_text(compact) and len(compact) <= 110:
if block.bold_ratio >= 0.45 or block.line_count == 1:
return compact
return default

def build_topics_by_page_groups(
blocks: Sequence[TextBlock],
page_count: int,
fallback_pages: int,
default_title: str,
include_page_comments: bool,
) -> list[Topic]:
by_page: dict[int, list[TextBlock]] = defaultdict(list)
for block in blocks:
by_page[block.page_number].append(block)

topics: list[Topic] = []
fallback_pages = max(1, fallback_pages)

for start_page in range(1, page_count + 1, fallback_pages):
end_page = min(page_count, start_page + fallback_pages - 1)
group_blocks: list[TextBlock] = []
for page_number in range(start_page, end_page + 1):
group_blocks.extend(by_page.get(page_number, []))

if not group_blocks:
continue

fallback_title = f"{default_title} — Halaman {start_page}-{end_page}"
title = best_fallback_title(group_blocks, fallback_title)
topic = Topic(
title=title,
index=len(topics) + 1,
detection_method="page_group_fallback",
)

last_page: int | None = None
for block in group_blocks:
if include_page_comments and last_page != block.page_number:
topic.body_parts.append(f"")
last_page = block.page_number
topic.add(block, block.text)

topics.append(topic)

return topics

def clean_markdown_spacing(text: str) -> str:
text = normalize_unicode(text)
text = re.sub(r"[ \t]+\n", "\n", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()

def slugify(text: str, max_length: int = 100) -> str:
text = normalize_unicode(text).casefold()
text = unicodedata.normalize("NFKD", text)
text = "".join(char for char in text if not unicodedata.combining(char))
text = re.sub(r"[^a-z0-9]+", "-", text)
text = re.sub(r"-+", "-", text).strip("-")
return (text[:max_length].rstrip("-") or "topik")

def ensure_unique_filename(base_name: str, used: set[str]) -> str:
candidate = base_name
counter = 2
while candidate in used:
stem = Path(base_name).stem
suffix = Path(base_name).suffix
candidate = f"{stem}-{counter}{suffix}"
counter += 1
used.add(candidate)
return candidate

def metadata_value(value: Any) -> Any:
if isinstance(value, str):
return re.sub(r"\s+", " ", value).strip()
return value

def build_front_matter(
*,
topic: Topic,
filename: str,
source_pdf: Path,
source_sha256: str,
document_id: str,
pdf_metadata: dict[str, Any],
config: Config,
body: str,
generated_at: str,
body_font: float,
) -> dict[str, Any]:
pages = sorted(topic.pages)
page_start = pages[0] if pages else None
page_end = pages[-1] if pages else None
topic_id = f"{document_id}-topic-{topic.index:04d}"

return {
"schema_version": "1.0",
"document_id": document_id,
"topic_id": topic_id,
"chunk_id": topic_id,
"title": topic.title,
"topic": topic.title,
"topic_index": topic.index,
"language": config.language,
"tags": config.tags,
"content_type": "text/markdown",
"source": {
"file": source_pdf.name,
"uri": config.source_uri,
"sha256": source_sha256,
"page_start": page_start,
"page_end": page_end,
"pages": pages,
"trace": (
f"{source_pdf.name}#page={page_start}-{page_end}"
if page_start is not None
else source_pdf.name
),
"pdf_title": metadata_value(pdf_metadata.get("title", "")) or None,
"pdf_author": metadata_value(pdf_metadata.get("author", "")) or None,
"pdf_subject": metadata_value(pdf_metadata.get("subject", "")) or None,
"pdf_keywords": metadata_value(pdf_metadata.get("keywords", "")) or None,
},
"rag": {
"unit": "topic",
"topic_detection": topic.detection_method,
"word_count": len(re.findall(r"\b\w+\b", body, flags=re.UNICODE)),
"character_count": len(body),
"suggested_splitter": "markdown_headers_then_token_window",
},
"extraction": {
"engine": "PyMuPDF",
"body_font_size_estimate": round(body_font, 2),
"images": "ignored",
"repeated_header_footer_filter": "position_and_frequency",
"standalone_page_number_filter": "enabled",
"footnote_filter": (
"bottom_position_and_small_font"
if config.drop_footnotes
else "disabled"
),
"page_comments_in_body": config.include_page_comments,
},
"output_file": filename,
"generated_at": generated_at,
}

def write_topic_files(
topics: Sequence[Topic],
output_dir: Path,
source_pdf: Path,
source_sha256: str,
document_id: str,
pdf_metadata: dict[str, Any],
config: Config,
body_font: float,
) -> list[dict[str, Any]]:
output_dir.mkdir(parents=True, exist_ok=True)
generated_at = utc_now_iso()
used_filenames: set[str] = set()
manifest_topics: list[dict[str, Any]] = []

for topic in topics:
if SKIP_TOPIC_RE.fullmatch(topic.title.strip()):
continue

body = topic.body
if not body:
continue

base_filename = f"{topic.index:03d}-{slugify(topic.title)}.md"
filename = ensure_unique_filename(base_filename, used_filenames)
metadata = build_front_matter(
topic=topic,
filename=filename,
source_pdf=source_pdf,
source_sha256=source_sha256,
document_id=document_id,
pdf_metadata=pdf_metadata,
config=config,
body=body,
generated_at=generated_at,
body_font=body_font,
)

front_matter = yaml.safe_dump(
metadata,
allow_unicode=True,
sort_keys=False,
default_flow_style=False,
width=120,
).strip()

markdown = f"---\n{front_matter}\n---\n\n# {topic.title}\n\n{body}\n"
destination = output_dir / filename
destination.write_text(markdown, encoding="utf-8")

manifest_topics.append(
{
"topic_index": topic.index,
"topic_id": metadata["topic_id"],
"title": topic.title,
"file": filename,
"page_start": metadata["source"]["page_start"],
"page_end": metadata["source"]["page_end"],
"word_count": metadata["rag"]["word_count"],
"detection": topic.detection_method,
}
)

return manifest_topics

def write_manifest(
output_dir: Path,
source_pdf: Path,
source_sha256: str,
document_id: str,
page_count: int,
body_font: float,
removed_repeated_items: int,
topics: list[dict[str, Any]],
config: Config,
) -> None:
manifest = {
"schema_version": "1.0",
"document_id": document_id,
"source_file": source_pdf.name,
"source_sha256": source_sha256,
"page_count": page_count,
"body_font_size_estimate": round(body_font, 2),
"repeated_header_footer_patterns_removed": removed_repeated_items,
"topic_count": len(topics),
"language": config.language,
"tags": config.tags,
"generated_at": utc_now_iso(),
"topics": topics,
}
(output_dir / "manifest.json").write_text(
json.dumps(manifest, ensure_ascii=False, indent=2) + "\n",
encoding="utf-8",
)

def open_pdf(path: Path, password: str | None) -> Any:
try:
doc = pymupdf.open(path)
except Exception as exc:
raise RuntimeError(f"Gagal membuka PDF: {exc}") from exc

if getattr(doc, "needs_pass", False):
if not password:
doc.close()
raise RuntimeError("PDF terenkripsi. Gunakan opsi --password.")
if not doc.authenticate(password):
doc.close()
raise RuntimeError("Password PDF salah.")

return doc

def main() -> int:
args = parse_args()
pdf_path = args.pdf.expanduser().resolve()

if not pdf_path.is_file():
print(f"ERROR: File tidak ditemukan: {pdf_path}", file=sys.stderr)
return 2
if pdf_path.suffix.casefold() != ".pdf":
print("ERROR: Input harus berupa file .pdf", file=sys.stderr)
return 2

output_dir = (
args.output_dir.expanduser().resolve()
if args.output_dir
else pdf_path.with_name(f"{pdf_path.stem}_rag_md")
)

tags = [item.strip() for item in args.tags.split(",") if item.strip()]
config = Config(
topic_level=args.topic_level,
fallback_pages=max(1, args.fallback_pages),
top_band=min(max(args.top_band, 0.02), 0.30),
bottom_band=min(max(args.bottom_band, 0.02), 0.30),
repeat_ratio=min(max(args.repeat_ratio, 0.10), 0.95),
drop_footnotes=not args.keep_footnotes,
footnote_bottom_band=min(max(args.footnote_bottom_band, 0.05), 0.40),
footnote_font_ratio=min(max(args.footnote_font_ratio, 0.50), 1.0),
language=args.language.strip() or "und",
tags=tags,
source_uri=args.source_uri,
include_page_comments=args.page_comments,
)

source_sha256 = sha256_file(pdf_path)
document_id = f"pdf-{source_sha256[:20]}"

try:
doc = open_pdf(pdf_path, args.password)
except RuntimeError as exc:
print(f"ERROR: {exc}", file=sys.stderr)
return 2

try:
raw_blocks, font_samples = extract_raw_blocks(doc)
if not raw_blocks:
print(
"ERROR: Tidak ditemukan selectable text. PDF kemungkinan hasil scan; lakukan OCR terlebih dahulu.",
file=sys.stderr,
)
return 3

body_font = weighted_mode_font_size(font_samples)
repeated_margin_text = detect_repeated_margin_text(
raw_blocks,
doc.page_count,
config.top_band,
config.bottom_band,
config.repeat_ratio,
)
blocks = clean_blocks(raw_blocks, repeated_margin_text, body_font, config)
if not blocks:
print("ERROR: Semua teks terhapus oleh filter. Coba gunakan --keep-footnotes.", file=sys.stderr)
return 3

toc_by_page, toc = get_toc_map(doc)
pdf_metadata = dict(doc.metadata or {})
default_title = topic_default_title(
str(pdf_metadata.get("title", "")), pdf_path.stem
)

topics, detected_splits = build_topics_from_headings(
blocks,
body_font,
toc_by_page,
default_title,
config,
)

# If the PDF has no usable TOC/headings, a single very large topic is not
# ideal for retrieval. Split it into deterministic page groups instead.
if detected_splits == 0 or (len(topics) <= 1 and doc.page_count > config.fallback_pages):
topics = build_topics_by_page_groups(
blocks,
doc.page_count,
config.fallback_pages,
default_title,
config.include_page_comments,
)

manifest_topics = write_topic_files(
topics,
output_dir,
pdf_path,
source_sha256,
document_id,
pdf_metadata,
config,
body_font,
)

write_manifest(
output_dir,
pdf_path,
source_sha256,
document_id,
doc.page_count,
body_font,
len(repeated_margin_text),
manifest_topics,
config,
)

print(f"Selesai: {len(manifest_topics)} file topik dibuat di {output_dir}")
print(f"Manifest: {output_dir / 'manifest.json'}")
if toc:
print(f"Struktur PDF: TOC tersedia ({len(toc)} entri)")
else:
print("Struktur PDF: TOC tidak tersedia; memakai heading/font atau fallback halaman")
return 0
finally:
doc.close()

if __name__ == "__main__":
raise SystemExit(main())
</pre>

Requirements-pdf-to-rag-md.txt

2026-07-24T20:57:25Z

Onnowpurbo: Created page with " pymupdf>=1.26,<2 pyyaml>=6,<7"

pymupdf>=1.26,<2
pyyaml>=6,<7

RAG: PDF to md

2026-07-24T20:56:52Z

Onnowpurbo:

## File Python

* [[pdf_to_rag_md.py]]
* [[requirements-pdf-to-rag-md.txt]]

Skrip sudah diperiksa dengan `py_compile` dan diuji pada:

* PDF dengan bookmark dan struktur heading.
* PDF tanpa heading, menggunakan fallback setiap lima halaman.

## Instalasi

```bash
mkdir -p ~/Apps/pdf-to-rag
cd ~/Apps/pdf-to-rag

python3 -m venv .venv
source .venv/bin/activate

pip install --upgrade pip
pip install -r requirements-pdf-to-rag-md.txt
```

## Menjalankan

```bash
python pdf_to_rag_md.py "Judul Buku.pdf"
```

Menentukan folder output:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--output-dir hasil-rag
```

Menambahkan tag metadata:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--tags "RAG,AI,LLM,dokumentasi"
```

Jika folder output sudah ada:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--overwrite
```

## Format filename

Untuk PDF yang memiliki heading:

```text
Judul Buku 01 BAB 1 Pendahuluan.md
Judul Buku 02 1.1 Latar Belakang.md
Judul Buku 03 1.2 Tujuan.md
Judul Buku 04 BAB 2 Metode.md
```

Jika PDF tidak memiliki heading, otomatis fallback per lima halaman:

```text
Judul Buku 01 Bagian Halaman 1-5.md
Judul Buku 02 Bagian Halaman 6-10.md
Judul Buku 03 Bagian Halaman 11-15.md
```

Judul buku diambil secara berurutan dari:

1. Metadata title PDF.
2. Teks judul dengan font terbesar pada halaman awal.
3. Nama file PDF.

## Konten yang dibuang

Secara default, skrip membuang:

* Gambar dan blok nonteks.
* Caption `Gambar`, `Figure`, atau `Fig`.
* Baris `Sumber:` dan `Source:` pada caption.
* Nomor halaman.
* Header dan footer berulang.
* Footnote yang terdeteksi di bagian bawah halaman.
* Daftar isi.
* Daftar gambar dan daftar tabel.
* Daftar istilah dan glosarium.
* Daftar singkatan, simbol, dan nomenklatur.
* Indeks.
* Daftar pustaka, bibliography, dan references.
* Kata pengantar, prakata, dan foreword.
* Ucapan terima kasih.
* Tentang penulis.
* Halaman sampul dan copyright yang terdeteksi.
* Karakter tersembunyi, soft hyphen, dan spasi berlebihan.

## Metadata pada setiap file Markdown

Setiap file memiliki YAML front matter seperti:

```yaml
---
schema_version: '1.0'
document_id: pdf-914f553ce7c36f8704e4
topic_id: pdf-914f553ce7c36f8704e4-topic-0001
chunk_id: pdf-914f553ce7c36f8704e4-topic-0001

book_title: Buku Uji RAG
title: BAB 1 Pendahuluan
topic: BAB 1 Pendahuluan
topic_index: 1

language: id
tags:
- RAG
- AI

source:
file: Buku Uji RAG.pdf
sha256: 914f553ce7c36f8704e412b1fcb51b90
page_start: 3
page_end: 8
pages:
- 3
- 4
- 5
- 6
- 7
- 8
trace: Buku Uji RAG.pdf#page=3-8
pdf_title: Buku Uji RAG
pdf_author: Nama Penulis

rag:
unit: topic
filename_pattern: Judul Buku 00 Topik.md
topic_detection: pdf_toc
word_count: 1450
character_count: 9860
content_sha256: 76a95b85fe3c9e48882c351138aa5f86
suggested_splitter: markdown_headers_then_token_window

extraction:
engine: PyMuPDF
images: ignored
figure_captions: removed
junk_sections: removed
standalone_page_number_filter: enabled
footnote_filter: bottom_position_and_small_font

output_file: Buku Uji RAG 01 BAB 1 Pendahuluan.md
generated_at: '2026-07-25T03:00:00+00:00'
---
```

Skrip juga menghasilkan:

```text
manifest.json
```

Manifest berisi daftar semua topik, filename, rentang halaman, metode pendeteksian topik, hash dokumen, dan halaman nonkonten yang dibuang.

PDF hasil scan yang tidak memiliki selectable text harus menjalani OCR terlebih dahulu.

RAG: PDF to md

2026-07-24T20:56:30Z

Onnowpurbo:

## File Python

* [pdf_to_rag_md.py]
* [requirements-pdf-to-rag-md.txt]

Skrip sudah diperiksa dengan `py_compile` dan diuji pada:

* PDF dengan bookmark dan struktur heading.
* PDF tanpa heading, menggunakan fallback setiap lima halaman.

## Instalasi

```bash
mkdir -p ~/Apps/pdf-to-rag
cd ~/Apps/pdf-to-rag

python3 -m venv .venv
source .venv/bin/activate

pip install --upgrade pip
pip install -r requirements-pdf-to-rag-md.txt
```

## Menjalankan

```bash
python pdf_to_rag_md.py "Judul Buku.pdf"
```

Menentukan folder output:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--output-dir hasil-rag
```

Menambahkan tag metadata:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--tags "RAG,AI,LLM,dokumentasi"
```

Jika folder output sudah ada:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--overwrite
```

## Format filename

Untuk PDF yang memiliki heading:

```text
Judul Buku 01 BAB 1 Pendahuluan.md
Judul Buku 02 1.1 Latar Belakang.md
Judul Buku 03 1.2 Tujuan.md
Judul Buku 04 BAB 2 Metode.md
```

Jika PDF tidak memiliki heading, otomatis fallback per lima halaman:

```text
Judul Buku 01 Bagian Halaman 1-5.md
Judul Buku 02 Bagian Halaman 6-10.md
Judul Buku 03 Bagian Halaman 11-15.md
```

Judul buku diambil secara berurutan dari:

1. Metadata title PDF.
2. Teks judul dengan font terbesar pada halaman awal.
3. Nama file PDF.

## Konten yang dibuang

Secara default, skrip membuang:

* Gambar dan blok nonteks.
* Caption `Gambar`, `Figure`, atau `Fig`.
* Baris `Sumber:` dan `Source:` pada caption.
* Nomor halaman.
* Header dan footer berulang.
* Footnote yang terdeteksi di bagian bawah halaman.
* Daftar isi.
* Daftar gambar dan daftar tabel.
* Daftar istilah dan glosarium.
* Daftar singkatan, simbol, dan nomenklatur.
* Indeks.
* Daftar pustaka, bibliography, dan references.
* Kata pengantar, prakata, dan foreword.
* Ucapan terima kasih.
* Tentang penulis.
* Halaman sampul dan copyright yang terdeteksi.
* Karakter tersembunyi, soft hyphen, dan spasi berlebihan.

## Metadata pada setiap file Markdown

Setiap file memiliki YAML front matter seperti:

```yaml
---
schema_version: '1.0'
document_id: pdf-914f553ce7c36f8704e4
topic_id: pdf-914f553ce7c36f8704e4-topic-0001
chunk_id: pdf-914f553ce7c36f8704e4-topic-0001

book_title: Buku Uji RAG
title: BAB 1 Pendahuluan
topic: BAB 1 Pendahuluan
topic_index: 1

language: id
tags:
- RAG
- AI

source:
file: Buku Uji RAG.pdf
sha256: 914f553ce7c36f8704e412b1fcb51b90
page_start: 3
page_end: 8
pages:
- 3
- 4
- 5
- 6
- 7
- 8
trace: Buku Uji RAG.pdf#page=3-8
pdf_title: Buku Uji RAG
pdf_author: Nama Penulis

rag:
unit: topic
filename_pattern: Judul Buku 00 Topik.md
topic_detection: pdf_toc
word_count: 1450
character_count: 9860
content_sha256: 76a95b85fe3c9e48882c351138aa5f86
suggested_splitter: markdown_headers_then_token_window

extraction:
engine: PyMuPDF
images: ignored
figure_captions: removed
junk_sections: removed
standalone_page_number_filter: enabled
footnote_filter: bottom_position_and_small_font

output_file: Buku Uji RAG 01 BAB 1 Pendahuluan.md
generated_at: '2026-07-25T03:00:00+00:00'
---
```

Skrip juga menghasilkan:

```text
manifest.json
```

Manifest berisi daftar semua topik, filename, rentang halaman, metode pendeteksian topik, hash dokumen, dan halaman nonkonten yang dibuang.

PDF hasil scan yang tidak memiliki selectable text harus menjalani OCR terlebih dahulu.

RAG: PDF to md

2026-07-24T20:54:35Z

Onnowpurbo: Created page with "## File Python * [Unduh `pdf_to_rag_md.py`](sandbox:/mnt/data/pdf_to_rag_md.py) * [Unduh `requirements-pdf-to-rag-md.txt`](sandbox:/mnt/data/requirements-pdf-to-rag-md.txt)..."

## File Python

* [Unduh `pdf_to_rag_md.py`](sandbox:/mnt/data/pdf_to_rag_md.py)
* [Unduh `requirements-pdf-to-rag-md.txt`](sandbox:/mnt/data/requirements-pdf-to-rag-md.txt)

Skrip sudah diperiksa dengan `py_compile` dan diuji pada:

* PDF dengan bookmark dan struktur heading.
* PDF tanpa heading, menggunakan fallback setiap lima halaman.

## Instalasi

```bash
mkdir -p ~/Apps/pdf-to-rag
cd ~/Apps/pdf-to-rag

python3 -m venv .venv
source .venv/bin/activate

pip install --upgrade pip
pip install -r requirements-pdf-to-rag-md.txt
```

## Menjalankan

```bash
python pdf_to_rag_md.py "Judul Buku.pdf"
```

Menentukan folder output:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--output-dir hasil-rag
```

Menambahkan tag metadata:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--tags "RAG,AI,LLM,dokumentasi"
```

Jika folder output sudah ada:

```bash
python pdf_to_rag_md.py "Judul Buku.pdf" \
--overwrite
```

## Format filename

Untuk PDF yang memiliki heading:

```text
Judul Buku 01 BAB 1 Pendahuluan.md
Judul Buku 02 1.1 Latar Belakang.md
Judul Buku 03 1.2 Tujuan.md
Judul Buku 04 BAB 2 Metode.md
```

Jika PDF tidak memiliki heading, otomatis fallback per lima halaman:

```text
Judul Buku 01 Bagian Halaman 1-5.md
Judul Buku 02 Bagian Halaman 6-10.md
Judul Buku 03 Bagian Halaman 11-15.md
```

Judul buku diambil secara berurutan dari:

1. Metadata title PDF.
2. Teks judul dengan font terbesar pada halaman awal.
3. Nama file PDF.

## Konten yang dibuang

Secara default, skrip membuang:

* Gambar dan blok nonteks.
* Caption `Gambar`, `Figure`, atau `Fig`.
* Baris `Sumber:` dan `Source:` pada caption.
* Nomor halaman.
* Header dan footer berulang.
* Footnote yang terdeteksi di bagian bawah halaman.
* Daftar isi.
* Daftar gambar dan daftar tabel.
* Daftar istilah dan glosarium.
* Daftar singkatan, simbol, dan nomenklatur.
* Indeks.
* Daftar pustaka, bibliography, dan references.
* Kata pengantar, prakata, dan foreword.
* Ucapan terima kasih.
* Tentang penulis.
* Halaman sampul dan copyright yang terdeteksi.
* Karakter tersembunyi, soft hyphen, dan spasi berlebihan.

## Metadata pada setiap file Markdown

Setiap file memiliki YAML front matter seperti:

```yaml
---
schema_version: '1.0'
document_id: pdf-914f553ce7c36f8704e4
topic_id: pdf-914f553ce7c36f8704e4-topic-0001
chunk_id: pdf-914f553ce7c36f8704e4-topic-0001

book_title: Buku Uji RAG
title: BAB 1 Pendahuluan
topic: BAB 1 Pendahuluan
topic_index: 1

language: id
tags:
- RAG
- AI

source:
file: Buku Uji RAG.pdf
sha256: 914f553ce7c36f8704e412b1fcb51b90
page_start: 3
page_end: 8
pages:
- 3
- 4
- 5
- 6
- 7
- 8
trace: Buku Uji RAG.pdf#page=3-8
pdf_title: Buku Uji RAG
pdf_author: Nama Penulis

rag:
unit: topic
filename_pattern: Judul Buku 00 Topik.md
topic_detection: pdf_toc
word_count: 1450
character_count: 9860
content_sha256: 76a95b85fe3c9e48882c351138aa5f86
suggested_splitter: markdown_headers_then_token_window

extraction:
engine: PyMuPDF
images: ignored
figure_captions: removed
junk_sections: removed
standalone_page_number_filter: enabled
footnote_filter: bottom_position_and_small_font

output_file: Buku Uji RAG 01 BAB 1 Pendahuluan.md
generated_at: '2026-07-25T03:00:00+00:00'
---
```

Skrip juga menghasilkan:

```text
manifest.json
```

Manifest berisi daftar semua topik, filename, rentang halaman, metode pendeteksian topik, hash dokumen, dan halaman nonkonten yang dibuang.

PDF hasil scan yang tidak memiliki selectable text harus menjalani OCR terlebih dahulu.

RAG

2026-07-24T20:53:52Z

Onnowpurbo: Created page with " ==Pranala Menarik== * RAG: PDF to md"

==Pranala Menarik==

* [[RAG: PDF to md]]

MCP: Instalasi

2026-07-24T09:56:10Z

Onnowpurbo: Created page with "# PANDUAN INSTALASI LOCAL AI STACK BERBASIS DOCKER ## Ollama + Open WebUI + AnythingLLM + MCP + n8n **Perangkat:** ```text Laptop : Dell RAM : 16 GB GPU..."

# PANDUAN INSTALASI LOCAL AI STACK BERBASIS DOCKER

## Ollama + Open WebUI + AnythingLLM + MCP + n8n

**Perangkat:**

```text
Laptop : Dell
RAM : 16 GB
GPU : NVIDIA RTX 4060
VRAM : 8 GB
Penyimpanan : SSD 250 GB
Sistem : Ubuntu Server 26.04 LTS
Folder utama : /opt/ai-stack
```

**Model yang digunakan:**

```text
Model LLM : qwen3:8b
Model embedding : bge-m3
```

Panduan ini diverifikasi pada **24 Juli 2026**. Docker Engine saat ini mencantumkan Ubuntu Resolute 26.04 LTS sebagai sistem yang didukung.

---

# 1. TUJUAN INSTALASI

Sistem ini akan menyediakan:

1. **Ollama**

* Menjalankan `qwen3:8b` menggunakan GPU RTX 4060.
* Menjalankan `bge-m3` untuk embedding dokumen.

2. **Open WebUI**

* Antarmuka chat berbasis web.
* Tidak diberi akses GPU secara langsung.
* Menggunakan Ollama sebagai backend.
* Menggunakan `bge-m3` untuk embedding file Markdown dan PDF.

3. **AnythingLLM**

* Menjalankan RAG.
* Menganalisis PDF, DOCX, Markdown, dan teks.
* Melakukan ekstraksi entitas atau NER.
* Menggunakan `qwen3:8b` melalui Ollama.
* Menggunakan `bge-m3` sebagai embedding model.
* Menggunakan LanceDB sebagai vector database lokal.

4. **MCP**

* Mengambil halaman web.
* Melakukan ekstraksi isi halaman HTML menjadi Markdown.
* Melihat dan membaca file lokal.
* Mengubah PDF dan DOCX menjadi Markdown.

5. **n8n**

* Menjalankan otomasi workflow.
* Menghubungkan Ollama dengan API, database, file, dan aplikasi lain.

---

# 2. ARSITEKTUR SISTEM

```text
RTX 4060 8 GB
│
▼
Ollama Docker
┌──────────┴──────────┐
│ │
qwen3:8b bge-m3
│ │
┌─────────┼─────────┐ │
│ │ │ │
▼ ▼ ▼ ▼
AnythingLLM Open WebUI n8n Embedding RAG
│
▼
MCP Client
│
┌────┼─────────────────┐
│ │ │
▼ ▼ ▼
Filesystem MCP Fetch MCP MarkItDown MCP
│ │ │
▼ ▼ ▼
File lokal Web/HTML biasa PDF dan DOCX
```

## Hubungan Ollama dengan MCP

Ollama bukan MCP server dan bukan komponen yang menjalankan MCP tool secara langsung.

Alurnya adalah:

```text
Pengguna
│
▼
AnythingLLM
│
├── mengirim prompt dan definisi tool ke qwen3:8b
│
▼
qwen3:8b memilih tool
│
▼
AnythingLLM menjalankan MCP tool
│
▼
Hasil tool dikirim kembali ke qwen3:8b
│
▼
Jawaban akhir
```

AnythingLLM Docker mendukung MCP **Tools**, tetapi dokumentasinya saat ini tidak menyatakan dukungan MCP Resources, Prompts, atau Sampling. AnythingLLM juga sudah menyertakan `npx`, `uv`, `uvx`, Node.js, dan Bash yang diperlukan untuk menjalankan MCP server.

---

# 3. PEMILIHAN MODEL

## 3.1 Model utama: `qwen3:8b`

```text
Nama : qwen3:8b
Parameter : sekitar 8,19 miliar
Quantization : Q4_K_M
Ukuran file : sekitar 5,2 GB
Jenis input : teks
```

Qwen3 mendukung lebih dari 100 bahasa dan dialek, mempunyai kemampuan tool use, serta dirancang untuk penggunaan agent dan integrasi external tools. Hal tersebut menjadikannya pilihan yang masuk akal untuk Bahasa Indonesia, RAG, analisis teks, ekstraksi informasi, dan MCP pada GPU 8 GB.

Model ini digunakan oleh:

```text
AnythingLLM
Open WebUI
n8n
MCP agent melalui AnythingLLM
```

## 3.2 Model embedding: `bge-m3`

```text
Nama : bge-m3
Parameter : sekitar 567 juta
Ukuran file : sekitar 1,2 GB
Context : hingga 8192 token
Jenis : embedding model
```

BGE-M3 dirancang untuk embedding multibahasa, mendukung lebih dari 100 bahasa, dan dapat memproses teks sampai sekitar 8192 token. Model ini digunakan untuk mengubah teks menjadi vector sebelum disimpan dalam vector database.

Model ini digunakan oleh:

```text
Open WebUI
AnythingLLM
```

## 3.3 Perkiraan penyimpanan model

```text
qwen3:8b : sekitar 5,2 GB
bge-m3 : sekitar 1,2 GB
--------------------------------
Total : sekitar 6,4 GB
```

Angka tersebut hanya ukuran file model. Docker images, cache, dokumen, log, database, dan vector database memerlukan kapasitas tambahan.

Karena SSD hanya 250 GB:

* gunakan hanya satu LLM utama;
* gunakan satu embedding model;
* jangan memasang model 14B, 27B, 32B, atau lebih besar;
* simpan backup pada disk eksternal;
* periksa penggunaan disk secara berkala.

---

# 4. BATASAN SISTEM

Konfigurasi awal yang aman:

```text
Context Ollama : 4096
Request paralel : 1
Model aktif bersamaan : 1
Embedding : bge-m3
Jumlah pengguna : satu atau beberapa pengguna ringan
```

Dokumentasi Ollama menggunakan context default 4096 pada GPU dengan VRAM di bawah 24 GiB. Context yang lebih besar membutuhkan lebih banyak memori.

Pengaturan satu model aktif berarti Ollama dapat bergantian memuat `bge-m3` dan `qwen3:8b`. Ini lebih aman untuk VRAM 8 GB, walaupun respons RAG pertama dapat sedikit lebih lambat.

---

# 5. PEMERIKSAAN AWAL

Login ke Ubuntu Server melalui console atau SSH.

Periksa sistem operasi:

```bash
cat /etc/os-release
```

Periksa arsitektur:

```bash
uname -m
```

Hasil yang diharapkan:

```text
x86_64
```

Periksa GPU:

```bash
lspci | grep -Ei 'NVIDIA|VGA|3D'
```

Periksa RAM:

```bash
free -h
```

Periksa kapasitas disk:

```bash
df -h /
```

Periksa alamat IP:

```bash
ip -br address
```

Catat alamat IP server, misalnya:

```text
192.168.0.10
```

---

# 6. UPDATE UBUNTU

```bash
sudo apt update
sudo apt full-upgrade -y

sudo apt install -y \
ca-certificates \
curl \
gnupg \
jq \
openssl \
pciutils \
ubuntu-drivers-common \
linux-headers-$(uname -r)
```

Reboot:

```bash
sudo reboot
```

Login kembali setelah server aktif.

---

# 7. INSTALASI DRIVER NVIDIA

## 7.1 Periksa driver yang tersedia

```bash
sudo ubuntu-drivers list --gpgpu
```

## 7.2 Instal driver rekomendasi Ubuntu

```bash
sudo ubuntu-drivers install --gpgpu
```

Ubuntu merekomendasikan penggunaan `ubuntu-drivers` untuk memilih driver yang sesuai. Opsi `--gpgpu` ditujukan untuk sistem komputasi atau server GPU.

Reboot:

```bash
sudo reboot
```

## 7.3 Verifikasi GPU

```bash
nvidia-smi
```

Hasil harus menampilkan:

```text
NVIDIA GeForce RTX 4060
```

Jangan melanjutkan ke instalasi Ollama GPU sebelum `nvidia-smi` berhasil.

---

# 8. INSTALASI DOCKER ENGINE

Hapus paket Docker lama yang mungkin terpasang:

```bash
sudo apt remove -y \
docker.io \
docker-compose \
docker-compose-v2 \
docker-doc \
podman-docker \
containerd \
runc 2>/dev/null || true
```

Tambahkan repository resmi Docker:

```bash
sudo apt update
sudo apt install -y ca-certificates curl

sudo install -m 0755 -d /etc/apt/keyrings

sudo curl -fsSL \
https://download.docker.com/linux/ubuntu/gpg \
-o /etc/apt/keyrings/docker.asc

sudo chmod a+r /etc/apt/keyrings/docker.asc
```

Buat file repository:

```bash
sudo tee /etc/apt/sources.list.d/docker.sources >/dev/null <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
```

Instal Docker:

```bash
sudo apt update

sudo apt install -y \
docker-ce \
docker-ce-cli \
containerd.io \
docker-buildx-plugin \
docker-compose-plugin
```

Perintah tersebut mengikuti metode instalasi repository resmi Docker untuk Ubuntu.

Aktifkan Docker:

```bash
sudo systemctl enable --now docker
```

Periksa status:

```bash
sudo systemctl status docker --no-pager
```

Periksa versi:

```bash
sudo docker version
sudo docker compose version
```

Tes:

```bash
sudo docker run --rm hello-world
```

---

# 9. INSTALASI NVIDIA CONTAINER TOOLKIT

Tambahkan repository NVIDIA:

```bash
curl -fsSL \
https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor \
-o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
```

```bash
curl -s -L \
https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee \
/etc/apt/sources.list.d/nvidia-container-toolkit.list
```

Instal toolkit:

```bash
sudo apt update
sudo apt install -y nvidia-container-toolkit
```

Konfigurasikan Docker runtime:

```bash
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
```

NVIDIA menggunakan `nvidia-ctk runtime configure --runtime=docker` untuk menghubungkan NVIDIA Container Runtime dengan Docker.

Tes akses GPU dari container:

```bash
sudo docker run --rm --gpus all ubuntu nvidia-smi
```

Hasil harus menampilkan RTX 4060. Ollama juga merekomendasikan pengujian container GPU dengan metode tersebut ketika melakukan troubleshooting.

---

# 10. MEMBUAT STRUKTUR DIREKTORI

Gunakan folder utama:

```text
/opt/ai-stack
```

Buat direktori:

```bash
sudo mkdir -p \
/opt/ai-stack/ollama \
/opt/ai-stack/open-webui \
/opt/ai-stack/anythingllm/storage/plugins \
/opt/ai-stack/documents \
/opt/ai-stack/n8n
```

Atur pemilik:

```bash
sudo chown -R "$USER":"$USER" /opt/ai-stack
```

AnythingLLM dan n8n biasanya menggunakan UID 1000 di dalam container. Atur direktori penyimpanannya:

```bash
sudo chown -R 1000:1000 \
/opt/ai-stack/anythingllm/storage \
/opt/ai-stack/n8n
```

Atur direktori dokumen:

```bash
sudo chmod 755 /opt/ai-stack/documents
```

Struktur akhir:

```text
/opt/ai-stack/
├── .env
├── docker-compose.yml
├── ollama/
├── open-webui/
├── anythingllm/
│ └── storage/
│ └── plugins/
├── documents/
└── n8n/
```

Seluruh data persisten aplikasi disimpan di bawah `/opt/ai-stack`. Docker tetap menyimpan image dan layer internalnya di direktori standar Docker.

---

# 11. MEMBUAT SECRET

Masuk ke direktori:

```bash
cd /opt/ai-stack
```

Buat `.env`:

```bash
umask 077

cat > .env <<EOF
WEBUI_SECRET_KEY=$(openssl rand -hex 32)
N8N_ENCRYPTION_KEY=$(openssl rand -hex 32)
EOF
```

Lindungi file:

```bash
chmod 600 /opt/ai-stack/.env
```

Periksa nama variabel tanpa menampilkan secret:

```bash
cut -d= -f1 /opt/ai-stack/.env
```

Hasil:

```text
WEBUI_SECRET_KEY
N8N_ENCRYPTION_KEY
```

Open WebUI menggunakan secret persisten untuk keamanan session, sedangkan n8n menggunakan encryption key untuk mengenkripsi credential yang disimpan.

Jangan mengunggah file `.env` ke GitHub atau membagikannya.

---

# 12. MEMBUAT KONFIGURASI MCP

AnythingLLM menyimpan konfigurasi MCP pada:

```text
/app/server/storage/plugins/anythingllm_mcp_servers.json
```

Karena storage dipasang ke host, lokasi file pada host adalah:

```text
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json
```

Buat file:

```bash
cat > \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json \
<<'JSON'
{
"mcpServers": {
"filesystem-local": {
"command": "npx",
"args": [
"-y",
"@modelcontextprotocol/server-filesystem",
"/documents"
]
},
"fetch-web": {
"command": "uvx",
"args": [
"mcp-server-fetch"
]
},
"markitdown-documents": {
"command": "uvx",
"args": [
"markitdown-mcp"
]
}
}
}
JSON
```

Atur pemilik dan permission:

```bash
sudo chown 1000:1000 \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json

sudo chmod 600 \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json
```

Validasi JSON:

```bash
jq . \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json
```

## 12.1 Fungsi `filesystem-local`

Filesystem MCP hanya diberi akses ke:

```text
/documents
```

Package resmi yang digunakan adalah:

```text
@modelcontextprotocol/server-filesystem
```

MCP server ini membatasi akses pada direktori yang diberikan sebagai argument.

Dalam Docker Compose, folder tersebut akan dipasang sebagai read-only:

```text
/opt/ai-stack/documents:/documents:ro
```

Dengan demikian, agent dapat membaca tetapi tidak dapat mengubah file pada host.

## 12.2 Fungsi `fetch-web`

Fetch MCP digunakan untuk:

* mengambil HTML halaman web;
* mengubah HTML menjadi Markdown;
* membaca artikel;
* membaca dokumentasi;
* mengambil konten URL biasa.

Perintah resminya:

```text
uvx mcp-server-fetch
```

Secara default, permintaan yang dibuat model mengikuti aturan `robots.txt`. Fetch MCP juga dapat mengakses alamat internal jika tidak dibatasi, sehingga AnythingLLM hanya boleh digunakan oleh pengguna tepercaya.

Fetch MCP bukan browser lengkap. Sistem ini tidak dijanjikan dapat melewati:

* login;
* CAPTCHA;
* proteksi anti-bot;
* situs yang seluruh isinya membutuhkan JavaScript browser;
* larangan scraping dari pemilik situs.

## 12.3 Fungsi `markitdown-documents`

MarkItDown MCP digunakan untuk mengubah:

```text
PDF
DOCX
HTML
file teks
```

menjadi Markdown.

Perintahnya:

```text
uvx markitdown-mcp
```

Tool yang diekspos adalah:

```text
convert_to_markdown(uri)
```

URI yang didukung meliputi `file:`, `http:`, `https:`, dan `data:`. MarkItDown dapat membaca file yang dapat diakses prosesnya, sehingga hanya folder `/documents` yang dipasang ke AnythingLLM.

PDF hasil scan yang hanya berisi gambar mungkin tidak menghasilkan teks yang baik. OCR tidak dipasang dalam panduan dasar ini.

---

# 13. MEMBUAT `docker-compose.yml`

Masuk ke direktori:

```bash
cd /opt/ai-stack
```

Buat file:

```bash
cat > docker-compose.yml <<'YAML'
name: ai-stack

x-logging: &default-logging
driver: json-file
options:
max-size: "10m"
max-file: "3"

services:
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: unless-stopped

environment:
OLLAMA_CONTEXT_LENGTH: "4096"
OLLAMA_MAX_LOADED_MODELS: "1"
OLLAMA_NUM_PARALLEL: "1"
OLLAMA_FLASH_ATTENTION: "1"
OLLAMA_KV_CACHE_TYPE: "q8_0"
OLLAMA_KEEP_ALIVE: "5m"

deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities:
- gpu

volumes:
- /opt/ai-stack/ollama:/root/.ollama

ports:
- "127.0.0.1:11434:11434"

networks:
- ai-network

logging: *default-logging

open-webui:
image: ghcr.io/open-webui/open-webui:main-slim
container_name: open-webui
restart: unless-stopped

depends_on:
- ollama

environment:
OLLAMA_BASE_URL: http://ollama:11434
WEBUI_SECRET_KEY: ${WEBUI_SECRET_KEY}

RAG_EMBEDDING_ENGINE: ollama
RAG_EMBEDDING_MODEL: bge-m3
RAG_OLLAMA_BASE_URL: http://ollama:11434
RAG_TOP_K: "5"

volumes:
- /opt/ai-stack/open-webui:/app/backend/data

ports:
- "3000:8080"

networks:
- ai-network

logging: *default-logging

anythingllm:
image: mintplexlabs/anythingllm:latest
container_name: anythingllm
restart: unless-stopped

depends_on:
- ollama

volumes:
- /opt/ai-stack/anythingllm/storage:/app/server/storage
- /opt/ai-stack/documents:/documents:ro

ports:
- "3001:3001"

networks:
- ai-network

logging: *default-logging

n8n:
image: docker.n8n.io/n8nio/n8n:latest
container_name: n8n
restart: unless-stopped

environment:
TZ: Asia/Jakarta
GENERIC_TIMEZONE: Asia/Jakarta
N8N_ENCRYPTION_KEY: ${N8N_ENCRYPTION_KEY}

volumes:
- /opt/ai-stack/n8n:/home/node/.n8n

ports:
- "5678:5678"

networks:
- ai-network

logging: *default-logging

networks:
ai-network:
name: ai-network
driver: bridge
YAML
```

## Penjelasan konfigurasi penting

### Ollama

```text
OLLAMA_CONTEXT_LENGTH=4096
```

Membatasi context awal agar sesuai dengan VRAM 8 GB.

```text
OLLAMA_MAX_LOADED_MODELS=1
```

Membatasi satu model aktif dalam memori.

```text
OLLAMA_NUM_PARALLEL=1
```

Membatasi satu proses inference pada satu waktu. Kebutuhan memori Ollama meningkat sesuai jumlah request paralel dan context yang digunakan.

```text
OLLAMA_FLASH_ATTENTION=1
```

Mengaktifkan Flash Attention ketika didukung.

```text
OLLAMA_KV_CACHE_TYPE=q8_0
```

Mengurangi penggunaan memori KV cache. Dokumentasi Ollama menyatakan `q8_0` menggunakan sekitar setengah memori dibandingkan `f16`, dengan penurunan presisi yang relatif kecil.

### Open WebUI

Image:

```text
ghcr.io/open-webui/open-webui:main-slim
```

dipilih karena lebih kecil dan tidak membawa model lokal bawaan. Image tersebut ditujukan untuk sistem dengan keterbatasan penyimpanan.

Open WebUI tidak diberi konfigurasi GPU. Semua inference dan embedding diteruskan ke container Ollama.

### AnythingLLM

Storage persisten:

```text
/opt/ai-stack/anythingllm/storage
```

dipasang pada:

```text
/app/server/storage
```

Ini mengikuti struktur penyimpanan Docker AnythingLLM.

### n8n

Data n8n disimpan di:

```text
/opt/ai-stack/n8n
```

dan dipasang pada:

```text
/home/node/.n8n
```

n8n dijalankan menggunakan image resmi `docker.n8n.io/n8nio/n8n`.

---

# 14. VALIDASI DOCKER COMPOSE

```bash
cd /opt/ai-stack

sudo docker compose config
```

Jika terdapat kesalahan YAML atau environment variable, Docker akan menampilkannya.

Download image:

```bash
sudo docker compose pull
```

Periksa penggunaan disk:

```bash
sudo docker system df
```

---

# 15. MENJALANKAN OLLAMA

Jalankan Ollama terlebih dahulu:

```bash
cd /opt/ai-stack

sudo docker compose up -d ollama
```

Periksa:

```bash
sudo docker compose ps
sudo docker compose logs --tail=100 ollama
```

Verifikasi GPU dari container:

```bash
sudo docker exec ollama nvidia-smi
```

Jika perintah tersebut tidak tersedia di dalam image, gunakan:

```bash
sudo docker run --rm --gpus all ubuntu nvidia-smi
```

---

# 16. DOWNLOAD MODEL

Download Qwen3:

```bash
sudo docker compose exec ollama \
ollama pull qwen3:8b
```

Download embedding model:

```bash
sudo docker compose exec ollama \
ollama pull bge-m3
```

Periksa daftar model:

```bash
sudo docker compose exec ollama ollama list
```

Hasil harus memuat:

```text
qwen3:8b
bge-m3
```

Jangan menarik model tambahan sebelum memeriksa ruang SSD.

---

# 17. MENGUJI QWEN3

Uji dari command line:

```bash
sudo docker compose exec ollama \
ollama run qwen3:8b \
"Jawab singkat dalam bahasa Indonesia: jelaskan fungsi RAG."
```

Uji melalui API:

```bash
curl http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3:8b",
"messages": [
{
"role": "user",
"content": "Jawab dalam bahasa Indonesia. Apa fungsi RAG?"
}
],
"stream": false
}' | jq -r '.message.content'
```

Periksa model yang sedang aktif:

```bash
sudo docker compose exec ollama ollama ps
```

Perhatikan kolom:

```text
PROCESSOR
```

Target yang diharapkan:

```text
100% GPU
```

Ollama menggunakan `ollama ps` untuk memperlihatkan apakah model berada di GPU, CPU, atau dibagi antara keduanya.

Pantau GPU:

```bash
watch -n 1 nvidia-smi
```

---

# 18. MENGUJI EMBEDDING BGE-M3

```bash
curl http://127.0.0.1:11434/api/embed \
-H "Content-Type: application/json" \
-d '{
"model": "bge-m3",
"input": "Dokumen ini membahas kebijakan keamanan informasi."
}' | jq '.embeddings[0] | length'
```

Hasil harus berupa jumlah dimensi vector, bukan pesan error.

Embedding mengubah teks menjadi vector numerik yang digunakan untuk pencarian semantik dan RAG.

---

# 19. MENJALANKAN SEMUA SERVICE

```bash
cd /opt/ai-stack

sudo docker compose up -d
```

Periksa:

```bash
sudo docker compose ps
```

Container berikut harus berstatus `Up`:

```text
ollama
open-webui
anythingllm
n8n
```

Periksa log:

```bash
sudo docker compose logs --tail=100 open-webui
sudo docker compose logs --tail=100 anythingllm
sudo docker compose logs --tail=100 n8n
```

Tampilkan alamat IP server:

```bash
hostname -I
```

Alamat layanan:

```text
Open WebUI : http://IP-SERVER:3000
AnythingLLM: http://IP-SERVER:3001
n8n : http://IP-SERVER:5678
```

Contoh:

```text
http://192.168.0.10:3000
http://192.168.0.10:3001
http://192.168.0.10:5678
```

---

# 20. KONFIGURASI OPEN WEBUI

Buka:

```text
http://IP-SERVER:3000
```

Buat akun administrator pertama.

## 20.1 Koneksi Ollama

Masuk ke:

```text
Admin Panel
→ Settings
→ Connections
```

Pastikan:

```text
Ollama Base URL: http://ollama:11434
```

Variabel resmi Open WebUI untuk koneksi ini adalah `OLLAMA_BASE_URL`.

## 20.2 Konfigurasi embedding

Masuk ke:

```text
Admin Panel
→ Settings
→ Documents
```

Atur:

```text
Embedding Engine : Ollama
Ollama URL : http://ollama:11434
Embedding Model : bge-m3
Top K : 5
```

Open WebUI mendukung penggunaan Ollama sebagai embedding engine melalui `RAG_EMBEDDING_ENGINE`, `RAG_EMBEDDING_MODEL`, dan `RAG_OLLAMA_BASE_URL`.

## 20.3 Membuat Knowledge Base

Masuk ke:

```text
Workspace
→ Knowledge
→ Create Knowledge
```

Upload:

```text
.md
.pdf
```

Kemudian gunakan Knowledge tersebut dalam percakapan.

Contoh prompt:

```text
Gunakan hanya informasi dari dokumen yang diberikan.

Buat ringkasan dalam bahasa Indonesia.

Pisahkan:
- fakta yang tertulis;
- interpretasi;
- informasi yang tidak tersedia.

Jangan menambahkan fakta dari luar dokumen.
```

Open WebUI melakukan alur:

```text
PDF atau Markdown
↓
Ekstraksi teks
↓
Chunking
↓
Embedding dengan bge-m3
↓
Vector database
↓
Retrieval
↓
qwen3:8b
```

Apabila embedding model diganti, dokumen lama harus diindeks ulang karena vector dari embedding model berbeda tidak kompatibel.

---

# 21. KONFIGURASI ANYTHINGLLM

Buka:

```text
http://IP-SERVER:3001
```

Lakukan konfigurasi awal.

## 21.1 LLM Provider

Pilih:

```text
LLM Provider : Ollama
Base URL : http://ollama:11434
Model : qwen3:8b
Context : 4096
```

## 21.2 Embedding Provider

Pilih:

```text
Embedding Provider : Ollama
Base URL : http://ollama:11434
Embedding Model : bge-m3
```

## 21.3 Vector database

Gunakan:

```text
Vector Database: LanceDB
```

LanceDB tersedia sebagai vector database lokal bawaan sehingga tidak memerlukan container database tambahan. AnythingLLM mendukung Ollama sebagai LLM dan embedding provider serta menyediakan pilihan vector database lokal.

## 21.4 Membuat workspace

Buat:

```text
Nama workspace: Analisis Dokumen dan NER
```

Rekomendasi awal:

```text
Model : qwen3:8b
Context : 4096
Temperature : 0.1–0.2
Retrieved chunks : 4–6
Embedding : bge-m3
```

---

# 22. DUA CARA MEMBACA DOKUMEN DI ANYTHINGLLM

## 22.1 Menggunakan RAG

Upload PDF atau DOCX ke workspace AnythingLLM.

Alurnya:

```text
Dokumen
↓
Parser AnythingLLM
↓
Chunking
↓
Embedding bge-m3
↓
LanceDB
↓
Retrieval
↓
qwen3:8b
```

Gunakan metode ini untuk:

* koleksi dokumen;
* tanya jawab berulang;
* pencarian semantik;
* knowledge base;
* dokumen yang ingin digunakan jangka panjang.

## 22.2 Menggunakan MCP MarkItDown

Gunakan MarkItDown MCP untuk membaca file tertentu secara langsung.

Alurnya:

```text
File PDF atau DOCX
↓
MarkItDown MCP
↓
Markdown
↓
qwen3:8b
```

Metode ini tidak otomatis memasukkan file ke vector database.

Gunakan untuk:

* membaca satu file;
* mengonversi PDF atau DOCX;
* menganalisis file secara langsung;
* ekstraksi informasi sekali jalan.

---

# 23. MENGAKTIFKAN MCP DI ANYTHINGLLM

Masuk ke:

```text
Settings
→ Agent Skills
```

Klik:

```text
Refresh
```

Pastikan muncul:

```text
filesystem-local
fetch-web
markitdown-documents
```

AnythingLLM memuat konfigurasi dari file `anythingllm_mcp_servers.json`. MCP dapat dijalankan melalui Agent Skills atau menggunakan mode `@agent`.

Pada penggunaan pertama, `npx` dan `uvx` dapat mengunduh package MCP yang dibutuhkan. Package tersebut berada di dalam container dan mungkin perlu diunduh ulang jika container dihapus dan dibuat ulang.

---

# 24. MEMASUKKAN FILE LOKAL

Contoh menyalin PDF:

```bash
sudo cp /lokasi/asli/laporan.pdf \
/opt/ai-stack/documents/
```

Contoh menyalin DOCX:

```bash
sudo cp /lokasi/asli/proposal.docx \
/opt/ai-stack/documents/
```

Atur permission:

```bash
sudo find /opt/ai-stack/documents \
-type d -exec chmod 755 {} \;

sudo find /opt/ai-stack/documents \
-type f -exec chmod 644 {} \;
```

Periksa dari host:

```bash
ls -lah /opt/ai-stack/documents
```

Periksa dari container:

```bash
sudo docker exec anythingllm ls -lah /documents
```

---

# 25. PENGUJIAN MCP FILESYSTEM

Aktifkan agent di AnythingLLM, kemudian gunakan:

```text
@agent

Gunakan tool filesystem-local.

Tampilkan daftar file yang berada di direktori /documents.

Jangan membuat, mengubah, memindahkan, atau menghapus file.
```

Karena volume menggunakan mode `:ro`, proses di dalam container tidak dapat mengubah file host.

---

# 26. PENGUJIAN MCP PDF

Misalnya terdapat:

```text
/opt/ai-stack/documents/laporan.pdf
```

Gunakan prompt:

```text
@agent

Gunakan tool markitdown-documents untuk membaca:

file:///documents/laporan.pdf

Setelah file berhasil dibaca:

1. Buat ringkasan dalam bahasa Indonesia.
2. Sebutkan fakta penting.
3. Sebutkan orang, organisasi, lokasi, tanggal, dan nilai uang.
4. Pisahkan fakta dan interpretasi.
5. Jangan menambahkan informasi yang tidak terdapat dalam dokumen.
```

---

# 27. PENGUJIAN MCP DOCX

Misalnya terdapat:

```text
/opt/ai-stack/documents/proposal.docx
```

Gunakan:

```text
@agent

Gunakan tool markitdown-documents untuk membaca:

file:///documents/proposal.docx

Ekstrak:

- tujuan dokumen;
- nama orang;
- organisasi;
- lokasi;
- tanggal;
- nilai uang;
- risiko;
- keputusan;
- tindakan lanjutan.

Jangan menebak informasi yang tidak ditulis.
```

---

# 28. PENGUJIAN MCP WEB

Gunakan situs yang memang boleh diakses dan dibaca.

Contoh:

```text
@agent

Gunakan tool fetch-web untuk mengambil:

https://example.com

Jelaskan:

- judul halaman;
- pokok isi;
- organisasi yang disebutkan;
- tanggal jika tersedia;
- informasi yang tidak dapat diverifikasi.

Jangan menambahkan informasi dari luar halaman.
```

Untuk halaman lain, ganti URL tersebut.

MCP fetch tidak boleh digunakan untuk:

* melewati login;
* melewati CAPTCHA;
* mengabaikan larangan scraping;
* mengambil data pribadi tanpa izin;
* menyerang alamat internal;
* mengakses sistem yang tidak berwenang.

---

# 29. PROMPT NER UNTUK ANYTHINGLLM

`qwen3:8b` merupakan general-purpose instruction model, bukan model NER statistik khusus. Model ini dapat melakukan zero-shot NER, tetapi hasil penting tetap perlu diverifikasi manusia.

Gunakan prompt berikut:

```text
Anda adalah mesin ekstraksi entitas.

Gunakan hanya teks yang terdapat dalam dokumen atau konteks.

Kembalikan JSON valid dengan format berikut:

{
"entities": [
{
"text": "teks persis dari dokumen",
"type": "PERSON|ORGANIZATION|LOCATION|DATE|TIME|MONEY|PERCENTAGE|PRODUCT|EVENT|LAW|OTHER",
"evidence": "kalimat tempat entitas ditemukan",
"confidence": "high|medium|low"
}
]
}

Aturan:

1. Jangan menulis teks di luar JSON.
2. Jangan membuat entitas yang tidak tertulis.
3. Jangan memperluas singkatan jika kepanjangannya tidak tersedia.
4. Jangan mengubah ejaan nama.
5. Jangan menebak hubungan antarentitas.
6. Jangan menyimpulkan kewarganegaraan, jabatan, atau afiliasi jika tidak ditulis.
7. Jika tidak ditemukan entitas, kembalikan:

{"entities":[]}

8. Confidence menunjukkan kejelasan teks, bukan probabilitas statistik.
```

Untuk ekstraksi hubungan:

```text
Berdasarkan entitas yang ditemukan, ekstrak hanya hubungan yang dinyatakan
secara eksplisit.

Kembalikan JSON:

{
"relations": [
{
"subject": "",
"predicate": "",
"object": "",
"evidence": ""
}
]
}

Jangan membuat hubungan berdasarkan asumsi.
```

---

# 30. KONFIGURASI N8N

Buka:

```text
http://IP-SERVER:5678
```

Buat akun administrator.

## 30.1 Koneksi n8n ke Ollama

Gunakan alamat:

```text
http://ollama:11434
```

Jangan gunakan:

```text
http://localhost:11434
```

Di dalam container n8n, `localhost` menunjuk ke container n8n sendiri. Dokumentasi n8n menjelaskan bahwa container dalam Docker network yang sama harus mengakses Ollama menggunakan nama container atau nama service.

## 30.2 Pengujian menggunakan HTTP Request

Tambahkan node:

```text
HTTP Request
```

Konfigurasi:

```text
Method : POST
URL : http://ollama:11434/api/chat
```

Header:

```text
Content-Type: application/json
```

Body JSON:

```json
{
"model": "qwen3:8b",
"messages": [
{
"role": "system",
"content": "Jawab dalam bahasa Indonesia. Jangan menambahkan fakta yang tidak tersedia."
},
{
"role": "user",
"content": "Ringkas teks berikut: {{$json.text}}"
}
],
"stream": false
}
```

Contoh workflow:

```text
Schedule Trigger
↓
Read File atau HTTP Request
↓
Ollama qwen3:8b
↓
Ekstraksi atau ringkasan
↓
Database, email, webhook, atau aplikasi lain
```

---

# 31. PEMANTAUAN RESOURCE

Periksa container:

```bash
cd /opt/ai-stack
sudo docker compose ps
```

Periksa CPU dan RAM:

```bash
sudo docker stats --no-stream
```

Periksa RAM host:

```bash
free -h
```

Periksa GPU:

```bash
nvidia-smi
```

Periksa model Ollama:

```bash
sudo docker compose exec ollama ollama ps
```

Periksa penyimpanan Docker:

```bash
sudo docker system df
```

Periksa ukuran data:

```bash
sudo du -h -d 2 /opt/ai-stack | sort -h
```

Periksa kapasitas filesystem:

```bash
df -h / /opt
```

Cari file lebih besar dari 1 GB:

```bash
sudo find /opt/ai-stack \
-xdev \
-type f \
-size +1G \
-printf '%s %p\n' \
| sort -nr \
| head -20
```

---

# 32. PENGELOLAAN SSD 250 GB

## Pembersihan image yang tidak digunakan

Periksa dahulu:

```bash
sudo docker system df
```

Hapus dangling image:

```bash
sudo docker image prune -f
```

Hapus build cache yang tidak digunakan:

```bash
sudo docker builder prune -f
```

## Menghapus model Ollama

Lihat model:

```bash
sudo docker compose exec ollama ollama list
```

Hapus model tertentu:

```bash
sudo docker compose exec ollama \
ollama rm NAMA_MODEL
```

Jangan menghapus:

```text
qwen3:8b
bge-m3
```

selama masih digunakan.

## Hindari perintah berikut

```bash
sudo docker compose down -v
```

Opsi `-v` dapat menghapus volume.

Jangan menjalankan tanpa memahami akibatnya:

```bash
sudo docker system prune -a --volumes
```

Perintah tersebut dapat menghapus image, cache, network, dan volume yang masih diperlukan.

---

# 33. START, STOP, DAN RESTART

Masuk ke folder:

```bash
cd /opt/ai-stack
```

Jalankan semua service:

```bash
sudo docker compose up -d
```

Hentikan sementara:

```bash
sudo docker compose stop
```

Jalankan kembali:

```bash
sudo docker compose start
```

Restart:

```bash
sudo docker compose restart
```

Restart satu service:

```bash
sudo docker compose restart anythingllm
```

Hapus container tanpa menghapus bind-mounted data:

```bash
sudo docker compose down
```

Jalankan kembali:

```bash
sudo docker compose up -d
```

---

# 34. UPDATE CONTAINER

Lakukan backup terlebih dahulu.

Kemudian:

```bash
cd /opt/ai-stack

sudo docker compose pull
sudo docker compose up -d
sudo docker image prune -f
```

Periksa:

```bash
sudo docker compose ps
sudo docker compose logs --tail=100
```

Tag `latest` dan `main-slim` dapat berubah. Setelah sistem terbukti stabil, penggunaan versi atau image digest yang sudah diuji lebih aman untuk instalasi produksi.

---

# 35. BACKUP

Pasang disk eksternal, misalnya:

```text
/mnt/backup
```

Hentikan aplikasi yang menyimpan database:

```bash
cd /opt/ai-stack

sudo docker compose stop \
open-webui \
anythingllm \
n8n
```

Buat backup:

```bash
sudo tar \
-C /opt \
-czf /mnt/backup/ai-stack-data-$(date +%F).tar.gz \
ai-stack/docker-compose.yml \
ai-stack/.env \
ai-stack/open-webui \
ai-stack/anythingllm \
ai-stack/n8n \
ai-stack/documents
```

Jalankan kembali:

```bash
sudo docker compose start \
open-webui \
anythingllm \
n8n
```

Folder model Ollama tidak dimasukkan agar backup lebih kecil. Model dapat diunduh kembali menggunakan:

```bash
sudo docker compose exec ollama ollama pull qwen3:8b
sudo docker compose exec ollama ollama pull bge-m3
```

---

# 36. KEAMANAN

## 36.1 Jangan membuka port ke Internet

Port berikut hanya untuk LAN atau VPN:

```text
3000 : Open WebUI
3001 : AnythingLLM
5678 : n8n
```

Jangan membuat port forwarding langsung dari router.

Gunakan salah satu:

```text
WireGuard
Tailscale
Reverse proxy dengan HTTPS
Firewall dengan pembatasan IP
```

Docker memperingatkan bahwa port container yang dipublikasikan dapat melewati sebagian aturan UFW atau firewalld. Karena itu, jangan hanya mengandalkan UFW untuk melindungi service Docker yang dipublikasikan.

## 36.2 Ollama hanya tersedia pada host dan Docker network

Compose menggunakan:

```text
127.0.0.1:11434:11434
```

Ollama tidak dapat diakses langsung dari komputer LAN, tetapi masih dapat diakses oleh container melalui:

```text
http://ollama:11434
```

## 36.3 Batasi filesystem MCP

AnythingLLM hanya diberi akses ke:

```text
/opt/ai-stack/documents
```

Jangan memasang:

```text
/
/etc
/root
/home
/var/run/docker.sock
```

ke AnythingLLM.

Jangan menyimpan di folder dokumen:

```text
password
SSH private key
API key
file .env
database credential
token autentikasi
```

## 36.4 Jangan memberikan Docker socket kepada AI

Jangan menambahkan:

```text
/var/run/docker.sock:/var/run/docker.sock
```

ke AnythingLLM, Open WebUI, n8n, atau MCP.

Akses Docker socket dapat memberikan kontrol administratif terhadap host.

---

# 37. TROUBLESHOOTING

## 37.1 Ollama tidak menggunakan GPU

Periksa host:

```bash
nvidia-smi
```

Periksa Docker:

```bash
sudo docker run --rm --gpus all ubuntu nvidia-smi
```

Konfigurasi ulang:

```bash
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

cd /opt/ai-stack
sudo docker compose restart ollama
```

Periksa:

```bash
sudo docker compose exec ollama ollama ps
```

## 37.2 Kehabisan VRAM atau RAM

Gejala:

```text
CUDA out of memory
container exited
killed
system memakai swap berlebihan
```

Pertahankan:

```text
Context : 4096
Parallel request : 1
Loaded models : 1
Model : qwen3:8b
```

Periksa:

```bash
free -h
nvidia-smi
sudo docker stats
sudo docker compose exec ollama ollama ps
```

Jangan menaikkan context ke 8192 sebelum konfigurasi 4096 terbukti stabil.

## 37.3 AnythingLLM tidak melihat Ollama

Periksa network:

```bash
sudo docker network inspect ai-network
```

Uji koneksi dengan container sementara:

```bash
sudo docker run --rm \
--network ai-network \
curlimages/curl:latest \
http://ollama:11434/api/tags
```

Pastikan AnythingLLM menggunakan:

```text
http://ollama:11434
```

Bukan:

```text
http://localhost:11434
```

## 37.4 MCP tidak muncul

Validasi JSON:

```bash
jq . \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json
```

Periksa permission:

```bash
ls -lah \
/opt/ai-stack/anythingllm/storage/plugins/
```

Perbaiki jika perlu:

```bash
sudo chown 1000:1000 \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json

sudo chmod 600 \
/opt/ai-stack/anythingllm/storage/plugins/anythingllm_mcp_servers.json
```

Restart:

```bash
cd /opt/ai-stack
sudo docker compose restart anythingllm
```

Masuk kembali ke:

```text
Settings
→ Agent Skills
→ Refresh
```

Periksa log:

```bash
sudo docker compose logs --tail=200 anythingllm \
| grep -Ei \
'mcp|npx|uvx|fetch|markitdown|filesystem|error'
```

## 37.5 File tidak terlihat

Periksa host:

```bash
ls -lah /opt/ai-stack/documents
```

Periksa container:

```bash
sudo docker exec anythingllm ls -lah /documents
```

Periksa mount:

```bash
sudo docker inspect anythingllm \
--format '{{json .Mounts}}' | jq
```

## 37.6 Open WebUI gagal melakukan embedding

Periksa model:

```bash
sudo docker compose exec ollama ollama list
```

Tes:

```bash
curl http://127.0.0.1:11434/api/embed \
-H "Content-Type: application/json" \
-d '{
"model": "bge-m3",
"input": "tes embedding"
}' | jq
```

Pastikan konfigurasi Open WebUI:

```text
Embedding Engine : Ollama
Embedding Model : bge-m3
Ollama URL : http://ollama:11434
```

Kemudian lakukan reindex dokumen.

---

# 38. CHECKLIST AKHIR

## Sistem dan GPU

```text
[ ] Ubuntu Server 26.04 sudah diperbarui
[ ] nvidia-smi mendeteksi RTX 4060
[ ] Docker Engine aktif
[ ] Docker Compose Plugin tersedia
[ ] NVIDIA Container Toolkit aktif
[ ] Container dapat mengakses GPU
```

## Model

```text
[ ] qwen3:8b tersedia
[ ] bge-m3 tersedia
[ ] qwen3:8b berjalan pada GPU
[ ] endpoint embedding bge-m3 berhasil
```

## Open WebUI

```text
[ ] Open WebUI dapat dibuka pada port 3000
[ ] Open WebUI tidak mempunyai akses GPU langsung
[ ] Ollama URL menggunakan http://ollama:11434
[ ] Model chat menggunakan qwen3:8b
[ ] Embedding menggunakan bge-m3
[ ] File Markdown dapat diindeks
[ ] PDF berbasis teks dapat diindeks
```

## AnythingLLM

```text
[ ] AnythingLLM dapat dibuka pada port 3001
[ ] LLM Provider menggunakan Ollama
[ ] Model menggunakan qwen3:8b
[ ] Embedder menggunakan bge-m3
[ ] Vector database menggunakan LanceDB
[ ] filesystem-local aktif
[ ] fetch-web aktif
[ ] markitdown-documents aktif
[ ] PDF dapat dibaca
[ ] DOCX dapat dibaca
[ ] NER menghasilkan JSON valid
```

## n8n

```text
[ ] n8n dapat dibuka pada port 5678
[ ] Data n8n persisten
[ ] Timezone Asia/Jakarta
[ ] n8n dapat mengakses http://ollama:11434
[ ] qwen3:8b dapat dipanggil dari workflow
```

---

# 39. KONFIGURASI FINAL

```text
Folder utama : /opt/ai-stack

Ollama image : ollama/ollama:latest
Ollama model : qwen3:8b
Embedding model : bge-m3
Context awal : 4096
Request paralel : 1
Model aktif : 1
Ollama host port : 127.0.0.1:11434

Open WebUI image : open-webui:main-slim
Open WebUI GPU : tidak
Open WebUI port : 3000
Open WebUI LLM : qwen3:8b melalui Ollama
Open WebUI embedding : bge-m3 melalui Ollama

AnythingLLM port : 3001
AnythingLLM LLM : qwen3:8b
AnythingLLM embedding : bge-m3
AnythingLLM vector DB : LanceDB

MCP filesystem : @modelcontextprotocol/server-filesystem
MCP web : mcp-server-fetch
MCP PDF/DOCX : markitdown-mcp
Folder dokumen host : /opt/ai-stack/documents
Folder dokumen container : /documents:ro

n8n port : 5678
n8n Ollama URL : http://ollama:11434
Timezone : Asia/Jakarta
```

Konfigurasi ini menggunakan hanya dua model sehingga lebih sesuai untuk RTX 4060 8 GB, RAM 16 GB, dan SSD 250 GB. Open WebUI, AnythingLLM, dan n8n tidak memuat model sendiri; semuanya menggunakan Ollama sebagai backend bersama.

LLM

2026-07-24T03:47:33Z

Onnowpurbo: /* ComfyUI */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]
* [[ComfyUI: Text to Speech]]

==MCP==

* [[MCP: Instalasi]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

ComfyUI: Text to Speech

2026-07-24T02:38:57Z

Onnowpurbo:

Berikut catatan instalasi yang telah dibersihkan dari langkah percobaan yang tidak diperlukan. Prosedur ini khusus untuk konfigurasi server Anda.

# Instalasi ComfyUI EdgeTTS Bahasa Indonesia di Docker

## 1. Tujuan

Menambahkan kemampuan *text-to-speech* Bahasa Indonesia pada ComfyUI menggunakan custom node `ComfyUI-EdgeTTS`.

Workflow yang digunakan terdiri dari:

```text
EdgeTTS → SaveAudio
```

Pengaturan awal workflow:

```text
Teks : Halo, selamat datang. Ini adalah contoh text to speech Bahasa Indonesia menggunakan ComfyUI.
Suara : [Indonesian] id-ID Gadis
Speed : 1.0
Pitch : 0
Output : audio/tts_indonesia
```

Workflow menggunakan nama internal node:

```text
EdgeTTS
SaveAudio
```

`EdgeTTS` merupakan custom node, sedangkan `SaveAudio` merupakan node bawaan ComfyUI.

---

## 2. Lingkungan yang digunakan

Konfigurasi yang telah terverifikasi pada server:

```text
Folder Docker Compose : /opt/ai-stack
Nama service : comfyui
Folder ComfyUI : /opt/ComfyUI
Folder custom node : /opt/ComfyUI/custom_nodes
Python virtual env : /opt/venv/bin/python
Port ComfyUI : 8188
PyTorch : 2.11.0+cu128
Torchaudio : 2.11.0+cu128
```

Masuk ke folder proyek:

```bash
cd /opt/ai-stack
```

Pastikan container ComfyUI aktif:

```bash
docker compose ps comfyui
```

Pastikan endpoint ComfyUI dapat diakses:

```bash
curl -fsS http://127.0.0.1:8188/system_stats \
| python3 -m json.tool
```

---

## 3. Penyebab error awal

Workflow awal menampilkan:

```text
Missing node type

Node 'Edge TTS 🔊' not found.
The custom node may not be installed.
class_type: EdgeTTS
```

Artinya backend ComfyUI belum mendaftarkan node dengan nama internal:

```text
EdgeTTS
```

Baris log seperti berikut:

```text
0.0 seconds: /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS
```

hanya menunjukkan bahwa folder custom node telah diperiksa saat startup. Registrasi node harus dipastikan melalui endpoint:

```text
/object_info/EdgeTTS
```

Setelah instalasi selesai, server telah mengembalikan definisi lengkap `EdgeTTS`, termasuk suara Bahasa Indonesia `id-ID Gadis` dan `id-ID Ardi`. Ini membuktikan node sudah terdaftar dengan benar.

---

# BAGIAN A — INSTALASI

## 4. Instal dependency sistem

Custom node menggunakan pemrosesan audio. Instal `git`, `ffmpeg`, dan sertifikat CA di dalam container:

```bash
cd /opt/ai-stack

docker compose exec -u root -T comfyui bash -lc '
set -e

apt-get update

DEBIAN_FRONTEND=noninteractive apt-get install -y \
--no-install-recommends \
git \
ffmpeg \
ca-certificates

rm -rf /var/lib/apt/lists/*
'
```

Verifikasi FFmpeg:

```bash
docker compose exec -T comfyui \
ffmpeg -version | head -1
```

TorchCodec menggunakan instalasi FFmpeg yang tersedia pada sistem. Dokumentasi resminya menyatakan dukungan untuk FFmpeg versi 4 sampai 8. ([GitHub][1])

---

## 5. Clone custom node ComfyUI-EdgeTTS

Jalankan:

```bash
cd /opt/ai-stack

docker compose exec -u root -T comfyui bash -lc '
set -e

cd /opt/ComfyUI/custom_nodes

if [ -d ComfyUI-EdgeTTS/.git ]; then
echo "ComfyUI-EdgeTTS sudah ada. Melakukan update."
git -C ComfyUI-EdgeTTS pull --ff-only
else
rm -rf ComfyUI-EdgeTTS

git clone --depth 1 \
https://github.com/1038lab/ComfyUI-EdgeTTS.git
fi

echo
echo "Isi direktori plugin:"
ls -lah /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS
'
```

Repository resmi memang meminta plugin ditempatkan di dalam folder:

```text
ComfyUI/custom_nodes
```

Plugin menyediakan node `EdgeTTS`, dukungan banyak bahasa, pengaturan kecepatan, pengaturan pitch, dan output audio ComfyUI. ([GitHub][2])

Pastikan file utama tersedia:

```bash
docker compose exec -T comfyui bash -lc '
test -f /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS/__init__.py
test -f /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS/ailab_edgeTTS.py
test -f /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS/config.json

echo "File utama ComfyUI-EdgeTTS tersedia."
'
```

---

## 6. Periksa versi PyTorch sebelum memasang TorchCodec

Jalankan:

```bash
docker compose exec -T comfyui /opt/venv/bin/python - <<'PY'
import torch
import torchaudio

print("torch :", torch.__version__)
print("torchaudio :", torchaudio.__version__)
PY
```

Pada server ini hasil yang telah diperoleh adalah:

```text
torch : 2.11.0+cu128
torchaudio : 2.11.0+cu128
```

TorchCodec harus disesuaikan dengan versi PyTorch.

Matriks kompatibilitas resmi menyatakan:

```text
torch 2.11 → torchcodec 0.11
torch 2.10 → torchcodec 0.10
torch 2.9 → torchcodec 0.9
```

Karena server menggunakan PyTorch 2.11, gunakan TorchCodec seri `0.11`, bukan `0.9`. ([GitHub][1])

---

## 7. Instal dependency Python untuk EdgeTTS

Untuk workflow TTS ini, instal:

```bash
cd /opt/ai-stack

docker compose exec -u root -T comfyui \
/opt/venv/bin/python -m pip install \
--no-cache-dir \
--upgrade \
"edge-tts>=7.0.0" \
"torchcodec>=0.11,<0.12"
```

Jangan menjalankan:

```bash
pip install -r requirements.txt
```

secara langsung pada konfigurasi ini tanpa memeriksa isinya.

`requirements.txt` repository saat ini mencantumkan:

```text
edge-tts>=7.0.0
torchaudio
torchcodec==0.9
openai-whisper
numpy
torch
googletrans-py
deep-translator
```

Pin `torchcodec==0.9` ditujukan untuk PyTorch 2.9, sedangkan server menggunakan PyTorch 2.11. Menginstal seluruh file tersebut juga dapat mencoba mengubah instalasi `torch` dan `torchaudio` yang sudah berfungsi. ([GitHub][3])

Node `EdgeTTS` sendiri mengimpor:

```text
edge_tts
torch
torchaudio
```

dan menggunakan `torchaudio.load()` untuk membaca hasil audio. ([GitHub][4])

---

## 8. Verifikasi dependency Python

Jalankan:

```bash
docker compose exec -T comfyui /opt/venv/bin/python - <<'PY'
import importlib.metadata as metadata
import torch
import torchaudio
import torchcodec
import edge_tts

packages = [
"torch",
"torchaudio",
"torchcodec",
"edge-tts",
]

for package in packages:
try:
print(f"{package:12}: {metadata.version(package)}")
except metadata.PackageNotFoundError:
print(f"{package:12}: NOT INSTALLED")

print()
print("Semua modul utama berhasil di-import.")
PY
```

Hasil yang diharapkan kurang lebih:

```text
torch : 2.11.0
torchaudio : 2.11.0
torchcodec : 0.11.x
edge-tts : 7.x.x

Semua modul utama berhasil di-import.
```

Nomor revisi kecil dapat berbeda, tetapi kombinasi utamanya harus:

```text
torch 2.11.x
torchcodec 0.11.x
```

---

## 9. Restart ComfyUI

```bash
cd /opt/ai-stack

docker compose restart comfyui
```

Pantau startup:

```bash
docker compose logs -f comfyui
```

Hentikan tampilan log dengan:

```text
Ctrl+C
```

Periksa error terbaru:

```bash
docker compose logs --since=5m comfyui \
| grep -Ei \
'EdgeTTS|ComfyUI-EdgeTTS|torchcodec|error loading|import failed|traceback|exception'
```

Baris berikut bukan error:

```text
0.0 seconds: /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS
```

Baris tersebut merupakan informasi waktu pemuatan plugin.

---

# BAGIAN B — VERIFIKASI

## 10. Pastikan node EdgeTTS terdaftar

Jalankan:

```bash
curl -fsS http://127.0.0.1:8188/object_info/EdgeTTS \
| python3 -c '
import json
import sys

data = json.load(sys.stdin)

if "EdgeTTS" not in data:
raise SystemExit("GAGAL: EdgeTTS belum terdaftar")

node = data["EdgeTTS"]

print("STATUS : OK")
print("NAME :", node.get("name"))
print("DISPLAY NAME :", node.get("display_name"))
print("MODULE :", node.get("python_module"))
print("OUTPUT :", node.get("output"))
'
```

Hasil yang benar:

```text
STATUS : OK
NAME : EdgeTTS
DISPLAY NAME : Edge TTS 🔊
MODULE : custom_nodes.ComfyUI-EdgeTTS
OUTPUT : ['AUDIO']
```

Ini merupakan pemeriksaan paling penting.

Jika endpoint tersebut mengembalikan definisi node, backend ComfyUI sudah mengenali `EdgeTTS`.

---

## 11. Pastikan SaveAudio tersedia

Jalankan:

```bash
curl -fsS http://127.0.0.1:8188/object_info/SaveAudio \
| python3 -c '
import json
import sys

data = json.load(sys.stdin)

if "SaveAudio" not in data:
raise SystemExit("GAGAL: SaveAudio tidak tersedia")

print("STATUS : OK")
print("NODE : SaveAudio")
'
```

`SaveAudio` merupakan node bawaan ComfyUI yang menerima input `AUDIO` dan menyimpan hasil sebagai file FLAC. ([ComfyUI][5])

---

## 12. Verifikasi suara Bahasa Indonesia

Karena Edge TTS menggunakan layanan online, container harus dapat mengakses internet.

Jalankan:

```bash
docker compose exec -T comfyui \
/opt/venv/bin/edge-tts --list-voices \
| grep -E 'id-ID-(Gadis|Ardi)Neural'
```

Hasil harus memuat suara seperti:

```text
id-ID-ArdiNeural
id-ID-GadisNeural
```

Program resmi `edge-tts` menyediakan opsi `--list-voices` untuk memperoleh daftar suara yang tersedia dari layanan Edge TTS. ([GitHub][6])

Jika perintah ini gagal akibat koneksi, periksa:

```bash
docker compose exec -T comfyui \
getent hosts speech.platform.bing.com
```

Edge TTS bukan TTS lokal atau offline. Plugin menggunakan layanan text-to-speech online Microsoft Edge. ([GitHub][4])

---

# BAGIAN C — PENGUJIAN

## 13. Uji EdgeTTS langsung melalui ComfyUI API

Jalankan:

```bash
curl -fsS \
-X POST \
http://127.0.0.1:8188/prompt \
-H 'Content-Type: application/json' \
-d '{
"prompt": {
"1": {
"class_type": "EdgeTTS",
"inputs": {
"text": "Halo, ini adalah pengujian text to speech Bahasa Indonesia menggunakan ComfyUI.",
"voice": "[Indonesian] id-ID Gadis",
"speed": 1.0,
"pitch": 0
}
},
"2": {
"class_type": "SaveAudio",
"inputs": {
"audio": [
"1",
0
],
"filename_prefix": "audio/tts_indonesia_test"
}
}
}
}' \
| python3 -m json.tool
```

Respons yang benar akan memuat:

```json
{
"prompt_id": "...",
"number": 1,
"node_errors": {}
}
```

`prompt_id` akan berbeda pada setiap eksekusi.

Pantau proses:

```bash
docker compose logs -f comfyui
```

---

## 14. Cari hasil audio

Jalankan:

```bash
docker compose exec -T comfyui \
find /opt/ComfyUI/output \
-type f \
-iname '*tts_indonesia_test*' \
-printf '%TY-%Tm-%Td %TH:%TM:%TS %p\n' \
| sort
```

Lokasi hasil umumnya berada di bawah:

```text
/opt/ComfyUI/output/audio/
```

Karena prefix yang digunakan adalah:

```text
audio/tts_indonesia_test
```

File hasil `SaveAudio` menggunakan format FLAC.

Untuk melihat file terakhir:

```bash
docker compose exec -T comfyui bash -lc '
find /opt/ComfyUI/output/audio \
-type f \
-iname "*tts_indonesia_test*" \
-printf "%T@ %p\n" \
| sort -n \
| tail -1 \
| cut -d" " -f2-
'
```

---

# BAGIAN D — MENJALANKAN WORKFLOW DI BROWSER

## 15. Buka ComfyUI

Buka dari komputer pengguna:

```text
http://IP-SERVER5:8188
```

Ganti `IP-SERVER5` dengan alamat IP server.

Setelah plugin baru dipasang:

1. Tutup tab ComfyUI lama.
2. Buka kembali ComfyUI.
3. Tekan `Ctrl+Shift+R`.
4. Load ulang workflow JSON.
5. Pastikan node `Edge TTS 🔊` tidak berwarna merah.
6. Pilih suara:

```text
[Indonesian] id-ID Gadis
```

atau:

```text
[Indonesian] id-ID Ardi
```

7. Hubungkan output `AUDIO` dari `EdgeTTS` ke input `audio` pada `SaveAudio`.
8. Klik **Queue Prompt** atau **Run**.

Node `EdgeTTS` resmi menghasilkan output bertipe `AUDIO`, sehingga dapat langsung dihubungkan ke `SaveAudio`. ([GitHub][4])

---

# BAGIAN E — TROUBLESHOOTING

## 16. Error “Missing node type” masih terlihat di log

Perintah:

```bash
docker compose logs --tail=200 comfyui
```

dapat menampilkan peringatan lama yang tercatat sebelum node berhasil dipasang.

Gunakan log berdasarkan waktu:

```bash
docker compose logs --since=2m comfyui \
| grep -Ei \
'missing_node_type|EdgeTTS|error|exception|traceback'
```

Jika:

```bash
curl -fsS http://127.0.0.1:8188/object_info/EdgeTTS
```

sudah mengembalikan definisi lengkap `EdgeTTS`, backend sudah benar. Peringatan lama di log tidak berarti error masih aktif. Kondisi inilah yang terverifikasi pada server setelah instalasi.

---

## 17. Backend mengenali EdgeTTS, tetapi browser masih menampilkan node hilang

Kemungkinan browser masih menyimpan definisi node lama atau browser membuka instance ComfyUI yang berbeda.

Lakukan:

```text
Ctrl+Shift+R
```

Kemudian pastikan alamat browser menggunakan server dan port yang benar:

```text
http://IP-SERVER5:8188
```

Bila masih bermasalah:

1. Tekan `F12`.
2. Buka tab **Application**.
3. Pilih **Storage**.
4. Klik **Clear site data**.
5. Tutup tab.
6. Buka kembali ComfyUI.

Tidak perlu mengubah workflow apabila backend sudah mengembalikan:

```text
/object_info/EdgeTTS
```

---

## 18. Node tersedia tetapi audio kosong atau sangat pendek

Periksa log:

```bash
docker compose logs --since=5m comfyui \
| grep -Ei \
'TTS Error|NoAudioReceived|torchcodec|ffmpeg|audio|exception|traceback'
```

Kode plugin menangkap error TTS dan, pada kondisi gagal, dapat mengembalikan waveform kosong sepanjang satu detik. Karena itu workflow bisa terlihat selesai walaupun layanan TTS sebenarnya gagal. ([GitHub][4])

Penyebab yang harus diperiksa:

```text
Koneksi internet dari container
DNS container
Layanan Edge TTS tidak dapat dijangkau
TorchCodec tidak cocok dengan PyTorch
FFmpeg tidak tersedia
Voice ID sudah berubah atau tidak tersedia
```

Uji layanan Edge TTS secara langsung:

```bash
docker compose exec -T comfyui \
/opt/venv/bin/edge-tts \
--voice id-ID-GadisNeural \
--text "Halo, ini adalah pengujian suara Bahasa Indonesia." \
--write-media /tmp/edgetts-test.mp3
```

Periksa file:

```bash
docker compose exec -T comfyui \
ls -lh /tmp/edgetts-test.mp3
```

Jika file terbentuk dan ukurannya lebih dari nol, layanan Edge TTS berfungsi.

Hapus file uji:

```bash
docker compose exec -T comfyui \
rm -f /tmp/edgetts-test.mp3
```

---

## 19. TorchCodec gagal di-import

Periksa versi:

```bash
docker compose exec -T comfyui /opt/venv/bin/python - <<'PY'
import importlib.metadata as metadata
import torch
import torchaudio

print("torch :", torch.__version__)
print("torchaudio :", torchaudio.__version__)

try:
print("torchcodec :", metadata.version("torchcodec"))
except metadata.PackageNotFoundError:
print("torchcodec : NOT INSTALLED")
PY
```

Untuk server ini, instal ulang seri yang sesuai:

```bash
docker compose exec -u root -T comfyui \
/opt/venv/bin/python -m pip uninstall -y torchcodec
```

```bash
docker compose exec -u root -T comfyui \
/opt/venv/bin/python -m pip install \
--no-cache-dir \
"torchcodec>=0.11,<0.12"
```

Kemudian restart:

```bash
docker compose restart comfyui
```

Jangan memasang `torchcodec==0.9` pada PyTorch 2.11 karena matriks kompatibilitas resmi memasangkan TorchCodec 0.9 dengan PyTorch 2.9. ([GitHub][1])

---

## 20. Plugin tidak muncul pada object_info

Periksa isi plugin:

```bash
docker compose exec -T comfyui bash -lc '
ls -lah /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS

grep -Rni "EdgeTTS" \
/opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS \
--include="*.py" \
| head -30
'
```

Uji modul node secara langsung:

```bash
docker compose exec -T comfyui /opt/venv/bin/python - <<'PY'
import sys
import traceback

plugin_path = "/opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS"
sys.path.insert(0, plugin_path)

try:
import ailab_edgeTTS

print("Import ailab_edgeTTS: OK")
print(
"Node mappings:",
list(ailab_edgeTTS.NODE_CLASS_MAPPINGS.keys())
)
except Exception:
print("Import ailab_edgeTTS: GAGAL")
traceback.print_exc()
raise
PY
```

Hasil yang benar:

```text
Import ailab_edgeTTS: OK
Node mappings: ['EdgeTTS']
```

Kode resmi plugin mendaftarkan:

```python
NODE_CLASS_MAPPINGS = {
"EdgeTTS": EdgeTTS
}
```

Karena itu nama internal workflow harus tetap:

```text
EdgeTTS
```

bukan:

```text
Edge TTS
Edge TTS 🔊
ComfyUI-EdgeTTS
```

([GitHub][4])

---

# BAGIAN F — PEMELIHARAAN

## 21. Update plugin

Untuk memperbarui plugin:

```bash
cd /opt/ai-stack

docker compose exec -u root -T comfyui bash -lc '
set -e

git -C /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS \
pull --ff-only
'
```

Setelah update, jangan langsung menjalankan seluruh `requirements.txt` tanpa mengecek perubahan versi.

Tampilkan isi dependency terbaru:

```bash
docker compose exec -T comfyui bash -lc '
cat /opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS/requirements.txt
'
```

Periksa kembali kompatibilitas:

```bash
docker compose exec -T comfyui /opt/venv/bin/python - <<'PY'
import importlib.metadata as metadata
import torch

print("torch :", torch.__version__)
print("torchcodec :", metadata.version("torchcodec"))
print("edge-tts :", metadata.version("edge-tts"))
PY
```

Restart:

```bash
docker compose restart comfyui
```

Verifikasi:

```bash
curl -fsS http://127.0.0.1:8188/object_info/EdgeTTS \
| python3 -m json.tool \
| head -50
```

---

## 22. Catatan persistensi Docker

Perintah instalasi di atas memasang plugin dan paket ke dalam filesystem container yang sedang berjalan.

Perubahan dalam writable layer container dapat hilang ketika container dihapus dan dibuat ulang. Volume atau bind mount diperlukan agar file bertahan di luar lifecycle container, atau instalasi harus dimasukkan ke dalam Dockerfile. ([Docker Documentation][7])

Periksa apakah folder custom node memakai mount:

```bash
docker inspect "$(docker compose ps -q comfyui)" \
--format '{{range .Mounts}}{{println .Source "->" .Destination}}{{end}}'
```

Cari tujuan:

```text
/opt/ComfyUI/custom_nodes
```

Jika folder tersebut tidak menggunakan volume atau bind mount, plugin harus dimasukkan ke Dockerfile agar tidak hilang setelah container dibuat ulang.

Hal yang sama berlaku untuk paket Python di:

```text
/opt/venv
```

Instalasi permanen harus memasukkan langkah berikut ke proses build image, setelah `/opt/venv` dan `/opt/ComfyUI` tersedia:

```dockerfile
RUN apt-get update \
&& apt-get install -y --no-install-recommends \
git \
ffmpeg \
ca-certificates \
&& rm -rf /var/lib/apt/lists/*

RUN git clone --depth 1 \
https://github.com/1038lab/ComfyUI-EdgeTTS.git \
/opt/ComfyUI/custom_nodes/ComfyUI-EdgeTTS

RUN /opt/venv/bin/python -m pip install \
--no-cache-dir \
"edge-tts>=7.0.0" \
"torchcodec>=0.11,<0.12"
```

Setelah Dockerfile diperbarui:

```bash
cd /opt/ai-stack

docker compose build comfyui
docker compose up -d comfyui
```

Verifikasi ulang:

```bash
curl -fsS http://127.0.0.1:8188/object_info/EdgeTTS \
| python3 -m json.tool \
| head -50
```

---

# BAGIAN G — RINGKASAN PERINTAH UTAMA

## 23. Instalasi ringkas

```bash
cd /opt/ai-stack
```

```bash
docker compose exec -u root -T comfyui bash -lc '
set -e

apt-get update

DEBIAN_FRONTEND=noninteractive apt-get install -y \
--no-install-recommends \
git \
ffmpeg \
ca-certificates

rm -rf /var/lib/apt/lists/*

cd /opt/ComfyUI/custom_nodes

if [ -d ComfyUI-EdgeTTS/.git ]; then
git -C ComfyUI-EdgeTTS pull --ff-only
else
rm -rf ComfyUI-EdgeTTS

git clone --depth 1 \
https://github.com/1038lab/ComfyUI-EdgeTTS.git
fi
'
```

```bash
docker compose exec -u root -T comfyui \
/opt/venv/bin/python -m pip install \
--no-cache-dir \
--upgrade \
"edge-tts>=7.0.0" \
"torchcodec>=0.11,<0.12"
```

```bash
docker compose restart comfyui
```

```bash
curl -fsS http://127.0.0.1:8188/object_info/EdgeTTS \
| python3 -m json.tool \
| head -80
```

---

# 24. Kondisi akhir yang benar

Instalasi dinyatakan berhasil jika seluruh kondisi berikut terpenuhi:

```text
Container comfyui aktif.
FFmpeg tersedia di dalam container.
edge-tts berhasil di-import.
torchcodec 0.11.x terpasang.
PyTorch tetap 2.11.x.
Torchaudio tetap 2.11.x.
Endpoint /object_info/EdgeTTS mengembalikan node EdgeTTS.
Endpoint /object_info/SaveAudio mengembalikan SaveAudio.
Daftar suara memuat id-ID-GadisNeural dan id-ID-ArdiNeural.
Workflow tidak lagi menghasilkan missing_node_type.
File audio tersimpan di /opt/ComfyUI/output/audio.
```

Pada pemeriksaan terakhir server Anda, endpoint `object_info/EdgeTTS` sudah mengembalikan node lengkap dengan:

```text
name : EdgeTTS
display_name : Edge TTS 🔊
python_module : custom_nodes.ComfyUI-EdgeTTS
output : AUDIO
```

Dengan demikian masalah `Missing node type` pada backend telah selesai.

Catatan ini memakai prosedur minimal untuk **TTS Bahasa Indonesia**, tanpa memasang ulang PyTorch, Torchaudio, Whisper, atau dependency lain yang tidak diperlukan oleh workflow tersebut.

[1]: https://github.com/meta-pytorch/torchcodec "GitHub - meta-pytorch/torchcodec: PyTorch media decoding and encoding · GitHub"
[2]: https://github.com/1038lab/ComfyUI-EdgeTTS "GitHub - 1038lab/ComfyUI-EdgeTTS: ComfyUI-EdgeTTS is a powerful text-to-speech node for ComfyUI, leveraging Microsoft's Edge TTS capabilities. It enables seamless conversion of text into natural-sounding speech, supporting multiple languages and voices. Ideal for enhancing user interactions, this node is easy to integrate and customize, making it perfect for various applications. · GitHub"
[3]: https://github.com/1038lab/ComfyUI-EdgeTTS/blob/main/requirements.txt "ComfyUI-EdgeTTS/requirements.txt at main · 1038lab/ComfyUI-EdgeTTS · GitHub"
[4]: https://github.com/1038lab/ComfyUI-EdgeTTS/blob/main/ailab_edgeTTS.py "ComfyUI-EdgeTTS/ailab_edgeTTS.py at main · 1038lab/ComfyUI-EdgeTTS · GitHub"
[5]: https://docs.comfy.org/built-in-nodes/SaveAudio?utm_source=chatgpt.com "SaveAudio - ComfyUI Built-in Node Documentation"
[6]: https://github.com/rany2/edge-tts/blob/master/README.md?utm_source=chatgpt.com "README.md - rany2/edge-tts"
[7]: https://docs.docker.com/get-started/docker-concepts/running-containers/persisting-container-data/?utm_source=chatgpt.com "Persisting container data | Docker Docs"

ComfyUI: Text to Speech

2026-07-23T23:43:35Z

Onnowpurbo: Created page with "Saya sudah membuat workflow **Text-to-Speech Bahasa Indonesia** paling sederhana: [Download workflow JSON ComfyUI TTS Indonesia](sandbox:/mnt/data/comfyui_tts_bahasa_indonesi..."

Saya sudah membuat workflow **Text-to-Speech Bahasa Indonesia** paling sederhana:

[Download workflow JSON ComfyUI TTS Indonesia](sandbox:/mnt/data/comfyui_tts_bahasa_indonesia_sederhana.json)

Workflow hanya menggunakan dua node:

```text
Edge TTS → Save Audio
```

Node menggunakan suara perempuan Indonesia **Gadis**, kecepatan normal, dan menyimpan hasil sebagai WAV. Custom node tersebut juga menyediakan suara laki-laki Indonesia **Ardi**, serta pengaturan kecepatan dan tinggi nada. ([GitHub][1])

## 1. Instal custom node

Pada server:

```bash
cd /opt/ai-stack
```

Jalankan:

```bash
docker compose exec -u root comfyui bash -lc '
set -e

cd /opt/ComfyUI/custom_nodes

if [ ! -d ComfyUI-EdgeTTS ]; then
git clone https://github.com/1038lab/ComfyUI-EdgeTTS.git
fi

python -m pip install --no-cache-dir \
-r ComfyUI-EdgeTTS/requirements.txt
'
```

Kemudian restart:

```bash
docker compose restart comfyui
```

Repositori resminya memang mengarahkan instalasi ke folder `custom_nodes`, dilanjutkan dengan pemasangan `requirements.txt`. ([GitHub][2])

Periksa apakah berhasil:

```bash
docker compose logs --tail=100 comfyui
```

Cari apakah node berikut berhasil dimuat:

```text
EdgeTTS
Save_Audio
```

## 2. Upload workflow

Buka:

```text
http://192.168.0.230:8188
```

Kemudian seret file berikut ke canvas ComfyUI:

```text
comfyui_tts_bahasa_indonesia_sederhana.json
```

Workflow JSON merupakan format resmi untuk menyimpan graph, node, widget, dan hubungan antar-node ComfyUI. ([ComfyUI][3])

## 3. Jalankan TTS

Pada node **Edge TTS**, ubah teks:

```text
Halo, selamat datang. Ini adalah contoh text to speech sederhana dalam Bahasa Indonesia menggunakan ComfyUI.
```

Suara default:

```text
[Indonesian] id-ID Gadis
```

Untuk suara laki-laki, pilih:

```text
[Indonesian] id-ID Ardi
```

Lalu tekan:

```text
Ctrl + Enter
```

atau klik **Queue**.

## 4. Lokasi hasil

File akan tersimpan sebagai:

```text
/opt/ComfyUI/output/TTS/indonesia-0001.wav
```

Nomor akan bertambah otomatis:

```text
indonesia-0002.wav
indonesia-0003.wav
indonesia-0004.wav
```

Node `Save_Audio` memang menyimpan keluaran di direktori output ComfyUI dan memberikan nomor urut ketika opsi overwrite dimatikan. ([GitHub][4])

**Catatan:** workflow ini menggunakan layanan Microsoft Edge TTS secara online, sehingga container ComfyUI memerlukan akses internet ketika menghasilkan suara. Tidak memerlukan API key. ([GitHub][5])

[1]: https://github.com/1038lab/ComfyUI-EdgeTTS/blob/main/ailab_edgeTTS.py "ComfyUI-EdgeTTS/ailab_edgeTTS.py at main · 1038lab/ComfyUI-EdgeTTS · GitHub"
[2]: https://github.com/1038lab/ComfyUI-EdgeTTS "GitHub - 1038lab/ComfyUI-EdgeTTS: ComfyUI-EdgeTTS is a powerful text-to-speech node for ComfyUI, leveraging Microsoft's Edge TTS capabilities. It enables seamless conversion of text into natural-sounding speech, supporting multiple languages and voices. Ideal for enhancing user interactions, this node is easy to integrate and customize, making it perfect for various applications. · GitHub"
[3]: https://docs.comfy.org/specs/workflow_json_0.4?utm_source=chatgpt.com "Workflow JSON 0.4 - ComfyUI"
[4]: https://github.com/1038lab/ComfyUI-EdgeTTS/blob/main/ailab_audio.py "ComfyUI-EdgeTTS/ailab_audio.py at main · 1038lab/ComfyUI-EdgeTTS · GitHub"
[5]: https://github.com/rany2/edge-tts?utm_source=chatgpt.com "GitHub - rany2/edge-tts: Use Microsoft Edge's online text-to-speech service from Python WITHOUT needing Microsoft Edge or Windows or an API key · GitHub"

LLM

2026-07-23T23:43:30Z

Onnowpurbo: /* ComfyUI */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]
* [[ComfyUI: Text to Speech]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker

2026-07-23T18:10:39Z

Onnowpurbo: Created page with "# Instalasi AI Stack di Ubuntu Server 26.04 Target perangkat: * Laptop Dell * NVIDIA GeForce RTX 4060 Laptop GPU 8 GB * Ubuntu Server 26.04 * Docker Engine + Docker Compose..."

# Instalasi AI Stack di Ubuntu Server 26.04

Target perangkat:

* Laptop Dell
* NVIDIA GeForce RTX 4060 Laptop GPU 8 GB
* Ubuntu Server 26.04
* Docker Engine + Docker Compose
* Ollama memakai GPU
* ComfyUI memakai GPU
* Open WebUI **tanpa GPU**
* n8n tanpa GPU
* WAHA tanpa GPU

Karena bagian “gunakan folder awal …” belum lengkap, panduan ini memakai:

```text
/opt/ai-stack
```

Docker secara resmi sudah mencantumkan Ubuntu 26.04 LTS sebagai sistem yang didukung. ([Docker Documentation][1])

---

## 1. Arsitektur akhir

```text
/opt/ai-stack/
├── .env
├── compose.yaml
├── ollama/
├── open-webui/
├── n8n/
├── waha/
│ ├── .env
│ ├── sessions/
│ └── media/
└── comfyui/
├── Dockerfile
├── models/
│ ├── checkpoints/
│ ├── vae/
│ ├── loras/
│ ├── clip/
│ ├── controlnet/
│ └── upscale_models/
├── input/
├── output/
├── custom_nodes/
└── user/
```

Port yang digunakan:

| Aplikasi | Port | Alamat |
| ---------- | ----: | ----------------------------------- |
| Open WebUI | 3000 | `http://IP-SERVER:3000` |
| n8n | 5678 | `http://IP-SERVER:5678` |
| WAHA | 3001 | `http://IP-SERVER:3001/dashboard` |
| ComfyUI | 8188 | `http://IP-SERVER:8188` |
| Ollama | 11434 | Hanya localhost dan jaringan Docker |

---

# BAGIAN A — PERSIAPAN UBUNTU

## 2. Update Ubuntu Server

Masuk melalui terminal atau SSH, kemudian jalankan:

```bash
sudo apt update
sudo apt full-upgrade -y
```

Instal paket dasar:

```bash
sudo apt install -y \
ca-certificates \
curl \
gnupg \
git \
openssl \
ubuntu-drivers-common \
ufw
```

Reboot:

```bash
sudo reboot
```

Setelah server hidup kembali, login lagi melalui SSH.

---

# BAGIAN B — DRIVER NVIDIA RTX 4060

## 3. Pastikan GPU terdeteksi

```bash
lspci | grep -i nvidia
```

Contoh hasil:

```text
NVIDIA Corporation AD107M [GeForce RTX 4060 Max-Q / Mobile]
```

Lihat driver yang tersedia:

```bash
sudo ubuntu-drivers list --gpgpu
```

Untuk server AI/headless, instal driver komputasi yang direkomendasikan otomatis:

```bash
sudo ubuntu-drivers install --gpgpu
```

Ubuntu merekomendasikan `ubuntu-drivers` karena alat ini memilih paket driver yang sesuai dan mendukung penggunaan Secure Boot melalui modul yang ditandatangani. ([Ubuntu][2])

Reboot:

```bash
sudo reboot
```

---

## 4. Periksa driver NVIDIA

Setelah login kembali:

```bash
nvidia-smi
```

Hasil yang benar kurang lebih seperti:

```text
NVIDIA-SMI ...
Driver Version: ...
CUDA Version: ...
NVIDIA GeForce RTX 4060 Laptop GPU
```

Jangan lanjut ke instalasi Docker GPU sebelum `nvidia-smi` berhasil.

Apabila muncul:

```text
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver
```

Periksa Secure Boot:

```bash
mokutil --sb-state
```

Pada beberapa laptop, Secure Boot harus dinonaktifkan melalui BIOS atau kunci MOK driver harus dikonfirmasi ketika boot.

---

# BAGIAN C — INSTALASI DOCKER

## 5. Hapus paket Docker lama yang mungkin konflik

```bash
for pkg in \
docker.io \
docker-doc \
docker-compose \
docker-compose-v2 \
podman-docker \
containerd \
runc
do
sudo apt remove -y "$pkg" 2>/dev/null || true
done
```

Docker menyarankan menghapus paket distribusi yang dapat bertabrakan dengan Docker Engine resmi. ([Docker Documentation][1])

---

## 6. Tambahkan repository resmi Docker

Buat direktori keyring:

```bash
sudo install -m 0755 -d /etc/apt/keyrings
```

Ambil kunci resmi Docker:

```bash
sudo curl -fsSL \
https://download.docker.com/linux/ubuntu/gpg \
-o /etc/apt/keyrings/docker.asc
```

Atur agar kunci dapat dibaca APT:

```bash
sudo chmod a+r /etc/apt/keyrings/docker.asc
```

Tambahkan repository Docker:

```bash
sudo tee /etc/apt/sources.list.d/docker.sources >/dev/null <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
```

Update repository:

```bash
sudo apt update
```

---

## 7. Instal Docker Engine dan Docker Compose

```bash
sudo apt install -y \
docker-ce \
docker-ce-cli \
containerd.io \
docker-buildx-plugin \
docker-compose-plugin
```

Aktifkan Docker saat boot:

```bash
sudo systemctl enable --now docker
```

Periksa status:

```bash
sudo systemctl status docker --no-pager
```

Uji Docker:

```bash
sudo docker run --rm hello-world
```

---

## 8. Izinkan user menjalankan Docker tanpa sudo

```bash
sudo usermod -aG docker "$USER"
```

Arti opsi:

* `-a` berarti menambahkan user tanpa menghapus grup yang sudah dimiliki.
* `-G docker` berarti menambahkan user ke grup Docker.

Logout dari SSH:

```bash
exit
```

Login kembali, kemudian periksa:

```bash
docker version
docker compose version
```

Uji kembali tanpa `sudo`:

```bash
docker run --rm hello-world
```

---

# BAGIAN D — NVIDIA CONTAINER TOOLKIT

## 9. Tambahkan repository NVIDIA Container Toolkit

```bash
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor \
-o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
```

Tambahkan repository:

```bash
curl -fsSL \
https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
```

Update APT:

```bash
sudo apt update
```

Instal NVIDIA Container Toolkit:

```bash
sudo apt install -y nvidia-container-toolkit
```

Konfigurasikan Docker agar mengenali NVIDIA Runtime:

```bash
sudo nvidia-ctk runtime configure --runtime=docker
```

Restart Docker:

```bash
sudo systemctl restart docker
```

Langkah tersebut mengikuti prosedur NVIDIA untuk mengaktifkan GPU di dalam container Docker. ([NVIDIA Docs][3])

---

## 10. Uji GPU dari dalam Docker

```bash
docker run --rm --gpus all ubuntu:24.04 nvidia-smi
```

Pastikan RTX 4060 muncul di hasil perintah.

Ollama juga menyarankan pengujian GPU Docker sebelum mencoba menjalankan model. Ollama membutuhkan NVIDIA Container Toolkit untuk akselerasi NVIDIA di Docker. ([Ollama][4])

---

# BAGIAN E — MEMBUAT STRUKTUR FOLDER

## 11. Buat folder utama

```bash
sudo mkdir -p /opt/ai-stack
sudo chown -R "$USER":"$USER" /opt/ai-stack
cd /opt/ai-stack
```

Buat folder data:

```bash
mkdir -p \
ollama \
open-webui \
n8n \
waha/sessions \
waha/media \
comfyui/input \
comfyui/output \
comfyui/custom_nodes \
comfyui/user
```

Buat folder model ComfyUI:

```bash
mkdir -p \
comfyui/models/checkpoints \
comfyui/models/vae \
comfyui/models/loras \
comfyui/models/clip \
comfyui/models/controlnet \
comfyui/models/upscale_models
```

Atur kepemilikan folder n8n. Container resmi n8n berjalan dengan UID `1000`:

```bash
sudo chown -R 1000:1000 /opt/ai-stack/n8n
```

Lihat struktur:

```bash
find /opt/ai-stack -maxdepth 3 -type d | sort
```

---

# BAGIAN F — KONFIGURASI RAHASIA

## 12. Cari IP server

```bash
SERVER_IP=$(ip route get 1.1.1.1 | awk '{print $7; exit}')
echo "$SERVER_IP"
```

Periksa juga dengan:

```bash
hostname -I
```

Apabila ada beberapa IP, gunakan IP LAN yang dipakai komputer lain untuk mengakses server.

---

## 13. Buat file `.env` utama

Pastikan sedang di:

```bash
cd /opt/ai-stack
```

Buat konfigurasi:

```bash
SERVER_IP=$(ip route get 1.1.1.1 | awk '{print $7; exit}')

cat > .env <<EOF
SERVER_IP=${SERVER_IP}
WEBUI_SECRET_KEY=$(openssl rand -hex 32)
N8N_ENCRYPTION_KEY=$(openssl rand -hex 32)
EOF
```

Amankan file:

```bash
chmod 600 .env
```

Periksa:

```bash
cat .env
```

Contoh:

```text
SERVER_IP=192.168.0.100
WEBUI_SECRET_KEY=...
N8N_ENCRYPTION_KEY=...
```

---

# BAGIAN G — KONFIGURASI WAHA

## 14. Generate konfigurasi WAHA

WAHA menyediakan perintah `init-waha` untuk membuat username, password dashboard, dan API key secara acak. ([GitHub][5])

Jalankan:

```bash
cd /opt/ai-stack

docker run --rm \
-v "$PWD/waha:/app/env" \
devlikeapro/waha:latest \
init-waha /app/env
```

Periksa file:

```bash
cat waha/.env
```

Biasanya terdapat variabel seperti:

```text
WAHA_API_KEY=...
WAHA_DASHBOARD_USERNAME=...
WAHA_DASHBOARD_PASSWORD=...
```

Amankan:

```bash
chmod 600 waha/.env
```

Atur alamat eksternal WAHA agar menggunakan port host `3001`:

```bash
SERVER_IP=$(grep '^SERVER_IP=' .env | cut -d= -f2)

if grep -q '^WAHA_BASE_URL=' waha/.env; then
sed -i \
"s#^WAHA_BASE_URL=.*#WAHA_BASE_URL=http://${SERVER_IP}:3001#" \
waha/.env
else
echo "WAHA_BASE_URL=http://${SERVER_IP}:3001" >> waha/.env
fi
```

Periksa:

```bash
grep -E 'WAHA_BASE_URL|WAHA_DASHBOARD_USERNAME|WAHA_API_KEY' waha/.env
```

WAHA menyimpan sesi pada `/app/.sessions` dan media pada `/app/.media`; kedua lokasi ini akan dipetakan ke folder host agar tidak hilang saat container dibuat ulang. ([GitHub][6])

---

# BAGIAN H — DOCKERFILE COMFYUI

## 15. Buat Dockerfile ComfyUI

Panduan ini membangun image dari repository resmi ComfyUI dan memasang PyTorch CUDA. Repository resmi ComfyUI berada di organisasi Comfy-Org. ([GitHub][7])

Buat file:

```bash
cd /opt/ai-stack

cat > comfyui/Dockerfile <<'EOF'
FROM nvidia/cuda:12.8.1-cudnn-runtime-ubuntu24.04

ENV DEBIAN_FRONTEND=noninteractive
ENV PIP_NO_CACHE_DIR=1
ENV PYTHONUNBUFFERED=1
ENV PATH="/opt/venv/bin:${PATH}"

RUN apt-get update && apt-get install -y --no-install-recommends \
ca-certificates \
git \
curl \
ffmpeg \
build-essential \
python3 \
python3-dev \
python3-pip \
python3-venv \
libgl1 \
libglib2.0-0 \
libsm6 \
libxext6 \
&& rm -rf /var/lib/apt/lists/*

RUN python3 -m venv /opt/venv \
&& pip install --upgrade pip setuptools wheel

WORKDIR /opt

RUN git clone --depth 1 \
https://github.com/Comfy-Org/ComfyUI.git \
/opt/ComfyUI

WORKDIR /opt/ComfyUI

RUN pip install \
torch \
torchvision \
torchaudio \
--index-url https://download.pytorch.org/whl/cu128

RUN pip install -r requirements.txt

EXPOSE 8188

CMD ["python", "main.py", \
"--listen", "0.0.0.0", \
"--port", "8188", \
"--preview-method", "auto"]
EOF
```

PyTorch menyediakan paket CUDA untuk Linux melalui indeks wheel CUDA yang sesuai. ([PyTorch Documentation][8])

---

# BAGIAN I — DOCKER COMPOSE

## 16. Buat file `compose.yaml`

```bash
cd /opt/ai-stack

cat > compose.yaml <<'EOF'
name: ai-stack

services:

ollama:
image: ollama/ollama:latest
container_name: ollama
restart: unless-stopped

ports:
- "127.0.0.1:11434:11434"

volumes:
- ./ollama:/root/.ollama

environment:
OLLAMA_HOST: "0.0.0.0:11434"

# Lepaskan model dari VRAM setelah tidak digunakan.
OLLAMA_KEEP_ALIVE: "5m"

# RTX 4060 Laptop hanya memiliki VRAM 8 GB.
OLLAMA_MAX_LOADED_MODELS: "1"
OLLAMA_NUM_PARALLEL: "1"

deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities:
- gpu

networks:
- ai-net

open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: unless-stopped

depends_on:
- ollama

ports:
- "3000:8080"

volumes:
- ./open-webui:/app/backend/data

environment:
OLLAMA_BASE_URL: "http://ollama:11434"
WEBUI_SECRET_KEY: "${WEBUI_SECRET_KEY}"
TZ: "Asia/Jakarta"

networks:
- ai-net

n8n:
image: docker.n8n.io/n8nio/n8n:latest
container_name: n8n
restart: unless-stopped

ports:
- "5678:5678"

volumes:
- ./n8n:/home/node/.n8n

environment:
N8N_HOST: "${SERVER_IP}"
N8N_PORT: "5678"
N8N_PROTOCOL: "http"

N8N_EDITOR_BASE_URL: "http://${SERVER_IP}:5678/"
WEBHOOK_URL: "http://${SERVER_IP}:5678/"

N8N_ENCRYPTION_KEY: "${N8N_ENCRYPTION_KEY}"

# Diperlukan karena akses masih menggunakan HTTP lokal.
# Ubah menjadi true setelah memakai HTTPS.
N8N_SECURE_COOKIE: "false"

N8N_ENFORCE_SETTINGS_FILE_PERMISSIONS: "true"
N8N_DIAGNOSTICS_ENABLED: "false"
N8N_PERSONALIZATION_ENABLED: "false"

GENERIC_TIMEZONE: "Asia/Jakarta"
TZ: "Asia/Jakarta"

networks:
- ai-net

waha:
image: devlikeapro/waha:latest
container_name: waha
restart: unless-stopped

ports:
- "3001:3000"

env_file:
- ./waha/.env

volumes:
- ./waha/sessions:/app/.sessions
- ./waha/media:/app/.media

networks:
- ai-net

comfyui:
build:
context: ./comfyui
dockerfile: Dockerfile

image: local/comfyui:cu128
container_name: comfyui
restart: unless-stopped

ports:
- "8188:8188"

volumes:
- ./comfyui/models:/opt/ComfyUI/models
- ./comfyui/input:/opt/ComfyUI/input
- ./comfyui/output:/opt/ComfyUI/output
- ./comfyui/custom_nodes:/opt/ComfyUI/custom_nodes
- ./comfyui/user:/opt/ComfyUI/user

shm_size: "4gb"

deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities:
- gpu

networks:
- ai-net

networks:
ai-net:
name: ai-net
EOF
```

Konfigurasi tersebut memastikan:

* Ollama memperoleh akses GPU.
* ComfyUI memperoleh akses GPU.
* Open WebUI memakai image `main`, bukan image `cuda`.
* Open WebUI tidak mendapat reservasi perangkat GPU.
* n8n dan WAHA tidak mendapat reservasi perangkat GPU.
* Semua aplikasi dapat berkomunikasi melalui jaringan `ai-net`.

Open WebUI mendokumentasikan image `main` untuk instalasi biasa dan koneksi ke Ollama menggunakan `OLLAMA_BASE_URL`; image `cuda` hanya diperlukan bila Open WebUI sendiri membutuhkan GPU. ([Open WebUI][9])

n8n merekomendasikan Docker untuk sebagian besar instalasi self-hosted karena dependensi aplikasi dapat diisolasi dari sistem operasi. ([n8n Documentation][10])

---

## 17. Validasi Docker Compose

```bash
cd /opt/ai-stack
docker compose config
```

Apabila tidak muncul pesan error, konfigurasi YAML valid.

---

# BAGIAN J — MENJALANKAN STACK

## 18. Download image aplikasi

```bash
docker compose pull
```

Perintah ini menarik image:

* Ollama
* Open WebUI
* n8n
* WAHA

ComfyUI akan dibangun secara lokal.

---

## 19. Build ComfyUI

```bash
docker compose build --pull comfyui
```

Periksa image yang dibuat:

```bash
docker images | grep comfyui
```

Hasil yang diharapkan:

```text
local/comfyui cu128
```

---

## 20. Jalankan semua aplikasi

```bash
docker compose up -d
```

Periksa container:

```bash
docker compose ps
```

Contoh:

```text
NAME STATUS
ollama Up
open-webui Up
n8n Up
waha Up
comfyui Up
```

---

## 21. Periksa log

Semua aplikasi:

```bash
docker compose logs --tail=100
```

Ollama:

```bash
docker compose logs --tail=100 ollama
```

Open WebUI:

```bash
docker compose logs --tail=100 open-webui
```

n8n:

```bash
docker compose logs --tail=100 n8n
```

WAHA:

```bash
docker compose logs --tail=100 waha
```

ComfyUI:

```bash
docker compose logs --tail=100 comfyui
```

Untuk melihat log secara langsung:

```bash
docker compose logs -f comfyui
```

Tekan `Ctrl+C` untuk keluar dari tampilan log. Container tetap berjalan.

---

# BAGIAN K — PENGUJIAN

## 22. Uji Ollama

Periksa API:

```bash
curl http://127.0.0.1:11434/api/tags
```

Periksa GPU dari container Ollama:

```bash
docker exec ollama nvidia-smi
```

Download contoh model ringan:

```bash
docker exec -it ollama ollama pull llama3.2:3b
```

Jalankan model:

```bash
docker exec -it ollama ollama run llama3.2:3b
```

Ollama mendokumentasikan penggunaan container resmi `ollama/ollama`, akses GPU NVIDIA, dan perintah `docker exec ... ollama run`. ([Ollama][11])

Keluar dari chat Ollama dengan:

```text
/bye
```

Periksa model:

```bash
docker exec ollama ollama list
```

---

## 23. Buka Open WebUI

Dari komputer lain pada jaringan yang sama:

```text
http://IP-SERVER:3000
```

Contoh:

```text
http://192.168.0.100:3000
```

Akun pertama yang dibuat akan menjadi administrator.

Open WebUI sudah diarahkan ke:

```text
http://ollama:11434
```

Jadi tidak perlu memasukkan alamat Ollama secara manual.

---

## 24. Buka n8n

```text
http://IP-SERVER:5678
```

Contoh:

```text
http://192.168.0.100:5678
```

Buat akun administrator n8n melalui halaman awal.

Dari node HTTP Request di n8n, alamat internal yang dapat digunakan:

```text
Ollama:
http://ollama:11434

WAHA:
http://waha:3000

Open WebUI:
http://open-webui:8080
```

Contoh endpoint Ollama:

```text
http://ollama:11434/api/generate
```

Contoh endpoint WAHA:

```text
http://waha:3000/api/sendText
```

---

## 25. Buka WAHA

Dashboard:

```text
http://IP-SERVER:3001/dashboard
```

Swagger/API:

```text
http://IP-SERVER:3001
```

Lihat username dan password:

```bash
grep -E \
'WAHA_DASHBOARD_USERNAME|WAHA_DASHBOARD_PASSWORD|WAHA_API_KEY' \
/opt/ai-stack/waha/.env
```

Masuk ke dashboard, buat sesi `default`, kemudian scan QR menggunakan WhatsApp pada telepon.

WAHA menggunakan QR untuk menghubungkan sesi dan menyediakan endpoint HTTP untuk mengirim pesan. ([GitHub][5])

**Catatan penting:** WAHA merupakan klien otomatisasi tidak resmi. Dokumentasi WAHA sendiri menjelaskan bahwa WhatsApp tidak mengizinkan bot atau klien tidak resmi sehingga penggunaannya tidak sepenuhnya aman dari pemblokiran akun. Gunakan nomor pengujian atau nomor nonkritis dan jangan melakukan spam. ([WAHA][12])

---

## 26. Buka ComfyUI

```text
http://IP-SERVER:8188
```

Contoh:

```text
http://192.168.0.100:8188
```

Periksa apakah PyTorch mendeteksi GPU:

```bash
docker exec comfyui python -c \
'import torch; print("CUDA:", torch.cuda.is_available()); print("GPU:", torch.cuda.get_device_name(0) if torch.cuda.is_available() else "Tidak terdeteksi")'
```

Hasil yang benar:

```text
CUDA: True
GPU: NVIDIA GeForce RTX 4060 Laptop GPU
```

---

# BAGIAN L — MEMASUKKAN MODEL COMFYUI

## 27. Copy checkpoint Stable Diffusion

Misalnya model berada pada:

```text
~/Downloads/DreamShaper_8_pruned.safetensors
```

Copy:

```bash
cp \
~/Downloads/DreamShaper_8_pruned.safetensors \
/opt/ai-stack/comfyui/models/checkpoints/
```

Periksa:

```bash
ls -lh /opt/ai-stack/comfyui/models/checkpoints/
```

Restart ComfyUI:

```bash
cd /opt/ai-stack
docker compose restart comfyui
```

Lokasi umum model:

| Jenis | Folder |
| ---------- | -------------------------------- |
| Checkpoint | `comfyui/models/checkpoints/` |
| LoRA | `comfyui/models/loras/` |
| VAE | `comfyui/models/vae/` |
| CLIP | `comfyui/models/clip/` |
| ControlNet | `comfyui/models/controlnet/` |
| Upscaler | `comfyui/models/upscale_models/` |

---

# BAGIAN M — PENGELOLAAN GPU 8 GB

## 28. Hindari Ollama dan ComfyUI memakai VRAM berat bersamaan

RTX 4060 memiliki VRAM 8 GB. Ollama dan ComfyUI boleh hidup bersamaan, tetapi model baru memakai banyak VRAM ketika sedang dimuat.

Konfigurasi berikut sudah membantu Ollama melepaskan model setelah lima menit:

```yaml
OLLAMA_KEEP_ALIVE: "5m"
OLLAMA_MAX_LOADED_MODELS: "1"
OLLAMA_NUM_PARALLEL: "1"
```

Periksa pemakaian GPU:

```bash
watch -n 1 nvidia-smi
```

Keluar dengan:

```text
Ctrl+C
```

Apabila ComfyUI mengalami `CUDA out of memory`, hentikan Ollama sementara:

```bash
cd /opt/ai-stack
docker compose stop ollama
```

Jalankan kembali setelah selesai memakai ComfyUI:

```bash
docker compose start ollama
```

Sebaliknya, untuk memberikan GPU sepenuhnya kepada Ollama:

```bash
docker compose stop comfyui
```

Jalankan kembali ComfyUI:

```bash
docker compose start comfyui
```

---

# BAGIAN N — FIREWALL

## 29. Batasi akses hanya dari jaringan lokal

Contoh jaringan lokal:

```text
192.168.0.0/24
```

Izinkan SSH terlebih dahulu:

```bash
sudo ufw allow OpenSSH
```

Izinkan Open WebUI:

```bash
sudo ufw allow from 192.168.0.0/24 to any port 3000 proto tcp
```

Izinkan n8n:

```bash
sudo ufw allow from 192.168.0.0/24 to any port 5678 proto tcp
```

Izinkan WAHA:

```bash
sudo ufw allow from 192.168.0.0/24 to any port 3001 proto tcp
```

Izinkan ComfyUI:

```bash
sudo ufw allow from 192.168.0.0/24 to any port 8188 proto tcp
```

Aktifkan firewall:

```bash
sudo ufw enable
```

Periksa:

```bash
sudo ufw status numbered
```

Port Ollama tidak perlu dibuka karena dipetakan hanya ke:

```text
127.0.0.1:11434
```

Open WebUI dan n8n tetap dapat mengakses Ollama melalui jaringan internal Docker.

---

# BAGIAN O — PERINTAH OPERASIONAL

## 30. Start semua aplikasi

```bash
cd /opt/ai-stack
docker compose up -d
```

## 31. Stop semua aplikasi

```bash
cd /opt/ai-stack
docker compose stop
```

## 32. Start kembali

```bash
docker compose start
```

## 33. Restart semua aplikasi

```bash
docker compose restart
```

## 34. Hapus container tanpa menghapus data

```bash
docker compose down
```

Folder data tetap berada di `/opt/ai-stack`.

Jalankan kembali:

```bash
docker compose up -d
```

## 35. Periksa status

```bash
docker compose ps
```

## 36. Periksa penggunaan resource

```bash
docker stats
```

---

# BAGIAN P — UPDATE

## 37. Update Ollama, Open WebUI, n8n, dan WAHA

```bash
cd /opt/ai-stack

docker compose pull
docker compose up -d
```

Open WebUI menyarankan memakai tag versi tertentu untuk lingkungan produksi daripada selalu memakai tag bergerak seperti `main`. Setelah sistem stabil, image sebaiknya dipasangi nomor versi agar update tidak mendadak mengubah perilaku aplikasi. ([Open WebUI][9])

---

## 38. Update ComfyUI

Karena source ComfyUI diambil saat proses build:

```bash
cd /opt/ai-stack

docker compose build \
--pull \
--no-cache \
comfyui

docker compose up -d comfyui
```

Periksa:

```bash
docker compose logs --tail=100 comfyui
```

---

# BAGIAN Q — TROUBLESHOOTING

## 39. Docker tidak mendeteksi GPU

Pesan:

```text
could not select device driver "nvidia"
```

Jalankan:

```bash
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
```

Uji:

```bash
docker run --rm --gpus all ubuntu:24.04 nvidia-smi
```

---

## 40. n8n mengalami `permission denied`

```bash
sudo chown -R 1000:1000 /opt/ai-stack/n8n
docker compose restart n8n
```

---

## 41. Open WebUI tidak menemukan Ollama

Periksa Ollama:

```bash
docker compose ps ollama
docker compose logs --tail=100 ollama
```

Uji melalui jaringan Docker:

```bash
docker run --rm \
--network ai-net \
curlimages/curl:latest \
http://ollama:11434/api/tags
```

Periksa konfigurasi Open WebUI:

```bash
docker inspect open-webui \
--format '{{range .Config.Env}}{{println .}}{{end}}' \
| grep OLLAMA
```

Hasil yang benar:

```text
OLLAMA_BASE_URL=http://ollama:11434
```

---

## 42. ComfyUI kehabisan VRAM

Periksa:

```bash
nvidia-smi
```

Hentikan Ollama sementara:

```bash
docker compose stop ollama
docker compose restart comfyui
```

Gunakan model lebih ringan atau kurangi resolusi gambar.

---

## 43. WAHA kehilangan sesi setelah restart

Periksa pemetaan volume:

```bash
docker inspect waha \
--format '{{json .Mounts}}' \
| python3 -m json.tool
```

Pastikan terdapat:

```text
/opt/ai-stack/waha/sessions -> /app/.sessions
/opt/ai-stack/waha/media -> /app/.media
```

Periksa folder:

```bash
ls -lah /opt/ai-stack/waha/sessions
ls -lah /opt/ai-stack/waha/media
```

---

# Checklist akhir

```bash
cd /opt/ai-stack

nvidia-smi
docker version
docker compose version
docker compose ps
curl http://127.0.0.1:11434/api/tags
docker exec comfyui python -c 'import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))'
```

Hasil akhir yang diharapkan:

```text
Ollama : GPU RTX 4060
ComfyUI : GPU RTX 4060
Open WebUI : CPU, terhubung ke Ollama
n8n : CPU
WAHA : CPU
Data : tersimpan di /opt/ai-stack
Timezone : Asia/Jakarta
```

[1]: https://docs.docker.com/engine/install/ubuntu/ "Install Docker Engine on Ubuntu | Docker Docs"
[2]: https://ubuntu.com/server/docs/how-to/graphics/install-nvidia-drivers/ "NVIDIA drivers installation - Ubuntu Server documentation"
[3]: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html "Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit"
[4]: https://docs.ollama.com/troubleshooting?utm_source=chatgpt.com "Troubleshooting - Ollama"
[5]: https://github.com/devlikeapro/waha-docs/blob/main/content//docs/overview/quick-start/index.md "waha-docs/content/docs/overview/quick-start/index.md at main · devlikeapro/waha-docs · GitHub"
[6]: https://github.com/devlikeapro/waha/blob/core/docker-compose.yaml "waha/docker-compose.yaml at core · devlikeapro/waha · GitHub"
[7]: https://github.com/comfyanonymous "comfyanonymous (comfyanonymous) · GitHub"
[8]: https://docs.pytorch.org/get-started/locally/?utm_source=chatgpt.com "Start Locally | PyTorch"
[9]: https://docs.openwebui.com/getting-started/quick-start/ "Quick Start / Open WebUI"
[10]: https://docs.n8n.io/deploy/host-n8n/install-options/install-with-docker?utm_source=chatgpt.com "Install with Docker | Deploy"
[11]: https://docs.ollama.com/docker?utm_source=chatgpt.com "Docker - Ollama"
[12]: https://waha.devlike.pro/docs/overview/introduction/?utm_source=chatgpt.com "📖 Introduction | WAHA"

LLM

2026-07-23T18:10:23Z

Onnowpurbo: /* Pranala Menarik */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + ComfyUI docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

ComfyUI: Instalasi via docker compose

2026-07-21T11:39:13Z

Onnowpurbo:

Berikut rangkuman final yang sesuai dengan instalasi yang baru dilakukan.

# Instalasi ComfyUI GPU dengan Docker Compose di Ubuntu 24.04

Panduan ini mendokumentasikan instalasi ComfyUI pada server Ubuntu 24.04 dengan alamat IP `192.168.0.230`. ComfyUI ditambahkan ke dalam Docker Compose yang sebelumnya sudah menjalankan Ollama, Open-WebUI, n8n, dan WAHA.

Server menggunakan GPU NVIDIA GeForce RTX 4060 Laptop GPU dengan VRAM sekitar 8 GB.

---

## 1. Lokasi instalasi

Seluruh stack berada di:

```bash
/opt/ai-stack
```

File utama Docker Compose:

```bash
/opt/ai-stack/compose.yaml
```

Direktori ComfyUI:

```bash
/opt/ai-stack/comfyui
```

---

## 2. Memastikan GPU NVIDIA tersedia

Periksa GPU pada host:

```bash
nvidia-smi
```

Kemudian periksa apakah Docker dapat mengakses GPU:

```bash
docker run --rm --gpus all \
nvidia/cuda:12.9.0-base-ubuntu22.04 \
nvidia-smi
```

Pengujian berhasil apabila container menampilkan GPU NVIDIA, driver, CUDA, dan kapasitas VRAM.

Pada instalasi ini, Docker berhasil mendeteksi:

```text
NVIDIA GeForce RTX 4060 Laptop GPU
VRAM sekitar 8188 MiB
NVIDIA Driver 595.71.05
```

Artinya NVIDIA Container Toolkit dan integrasi GPU Docker sudah berjalan dengan benar.

---

## 3. Membuat direktori ComfyUI

Masuk ke direktori stack:

```bash
cd /opt/ai-stack
```

Buat direktori utama dan direktori data ComfyUI:

```bash
mkdir -p comfyui/data/{models,input,output,custom_nodes,user,cache}
```

Buat subdirektori model:

```bash
mkdir -p comfyui/data/models/{checkpoints,vae,loras,controlnet,clip,clip_vision,diffusion_models,text_encoders,unet,upscale_models,embeddings}
```

Struktur akhirnya:

```text
/opt/ai-stack/
├── compose.yaml
└── comfyui/
├── Dockerfile
├── .dockerignore
└── data/
├── models/
│ ├── checkpoints/
│ ├── vae/
│ ├── loras/
│ ├── controlnet/
│ ├── clip/
│ ├── clip_vision/
│ ├── diffusion_models/
│ ├── text_encoders/
│ ├── unet/
│ ├── upscale_models/
│ └── embeddings/
├── input/
├── output/
├── custom_nodes/
├── user/
└── cache/
```

---

## 4. Membuat Dockerfile ComfyUI

Buat file:

```bash
cat > /opt/ai-stack/comfyui/Dockerfile <<'EOF'
FROM python:3.12-slim-bookworm

ENV DEBIAN_FRONTEND=noninteractive
ENV PYTHONUNBUFFERED=1
ENV PIP_NO_CACHE_DIR=1

RUN apt-get update && apt-get install -y --no-install-recommends \
git \
ca-certificates \
curl \
ffmpeg \
build-essential \
libgl1 \
libglib2.0-0 \
libgomp1 \
&& rm -rf /var/lib/apt/lists/*

WORKDIR /opt

RUN git clone --depth 1 \
https://github.com/Comfy-Org/ComfyUI.git \
/opt/ComfyUI

WORKDIR /opt/ComfyUI

RUN python -m pip install --upgrade pip setuptools wheel

RUN python -m pip install \
torch==2.11.0 \
torchvision==0.26.0 \
torchaudio==2.11.0 \
--index-url https://download.pytorch.org/whl/cu128

RUN python -m pip install -r requirements.txt \
&& python -m pip install -r manager_requirements.txt

EXPOSE 8188

CMD ["python", "main.py", \
"--listen", "0.0.0.0", \
"--port", "8188", \
"--enable-manager", \
"--preview-method", "auto"]
EOF
```

Periksa bahwa file sudah dibuat:

```bash
ls -lah /opt/ai-stack/comfyui/Dockerfile
```

Hasil instalasi ini menunjukkan:

```text
-rw-r--r-- 1 root root 1001 Jul 21 10:58 comfyui/Dockerfile
```

---

## 5. Membuat `.dockerignore`

File ini mencegah direktori model dan hasil gambar ikut dimasukkan ke Docker build context.

```bash
cat > /opt/ai-stack/comfyui/.dockerignore <<'EOF'
data/
.git/
__pycache__/
*.pyc
*.pyo
EOF
```

---

## 6. Menambahkan ComfyUI ke Docker Compose

Tambahkan service berikut ke dalam `/opt/ai-stack/compose.yaml`.

Letakkan bagian ini setelah service WAHA dan sebelum bagian global `volumes:`.

```yaml
################################
# 5. COMFYUI (GPU)
################################
comfyui:
build:
context: ./comfyui
dockerfile: Dockerfile

image: local/comfyui:cu128
container_name: comfyui
restart: unless-stopped

ports:
- "8188:8188"

environment:
- TZ=Asia/Jakarta
- NVIDIA_VISIBLE_DEVICES=all
- NVIDIA_DRIVER_CAPABILITIES=compute,utility

volumes:
- ./comfyui/data/models:/opt/ComfyUI/models
- ./comfyui/data/input:/opt/ComfyUI/input
- ./comfyui/data/output:/opt/ComfyUI/output
- ./comfyui/data/custom_nodes:/opt/ComfyUI/custom_nodes
- ./comfyui/data/user:/opt/ComfyUI/user
- ./comfyui/data/cache:/root/.cache

shm_size: "8gb"

deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities:
- gpu
```

Bagian volume utama tetap:

```yaml
volumes:
ollama_data:
openwebui_data:
n8n_data:
```

ComfyUI tidak membutuhkan named volume tambahan karena semua datanya menggunakan bind mount di:

```text
/opt/ai-stack/comfyui/data
```

---

## 7. Memvalidasi Docker Compose

Masuk ke direktori stack:

```bash
cd /opt/ai-stack
```

Validasi konfigurasi:

```bash
docker compose config
```

Pastikan Compose mendeteksi seluruh service:

```bash
docker compose config --services
```

Hasilnya harus mencakup:

```text
ollama
open-webui
n8n
waha
comfyui
```

Pada instalasi ini, konfigurasi ComfyUI terbaca sebagai:

```text
build context: /opt/ai-stack/comfyui
dockerfile: Dockerfile
image: local/comfyui:cu128
port: 8188
GPU driver: nvidia
GPU count: all
```

---

## 8. Kesalahan `docker compose pull`

Ketika menjalankan:

```bash
docker compose pull
```

muncul pesan:

```text
pull access denied for local/comfyui
repository does not exist or may require docker login
```

Hal ini terjadi karena:

```yaml
image: local/comfyui:cu128
```

merupakan image lokal yang harus dibangun dari Dockerfile, bukan diunduh dari Docker Hub.

Tidak perlu melakukan `docker login`.

Untuk service ComfyUI, gunakan:

```bash
docker compose build comfyui
```

Untuk memperbarui image service lain tanpa mencoba menarik image ComfyUI:

```bash
docker compose pull --ignore-buildable
```

---

## 9. Membangun image ComfyUI

Jalankan:

```bash
cd /opt/ai-stack
docker compose build comfyui
```

Docker akan melakukan beberapa hal:

* Mengunduh base image Python 3.12.
* Menginstal Git, FFmpeg, library OpenGL, dan compiler.
* Mengambil source code ComfyUI.
* Menginstal PyTorch dengan CUDA 12.8.
* Menginstal seluruh requirement ComfyUI.
* Menginstal ComfyUI-Manager.
* Memberikan nama image `local/comfyui:cu128`.

Periksa image setelah build:

```bash
docker image ls local/comfyui
```

---

## 10. Menjalankan ComfyUI

Jalankan hanya service ComfyUI:

```bash
docker compose up -d --no-deps comfyui
```

Opsi `--no-deps` mencegah Docker Compose menjalankan ulang atau mengubah service lain.

Periksa status:

```bash
docker compose ps comfyui
```

Periksa log:

```bash
docker compose logs -f --tail=100 comfyui
```

Instalasi berhasil ketika muncul:

```text
[INFO] Starting server

[INFO] To see the GUI go to: http://0.0.0.0:8188
```

Pada instalasi ini ComfyUI berhasil menjalankan:

```text
ComfyUI version: 0.28.0
comfyui-frontend-package version: 1.45.21
ComfyUI-Manager
```

---

## 11. Peringatan yang aman diabaikan

Log menampilkan:

```text
The matrix sharing feature has been disabled because the matrix-nio dependency is not installed.
```

Ini bukan error. Fitur berbagi melalui Matrix tidak diperlukan untuk penggunaan normal ComfyUI.

Log juga menampilkan:

```text
No OpenGL_accelerate module loaded
```

Ini juga bukan error fatal. ComfyUI tetap dapat berjalan menggunakan CUDA dan antarmuka web.

Tidak perlu memasang kedua modul tersebut apabila ComfyUI sudah berjalan normal.

---

## 12. Mengakses ComfyUI

Buka browser dari komputer yang berada dalam jaringan yang sama:

```text
http://192.168.0.230:8188
```

Port `8188` diarahkan dari host ke container:

```yaml
ports:
- "8188:8188"
```

---

## 13. Memastikan ComfyUI menggunakan GPU

Jalankan:

```bash
docker exec comfyui python -c '
import torch

print("PyTorch :", torch.__version__)
print("CUDA runtime :", torch.version.cuda)
print("CUDA tersedia :", torch.cuda.is_available())

if torch.cuda.is_available():
print("GPU :", torch.cuda.get_device_name(0))
print(
"VRAM :",
round(torch.cuda.get_device_properties(0).total_memory / 1024**3, 2),
"GB"
)
'
```

Hasil yang diharapkan:

```text
CUDA tersedia : True
GPU : NVIDIA GeForce RTX 4060 Laptop GPU
VRAM : sekitar 8 GB
```

---

## 14. Menyalin model DreamShaper ke server

Model berada pada laptop `i3` di:

```text
/home/onno/Downloads/LIBRARY/DreamShaper_8_pruned.safetensors
```

Tujuan model di server:

```text
/opt/ai-stack/comfyui/data/models/checkpoints/
```

Dari laptop `i3`, jalankan:

```bash
cd ~/Downloads/LIBRARY
```

Kemudian salin menggunakan SCP:

```bash
scp DreamShaper_8_pruned.safetensors \
onno@192.168.0.230:/opt/ai-stack/comfyui/data/models/checkpoints/
```

Masukkan password user `onno` pada server.

Periksa file dari server:

```bash
ssh onno@192.168.0.230
```

```bash
ls -lh /opt/ai-stack/comfyui/data/models/checkpoints/
```

File yang harus terlihat:

```text
DreamShaper_8_pruned.safetensors
```

---

## 15. Jika terjadi `Permission denied` saat SCP

Salin dahulu ke home user:

```bash
scp DreamShaper_8_pruned.safetensors \
onno@192.168.0.230:/home/onno/
```

Masuk ke server:

```bash
ssh onno@192.168.0.230
```

Pindahkan menggunakan `sudo`:

```bash
sudo mv ~/DreamShaper_8_pruned.safetensors \
/opt/ai-stack/comfyui/data/models/checkpoints/
```

Atur kepemilikan:

```bash
sudo chown onno:onno \
/opt/ai-stack/comfyui/data/models/checkpoints/DreamShaper_8_pruned.safetensors
```

---

## 16. Mengatur kepemilikan direktori ComfyUI

Karena beberapa file dibuat sebagai `root`, ubah kepemilikannya agar user `onno` dapat mengelola model, input, dan output:

```bash
sudo chown -R onno:onno /opt/ai-stack/comfyui
```

Periksa:

```bash
ls -ld /opt/ai-stack/comfyui
ls -ld /opt/ai-stack/comfyui/data/models/checkpoints
```

---

## 17. Memuat model yang baru disalin

Setelah model selesai disalin, restart ComfyUI:

```bash
cd /opt/ai-stack
docker compose restart comfyui
```

Pantau log:

```bash
docker compose logs -f --tail=100 comfyui
```

Kemudian muat ulang halaman browser:

```text
http://192.168.0.230:8188
```

Pada node `Load Checkpoint`, pilih:

```text
DreamShaper_8_pruned.safetensors
```

DreamShaper 8 merupakan checkpoint berbasis Stable Diffusion 1.5, sehingga relatif sesuai untuk GPU dengan VRAM 8 GB.

---

## 18. Perintah operasional sehari-hari

Menjalankan ComfyUI:

```bash
cd /opt/ai-stack
docker compose start comfyui
```

Menghentikan ComfyUI:

```bash
docker compose stop comfyui
```

Restart:

```bash
docker compose restart comfyui
```

Melihat status:

```bash
docker compose ps comfyui
```

Melihat log:

```bash
docker compose logs -f --tail=100 comfyui
```

Membangun ulang setelah Dockerfile berubah:

```bash
docker compose build comfyui
docker compose up -d --no-deps comfyui
```

Membangun ulang tanpa menggunakan build cache:

```bash
docker compose build --no-cache comfyui
docker compose up -d --no-deps comfyui
```

---

## 19. Penggunaan bersama Ollama

Ollama dan ComfyUI menggunakan GPU yang sama.

RTX 4060 memiliki VRAM sekitar 8 GB. Jika model Ollama masih berada dalam VRAM, ComfyUI dapat kehabisan memori dan menampilkan:

```text
CUDA out of memory
```

Sebelum menghasilkan gambar besar, Ollama dapat dihentikan sementara:

```bash
cd /opt/ai-stack
docker compose stop ollama
```

Restart ComfyUI:

```bash
docker compose restart comfyui
```

Setelah selesai menggunakan ComfyUI, jalankan kembali Ollama:

```bash
docker compose start ollama
```

---

## 20. Lokasi file penting

Dockerfile:

```text
/opt/ai-stack/comfyui/Dockerfile
```

Docker Compose:

```text
/opt/ai-stack/compose.yaml
```

Checkpoint:

```text
/opt/ai-stack/comfyui/data/models/checkpoints/
```

LoRA:

```text
/opt/ai-stack/comfyui/data/models/loras/
```

VAE:

```text
/opt/ai-stack/comfyui/data/models/vae/
```

Input gambar:

```text
/opt/ai-stack/comfyui/data/input/
```

Hasil gambar:

```text
/opt/ai-stack/comfyui/data/output/
```

Custom node:

```text
/opt/ai-stack/comfyui/data/custom_nodes/
```

Cache model:

```text
/opt/ai-stack/comfyui/data/cache/
```

---

## 21. Status akhir instalasi

ComfyUI telah berhasil:

* Dibangun menggunakan Dockerfile lokal.
* Ditambahkan sebagai service kelima di Docker Compose.
* Mengakses GPU NVIDIA melalui NVIDIA Container Toolkit.
* Menjalankan PyTorch dengan dukungan CUDA.
* Menjalankan ComfyUI-Manager.
* Membuka antarmuka web pada port `8188`.
* Menyimpan model, input, output, dan custom node secara persisten di host.
* Siap menggunakan checkpoint `DreamShaper_8_pruned.safetensors`.

Alamat akses akhir:

```text
http://192.168.0.230:8188
```

Panduan ini dapat langsung disimpan sebagai `/opt/ai-stack/README-ComfyUI.md`.

ComfyUI: Instalasi via docker compose

2026-07-21T09:17:44Z

Onnowpurbo: Created page with "## Menambahkan ComfyUI ke Docker Compose yang sudah ada Cara yang relatif aman adalah **membangun image ComfyUI sendiri dari repositori resmi**, bukan memakai image komunitas..."

## Menambahkan ComfyUI ke Docker Compose yang sudah ada

Cara yang relatif aman adalah **membangun image ComfyUI sendiri dari repositori resmi**, bukan memakai image komunitas yang isinya tidak selalu jelas. Instalasi resmi ComfyUI menggunakan repositori `Comfy-Org/ComfyUI`, memasang PyTorch dan `requirements.txt`, lalu menjalankan `main.py`. ComfyUI-Manager sekarang diaktifkan melalui `manager_requirements.txt` dan parameter `--enable-manager`. ([GitHub][1])

Struktur akhirnya:

```text
local-ai/
├── compose.yaml
└── comfyui/
├── Dockerfile
├── .dockerignore
└── data/
├── models/
├── input/
├── output/
├── custom_nodes/
├── user/
└── cache/
```

### 1. Pastikan GPU NVIDIA dapat digunakan Docker

Periksa driver:

```bash
nvidia-smi
```

Periksa NVIDIA Container Toolkit:

```bash
dpkg -l | grep nvidia-container-toolkit
```

Jika belum terpasang:

```bash
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor \
-o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
```

```bash
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
```

```bash
sudo apt update
sudo apt install -y nvidia-container-toolkit
```

Konfigurasikan runtime NVIDIA:

```bash
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
```

Itu adalah prosedur resmi NVIDIA untuk Debian dan Ubuntu. ([NVIDIA Docs][2])

Tes akses GPU dari container:

```bash
docker run --rm --gpus all \
nvidia/cuda:12.9.0-base-ubuntu22.04 \
nvidia-smi
```

Walaupun host memakai Ubuntu 24.04, container boleh menggunakan basis Ubuntu 22.04.

---

## 2. Buat direktori ComfyUI

Masuk ke direktori tempat `compose.yaml` berada:

```bash
cd ~/Apps/LocalAI
```

Sesuaikan apabila lokasi compose berbeda.

Buat struktur folder:

```bash
mkdir -p comfyui/data/{input,output,custom_nodes,user,cache}
```

```bash
mkdir -p comfyui/data/models/{checkpoints,vae,loras,controlnet,clip,clip_vision,diffusion_models,text_encoders,unet,upscale_models,embeddings}
```

Periksa:

```bash
find comfyui -maxdepth 3 -type d
```

---

## 3. Buat Dockerfile ComfyUI

Buat file:

```bash
nano comfyui/Dockerfile
```

Isi:

```dockerfile
FROM python:3.12-slim-bookworm

ENV DEBIAN_FRONTEND=noninteractive \
PYTHONUNBUFFERED=1 \
PIP_NO_CACHE_DIR=1

# Paket sistem yang diperlukan ComfyUI dan berbagai custom node.
RUN apt-get update && apt-get install -y --no-install-recommends \
git \
ca-certificates \
curl \
ffmpeg \
build-essential \
libgl1 \
libglib2.0-0 \
libgomp1 \
&& rm -rf /var/lib/apt/lists/*

WORKDIR /opt

# Mengambil ComfyUI dari repositori resmi.
RUN git clone --depth 1 https://github.com/Comfy-Org/ComfyUI.git

WORKDIR /opt/ComfyUI

# Memasang PyTorch dengan dukungan NVIDIA CUDA 12.8.
RUN python -m pip install --upgrade pip setuptools wheel \
&& python -m pip install \
torch torchvision torchaudio \
--index-url https://download.pytorch.org/whl/cu128 \
&& python -m pip install -r requirements.txt \
&& python -m pip install -r manager_requirements.txt

EXPOSE 8188

CMD ["python", "main.py", \
"--listen", "0.0.0.0", \
"--port", "8188", \
"--enable-manager", \
"--preview-method", "auto"]
```

CUDA 12.8 dipilih karena cocok untuk keluarga GPU NVIDIA modern seperti Turing, Ampere, dan Blackwell, termasuk RTX 20, RTX 30, RTX 40, dan RTX 50. PyTorch masih menyediakan wheel CUDA 12.8 secara terpisah. ([GitHub][3])

---

## 4. Buat `.dockerignore`

Ini penting agar file model yang ukurannya puluhan gigabyte tidak ikut dikirim sebagai Docker build context.

```bash
nano comfyui/.dockerignore
```

Isi:

```text
data/
__pycache__/
*.pyc
*.pyo
.git/
```

---

## 5. Tambahkan service ComfyUI ke `compose.yaml`

Tambahkan bagian berikut **setelah service `waha` tetapi sebelum bagian paling bawah `volumes:`**:

```yaml
################################
# 5. COMFYUI (Image Generation)
################################
comfyui:
build:
context: ./comfyui
dockerfile: Dockerfile
image: local/comfyui:cu128
container_name: comfyui
restart: unless-stopped

ports:
- "192.168.0.230:8188:8188"

environment:
- TZ=Asia/Jakarta
- NVIDIA_VISIBLE_DEVICES=all
- NVIDIA_DRIVER_CAPABILITIES=compute,utility

volumes:
- ./comfyui/data/models:/opt/ComfyUI/models
- ./comfyui/data/input:/opt/ComfyUI/input
- ./comfyui/data/output:/opt/ComfyUI/output
- ./comfyui/data/custom_nodes:/opt/ComfyUI/custom_nodes
- ./comfyui/data/user:/opt/ComfyUI/user
- ./comfyui/data/cache:/root/.cache

shm_size: "8gb"

deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: ["gpu"]
```

Bagian akhir compose tetap seperti sebelumnya:

```yaml
volumes:
ollama_data:
openwebui_data:
n8n_data:
```

Tidak perlu menambahkan `comfyui_data` karena ComfyUI menggunakan bind mount ke direktori `./comfyui/data`.

Docker Compose memang mendukung reservasi GPU melalui `deploy.resources.reservations.devices`, dan `capabilities: ["gpu"]` wajib dicantumkan. ([Docker Documentation][4])

### Tentang pengaturan port

Baris ini:

```yaml
ports:
- "192.168.0.230:8188:8188"
```

berarti ComfyUI hanya mendengarkan melalui alamat LAN server `192.168.0.230`.

Apabila alamat server berbeda, ubah IP tersebut. Untuk membuka melalui seluruh interface, gunakan:

```yaml
ports:
- "8188:8188"
```

Namun ComfyUI sebaiknya tidak langsung dibuka ke internet, terutama ketika Manager aktif karena Manager dapat memasang dan menjalankan kode dari custom node.

---

## 6. Validasi YAML

Jalankan:

```bash
docker compose config
```

Jika tidak ada pesan kesalahan, build hanya service ComfyUI:

```bash
docker compose build comfyui
```

Kemudian jalankan:

```bash
docker compose up -d comfyui
```

Keterangan:

* `up` membuat dan menjalankan container.
* `-d` menjalankan container di belakang layar.
* `comfyui` berarti hanya service ComfyUI yang dijalankan.

Periksa status:

```bash
docker compose ps
```

Seharusnya terdapat:

```text
comfyui running 192.168.0.230:8188->8188/tcp
```

---

## 7. Periksa log ComfyUI

```bash
docker compose logs -f --tail=100 comfyui
```

Cari informasi seperti:

```text
Device: cuda:0
Using pytorch attention
Starting server
To see the GUI go to: http://0.0.0.0:8188
```

Tekan `Ctrl+C` untuk keluar dari tampilan log. Container tetap berjalan.

---

## 8. Verifikasi PyTorch dan GPU

Jalankan:

```bash
docker exec comfyui python -c \
'import torch; print("CUDA tersedia:", torch.cuda.is_available()); print("PyTorch:", torch.__version__); print("CUDA:", torch.version.cuda); print("GPU:", torch.cuda.get_device_name(0) if torch.cuda.is_available() else "Tidak ada")'
```

Hasil yang diharapkan:

```text
CUDA tersedia: True
PyTorch: 2.x.x
CUDA: 12.8
GPU: NVIDIA GeForce RTX ...
```

---

## 9. Buka ComfyUI

Dari komputer dalam jaringan yang sama:

```text
http://192.168.0.230:8188
```

ComfyUI tidak menyertakan checkpoint model secara otomatis. Tempatkan file model `*.safetensors` di:

```text
comfyui/data/models/checkpoints/
```

VAE ditempatkan di:

```text
comfyui/data/models/vae/
```

LoRA ditempatkan di:

```text
comfyui/data/models/loras/
```

Lokasi checkpoint dan VAE tersebut sesuai struktur model resmi ComfyUI. ([GitHub][1])

Setelah memasukkan model, restart:

```bash
docker compose restart comfyui
```

---

## 10. Perintah operasional

Menghentikan ComfyUI saja:

```bash
docker compose stop comfyui
```

Menjalankannya kembali:

```bash
docker compose start comfyui
```

Restart:

```bash
docker compose restart comfyui
```

Menghapus container tanpa menghapus model dan hasil gambar:

```bash
docker compose rm -sf comfyui
```

Membangun ulang ComfyUI versi terbaru:

```bash
docker compose build --no-cache comfyui
docker compose up -d comfyui
```

`--no-cache` memaksa Docker mengambil ulang kode dan memasang ulang dependency, bukan menggunakan layer build lama.

---

## Jika VRAM tidak cukup

Ollama dan ComfyUI memakai GPU NVIDIA yang sama. Ketika model Ollama masih berada di VRAM, ComfyUI dapat mengalami:

```text
CUDA out of memory
```

Untuk pengujian, hentikan Ollama sementara:

```bash
docker compose stop ollama
```

Jalankan ComfyUI:

```bash
docker compose restart comfyui
```

Setelah selesai membuat gambar:

```bash
docker compose start ollama
```

Terakhir, sebaiknya pindahkan `WHATSAPP_API_KEY`, password dashboard WAHA, dan password Swagger dari YAML ke file `.env`, serta ganti nilai password yang saat ini masih sederhana sebelum server dapat diakses pengguna lain.

[1]: https://github.com/comfy-org/ComfyUI "GitHub - Comfy-Org/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. · GitHub"
[2]: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.17.7/install-guide.html "Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit"
[3]: https://github.com/pytorch/pytorch/releases?utm_source=chatgpt.com "Releases · pytorch/pytorch"
[4]: https://docs.docker.com/compose/how-tos/gpu-support/ "Run Docker Compose services with GPU access | Docker Docs"

LLM

2026-07-21T09:13:23Z

Onnowpurbo: /* ComfyUI */

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami.

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren.

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

[[File:LLM-1.png|center|200px|thumb]]

Cara kerja LLM (Large Language Model) bisa dijelaskan secara sederhana melalui gambar “Basic LLM Prompt Cycle” di atas.

==1. Pengguna memberikan '''prompt'''==

Siklus dimulai ketika pengguna (User) mengajukan sebuah pertanyaan atau instruksi, yang disebut sebagai '''prompt'''. Prompt ini bisa berupa kalimat, paragraf, atau bahkan percakapan yang kompleks. Pada gambar, ini ditunjukkan oleh panah dari '''User''' menuju kotak '''Prompt'''.

==2. Prompt masuk ke dalam '''Context Window'''==

LLM memiliki yang namanya '''Context Window''', yaitu tempat di mana model mengingat semua informasi yang relevan untuk memahami apa yang sedang dibahas. Prompt dari pengguna akan masuk ke dalam '''context window''' ini (kotak merah di tengah gambar). Di sini, LLM menganalisis prompt berdasarkan konteks sebelumnya jika ada.

==3. LLM menghasilkan jawaban berdasarkan konteks==

Setelah memahami isi prompt dalam konteks yang diberikan, LLM (kotak kuning) memprosesnya menggunakan jaringan neural besar yang telah dilatih dari jutaan data teks. Hasilnya berupa '''output''' atau jawaban, yang muncul di bagian akhir siklus (kotak biru '''Output''').

==4. '''Output''' menjadi bagian dari konteks berikutnya==

Yang menarik, output ini akan secara otomatis dimasukkan kembali ke dalam '''context window''', bersama dengan prompt tambahan jika ada. Ini memungkinkan percakapan atau pemrosesan yang berkelanjutan, seperti chat dengan memori pendek. Pada gambar, ini ditunjukkan oleh panah melengkung dari '''Output''' kembali ke '''Context Window'''.

Singkatnya, LLM bekerja seperti otak yang terus mengingat apa yang dikatakan sebelumnya (context), lalu memberikan jawaban berdasarkan pemahaman konteks dan prompt terbaru. Proses ini terjadi berulang-ulang selama interaksi berlangsung.

==Referensi==

* https://lmstudio.ai/
* https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
* https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

===GPT===

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

* https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

==Pranala Menarik==

* [[LLM: docker shell access]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh docker]]
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA + Wazuh + Webmail docker]] '''NOT RECOMMEND'''
* [[LLM: Ubuntu 26.04 server Ollama GPU + Open-WebUI + n8n + WAHA docker]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui orange GPU 4060]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA yaml ringan]]
* [[LLM: Ubuntu 24.04 desktop - Ollama n8n open-webui WAHA]]
* [[LLM: Ubuntu 24.04 desktop pull ollama model]]
* [[LLM: LLama Instal Ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04]]
* [[LLM: ollama install ubuntu 24.04 docker open-webio]]
* [[LLM: ollama install ubuntu 24.04 python open-webio]]
* [[LLM: ubuntu 24.04 ollama + open-webui gpu full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webio + n8n full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker]] '''RECOMMENDED'''
* [[LLM: ubuntu 24.04 ollama + open-webui + n8n + comfyui + GPU nvidia docker]]
* [[LLM: ubuntu 24.04 ollama instalasi CUDA]]
* [[LLM: ollama serve run pull list rm]]
* [[LLM: ollama pull models minimalist]]
* [[LLM: ollama pull models]]
* [[LLM: tips untuk CPU]]
* [[LLM: ollama train model sendiri]]
* https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 '''Generate Model'''
* [[LLM: ollama PDF RAG]]
* [[LLM: ollama Indonesia]]
* [[LLM: Halusinasi Cek]]

==LMStudio==

* [[LMStudio: Ubuntu 26.04 NVIDIA Install]]
* [[LMStudio: Ubuntu 26.04 Install]]

==ComfyUI==

* [[ComfyUI: instalasi]]
* [[ComfyUI: Instalasi venv]]
* [[ComfyUI: Instalasi venv GPU]]
* [[ComfyUI: Instalasi via docker compose]]

==Nvidia==

* [[nvidia: ubuntu 24.04]]

==GPT4All==

* https://www.linkedin.com/pulse/more-let-me-check-internal-knowledge-instant-answers-makes-dhani-b4yvc/?trackingId=sgChWaTfS8KsTx06aU6KSw%3D%3D
* https://linuxconfig.org/how-to-install-gpt4all-on-ubuntu-debian-linux
* [[GPT4All: vs llama.cpp]]
* [[GPT4All: Install]]
* [[GPT4All: Install CLI]]
* [[GPT4All: Install CLI + open-webui]]
* [[GPT4All: Pilihan Model Bahasa Indonesia]]

==Ollama Create==

* [[LLM: ollama create Modelfile]]
* [[LLM: create model tanpa huggingface]]
* [[LLM: create model script]]

==Open-WebUI==

'''WARNING:''' Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.
* https://www.leadergpu.com/catalog/584-open-webui-all-in-one

* [[OpenWebUI: python knowledge PDF CLI API upload]]

===RAG===

* https://docs.openwebui.com/features/rag
* https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* [[LLM: multiple open-webui]]
* [[LLM: RAG ollama menggunakan open-webui dan vector database]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql]]
* [[LLM: RAG ollama menggunakan open-webui dan postgresql docker]]
* [[LLM: RAG ollama dengan open-webui dan chroma]]
* [[LLM: RAG ollama dengan open-webui dan qdrant]]
* [[LLM: Perbanding Berbagai Vector Database]]
* [[LLM: RAG menggunakan open-webui ollama]]
* [[LLM: RAG coba]]
* [[LLM: RAG contoh]]
* [[LLM: RAG Thomas Jay]]
* [[LLM: RAG-streamlit-llamaindex-ollama]]
* [[LLM: RAG-GPT]] '''tidak untuk ubuntu 24.04''''
* [[LLM: RAG open source no API di google collab]]
* [[LLM: RAG open source no API no Huggingface di google collab]]
* [[LLM: open-webui browse URL]]

* https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
* https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
* https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
* https://github.com/ThomasJay/RAG
* https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
* https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
* https://github.com/Isa1asN/local-rag
* https://github.com/AllAboutAI-YT/easy-local-rag
* * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
* https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
* https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
* https://github.com/infiniflow/ragflow?tab=readme-ov-file

===RAG Youtube===

* https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
* https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
* https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
* https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
* https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3

==Pentest==

* [[LLM: Ollama Pentest]]

==NER==

* [[NER: Konsep]]
* [[NER: Scan JPG NER JSON]]

==Fine Tuning Model==

* [[LLM: Extract .jsonl dari file pdf]]
* [[LLM: Fine Tuning]]
* [[LLM: Fine Tuning Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:1b]]
* [[LLM: Fine Tune Ollama gemma3:270m]]
* [[LLM: Fine Tine Ollama deepseek-r1:1.5b]]
* [[LLM: Fine Tune Ollama qwen3:0.6b]]
* [[LLM: Fine Tune Ollama qwen3:1.7b]]
* [[LLM: Lora]]
* [[LLM: Lora vs Fine Tuning]]
* [[LLM: Lora tidak bisa dijalankan di ollama]]

Internet OFFLINE: Ubuntu 26.04 install asterisk

2026-07-20T02:41:55Z

Onnowpurbo: Created page with "# Instalasi Asterisk Ubuntu Server 26.04 ## Extension SIP 1000–1100 Panduan berikut mengadaptasi pendekatan buku *VoIP Desa Menggunakan Asterisk*: instalasi melalui APT, p..."

# Instalasi Asterisk Ubuntu Server 26.04

## Extension SIP 1000–1100

Panduan berikut mengadaptasi pendekatan buku *VoIP Desa Menggunakan Asterisk*: instalasi melalui APT, penggunaan PJSIP, dialplan lokal, firewall, pengujian, dan dokumentasi akun. Buku menggunakan struktur satu akun PJSIP yang terdiri atas **endpoint, authentication, dan AOR**, serta menyarankan server memakai alamat IP statis.

Ubuntu 26.04 LTS menyediakan paket **Asterisk 22.5.2** melalui komponen `universe`, sehingga tidak perlu melakukan kompilasi dari source code. ([Ubuntu Packages][1])

Hasil akhir:

* Asterisk aktif otomatis saat server hidup.
* SIP menggunakan PJSIP dan UDP port 5060.
* RTP menggunakan UDP port 10000–20000.
* Tersedia **101 akun**, dari 1000 sampai 1100.
* Setiap extension memiliki password acak berbeda.
* Semua extension dapat saling menelepon.
* Daftar username dan password tersimpan dalam CSV yang hanya dapat dibaca root.

---

## 1. Siapkan informasi jaringan

Contoh yang digunakan:

```text
Hostname server : asterisk-desa
IP server : 192.168.10.10
Gateway : 192.168.10.1
Jaringan LAN : 192.168.10.0/24
```

Sesuaikan dengan jaringan yang sebenarnya.

Periksa jaringan server:

```bash
ip -br addr
ip route
hostnamectl
```

Atur hostname:

```bash
sudo hostnamectl set-hostname asterisk-desa
```

Tambahkan hostname ke `/etc/hosts`:

```bash
sudo nano /etc/hosts
```

Pastikan terdapat baris:

```text
127.0.1.1 asterisk-desa
```

Server Asterisk sebaiknya menggunakan **IP statis** atau DHCP reservation agar alamat server tidak berubah.

---

## 2. Perbarui Ubuntu Server

```bash
sudo apt update
sudo apt full-upgrade -y
sudo reboot
```

Setelah server hidup kembali, masuk melalui SSH:

```bash
ssh namauser@192.168.10.10
```

Periksa versi Ubuntu:

```bash
lsb_release -a
```

atau:

```bash
cat /etc/os-release
```

---

## 3. Instal Asterisk dan perangkat bantu

Aktifkan repository `universe`:

```bash
sudo add-apt-repository universe
sudo apt update
```

Instal Asterisk:

```bash
sudo apt install -y \
asterisk \
asterisk-core-sounds-en \
ufw \
fail2ban \
sngrep \
tcpdump \
openssl
```

APT merupakan mekanisme resmi Ubuntu untuk memasang dan memelihara paket perangkat lunak. ([Ubuntu][2])

Aktifkan layanan Asterisk:

```bash
sudo systemctl enable --now asterisk
```

Periksa status:

```bash
sudo systemctl status asterisk --no-pager
```

Periksa versi:

```bash
sudo asterisk -rx "core show version"
```

Periksa modul PJSIP:

```bash
sudo asterisk -rx "module show like pjsip"
```

PJSIP menghubungkan sebuah endpoint dengan objek autentikasi dan AOR; endpoint harus memiliki AOR agar Asterisk mengetahui kontak tujuan panggilan. ([Asterisk Documentation][3])

---

## 4. Backup konfigurasi bawaan

Jangan langsung menghapus konfigurasi asli.

```bash
BACKUP_DIR="/root/asterisk-config-$(date +%Y%m%d-%H%M%S)"
sudo mkdir -p "$BACKUP_DIR"
sudo cp -a /etc/asterisk/. "$BACKUP_DIR/"
```

Periksa hasil backup:

```bash
sudo ls -lah "$BACKUP_DIR"
```

---

## 5. Membuat konfigurasi utama PJSIP

Buat ulang `/etc/asterisk/pjsip.conf`:

```bash
sudo tee /etc/asterisk/pjsip.conf >/dev/null <<'EOF'
;==========================================================
; Konfigurasi PJSIP Asterisk Desa
; Ubuntu Server 26.04
; Extension 1000-1100
;==========================================================

[global]
type=global
user_agent=Asterisk-Desa

;----------------------------------------------------------
; Transport SIP
;----------------------------------------------------------

[transport-udp]
type=transport
protocol=udp
bind=0.0.0.0:5060

; Apabila seluruh perangkat hanya berada di LAN,
; external_media_address dan external_signaling_address
; tidak diperlukan.

;----------------------------------------------------------
; Template endpoint
;----------------------------------------------------------

[endpoint-template](!)
type=endpoint
transport=transport-udp
context=internal
disallow=all
allow=ulaw
allow=alaw

; DTMF untuk IVR dan layanan berbasis tombol telepon
dtmf_mode=rfc4733

; Pengaturan yang membantu client Wi-Fi/NAT
direct_media=no
rtp_symmetric=yes
force_rport=yes
rewrite_contact=yes

; Jangan izinkan pemanggilan tanpa autentikasi
allow_subscribe=yes
language=en

;----------------------------------------------------------
; Template autentikasi
;----------------------------------------------------------

[auth-template](!)
type=auth
auth_type=userpass

;----------------------------------------------------------
; Template Address of Record
;----------------------------------------------------------

[aor-template](!)
type=aor

; Satu extension hanya boleh dipakai satu perangkat
max_contacts=1

; Hapus registrasi lama bila perangkat berganti alamat
remove_existing=yes

; Pemeriksaan berkala perangkat
qualify_frequency=60

;----------------------------------------------------------
; Akun extension dibuat otomatis di file berikut
;----------------------------------------------------------

#include "pjsip-extensions.conf"
EOF
```

Konfigurasi sengaja menggunakan template agar 101 extension tidak harus memiliki seluruh parameter yang ditulis berulang kali.

---

## 6. Membuat extension 1000–1100 otomatis

Buat skrip generator:

```bash
sudo tee /usr/local/sbin/generate-asterisk-extensions.sh >/dev/null <<'EOF'
#!/usr/bin/env bash

set -euo pipefail

CONFIG_FILE="/etc/asterisk/pjsip-extensions.conf"
PASSWORD_FILE="/root/asterisk-extension-passwords.csv"
TEMP_CONFIG="$(mktemp)"
TEMP_PASSWORD="$(mktemp)"

cleanup() {
rm -f "$TEMP_CONFIG" "$TEMP_PASSWORD"
}

trap cleanup EXIT

cat > "$TEMP_CONFIG" <<'HEADER'
;==========================================================
; Dibuat otomatis oleh generate-asterisk-extensions.sh
; Jangan menyimpan file password ke repository publik.
;==========================================================

HEADER

printf '%s\n' '"extension","username","password","server","transport"' \
> "$TEMP_PASSWORD"

SERVER_IP="$(hostname -I | awk '{print $1}')"

if [[ -z "$SERVER_IP" ]]; then
SERVER_IP="GANTI_DENGAN_IP_SERVER"
fi

for EXTENSION in $(seq 1000 1100); do
PASSWORD="$(openssl rand -hex 16)"

cat >> "$TEMP_CONFIG" <<EOF_CONFIG
;----------------------------------------------------------
; Extension ${EXTENSION}
;----------------------------------------------------------

[${EXTENSION}](endpoint-template)
auth=auth-${EXTENSION}
aors=aor-${EXTENSION}
callerid="Extension ${EXTENSION}" <${EXTENSION}>

[auth-${EXTENSION}](auth-template)
username=${EXTENSION}
password=${PASSWORD}

[aor-${EXTENSION}](aor-template)

EOF_CONFIG

printf '"%s","%s","%s","%s","UDP"\n' \
"$EXTENSION" \
"$EXTENSION" \
"$PASSWORD" \
"$SERVER_IP" >> "$TEMP_PASSWORD"
done

install -o root -g asterisk -m 0640 \
"$TEMP_CONFIG" "$CONFIG_FILE"

install -o root -g root -m 0600 \
"$TEMP_PASSWORD" "$PASSWORD_FILE"

echo "Berhasil membuat extension 1000 sampai 1100."
echo "Konfigurasi : $CONFIG_FILE"
echo "Password : $PASSWORD_FILE"
EOF
```

Jadikan executable:

```bash
sudo chmod 750 /usr/local/sbin/generate-asterisk-extensions.sh
```

Jalankan:

```bash
sudo /usr/local/sbin/generate-asterisk-extensions.sh
```

Periksa jumlah extension:

```bash
sudo grep -Ec '^\[[0-9]{4}\]$endpoint-template$$' \
/etc/asterisk/pjsip-extensions.conf
```

Output seharusnya:

```text
101
```

Periksa beberapa konfigurasi awal:

```bash
sudo sed -n '1,80p' /etc/asterisk/pjsip-extensions.conf
```

Lihat daftar akun:

```bash
sudo column -s, -t < /root/asterisk-extension-passwords.csv | head
```

Jangan membagikan seluruh file CSV secara terbuka karena berisi password semua pengguna.

---

## 7. Membuat dialplan panggilan

Buat `/etc/asterisk/extensions.conf`:

```bash
sudo tee /etc/asterisk/extensions.conf >/dev/null <<'EOF'
;==========================================================
; Dialplan Asterisk Desa
; Extension yang diizinkan: 1000-1100
;==========================================================

[general]
static=yes
writeprotect=no
clearglobalvars=no

[globals]
RINGTIME=30

;----------------------------------------------------------
; Panggilan internal
;----------------------------------------------------------

[internal]

; Extension 1000 sampai 1099
exten => _10XX,1,NoOp(Panggilan internal ${CALLERID(num)} ke ${EXTEN})
same => n,Dial(PJSIP/${EXTEN},${RINGTIME})
same => n,Hangup()

; Extension 1100
exten => 1100,1,NoOp(Panggilan internal ${CALLERID(num)} ke 1100)
same => n,Dial(PJSIP/1100,${RINGTIME})
same => n,Hangup()

;----------------------------------------------------------
; Nomor pengujian
;----------------------------------------------------------

; 600 - Echo test
exten => 600,1,Answer()
same => n,Wait(1)
same => n,Echo()
same => n,Hangup()

; 601 - Menyebutkan nomor extension pemanggil
exten => 601,1,Answer()
same => n,Playback(your)
same => n,Playback(extension)
same => n,SayDigits(${CALLERID(num)})
same => n,Hangup()

; Nomor tidak dikenal
exten => i,1,Playback(invalid)
same => n,Hangup()
EOF
```

Dialplan `_10XX` hanya menerima nomor 1000–1099, sementara 1100 dibuat secara eksplisit. Dengan demikian, nomor 1101 dan seterusnya tidak dapat dipanggil.

---

## 8. Memastikan rentang RTP

Periksa konfigurasi RTP:

```bash
sudo grep -Ev '^[[:space:]]*(;|$)' /etc/asterisk/rtp.conf
```

Bila belum jelas, buat konfigurasi berikut:

```bash
sudo tee /etc/asterisk/rtp.conf >/dev/null <<'EOF'
[general]
rtpstart=10000
rtpend=20000
strictrtp=yes
icesupport=yes
EOF
```

SIP dipakai untuk mengatur sesi dan registrasi, sedangkan suara dikirim melalui RTP. Konsep ini juga menjadi dasar konfigurasi pada buku.

---

## 9. Atur kepemilikan dan permission

```bash
sudo chown root:asterisk \
/etc/asterisk/pjsip.conf \
/etc/asterisk/pjsip-extensions.conf \
/etc/asterisk/extensions.conf \
/etc/asterisk/rtp.conf
```

```bash
sudo chmod 640 \
/etc/asterisk/pjsip.conf \
/etc/asterisk/pjsip-extensions.conf \
/etc/asterisk/extensions.conf \
/etc/asterisk/rtp.conf
```

Pastikan file password hanya dapat dibaca root:

```bash
sudo chmod 600 /root/asterisk-extension-passwords.csv
```

---

## 10. Validasi lalu restart Asterisk

Restart:

```bash
sudo systemctl restart asterisk
```

Periksa layanan:

```bash
sudo systemctl status asterisk --no-pager
```

Periksa log jika gagal:

```bash
sudo journalctl -u asterisk -n 100 --no-pager
```

Masuk CLI:

```bash
sudo asterisk -rvvv
```

Di dalam CLI, jalankan:

```text
core show version
pjsip show transports
pjsip show endpoints
dialplan show internal
```

Keluar:

```text
exit
```

Periksa jumlah endpoint dari shell:

```bash
sudo asterisk -rx "pjsip show endpoints" |
grep -E 'Endpoint: +[0-9]{4}/' |
wc -l
```

Targetnya:

```text
101
```

---

## 11. Konfigurasi firewall

Ubuntu menggunakan `ufw` sebagai perangkat firewall host yang mudah dikelola. ([Ubuntu][4])

**Sangat penting:** izinkan SSH sebelum mengaktifkan firewall agar koneksi administrator tidak terputus.

Contoh untuk LAN `192.168.10.0/24`:

```bash
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow OpenSSH
```

Izinkan SIP hanya dari jaringan LAN:

```bash
sudo ufw allow from 192.168.10.0/24 to any port 5060 proto udp \
comment 'Asterisk SIP dari LAN'
```

Izinkan RTP hanya dari LAN:

```bash
sudo ufw allow from 192.168.10.0/24 to any port 10000:20000 proto udp \
comment 'Asterisk RTP dari LAN'
```

Aktifkan firewall:

```bash
sudo ufw enable
```

Periksa:

```bash
sudo ufw status numbered
```

Jangan membuka UDP 5060 dan 10000–20000 ke seluruh Internet kecuali benar-benar diperlukan. Untuk akses antarlokasi, pendekatan yang lebih aman adalah membawa SIP dan RTP melalui VPN seperti WireGuard. Buku juga merekomendasikan komunikasi antar-Asterisk melalui WireGuard daripada mengekspos SIP langsung ke Internet.

---

## 12. Registrasi Linphone

Ambil satu akun uji:

```bash
sudo grep '^"1000"' /root/asterisk-extension-passwords.csv
sudo grep '^"1001"' /root/asterisk-extension-passwords.csv
```

Contoh pengaturan perangkat pertama:

```text
Display name : Extension 1000
Username : 1000
Password : password dari CSV
Domain : 192.168.10.10
SIP server : sip:192.168.10.10
Transport : UDP
Port : 5060
```

Perangkat kedua:

```text
Display name : Extension 1001
Username : 1001
Password : password dari CSV
Domain : 192.168.10.10
Transport : UDP
Port : 5060
```

Pada beberapa versi Linphone, identitas SIP ditulis:

```text
sip:1000@192.168.10.10
```

Proxy/server:

```text
sip:192.168.10.10;transport=udp
```

Pastikan smartphone dan server berada dalam jaringan yang dapat saling menjangkau.

---

## 13. Pengujian

### Periksa registrasi

```bash
sudo asterisk -rx "pjsip show contacts"
```

atau:

```bash
sudo asterisk -rx "pjsip show endpoint 1000"
```

Endpoint belum terdaftar biasanya terlihat:

```text
Unavailable
```

Setelah registrasi berhasil, akan muncul alamat kontak perangkat.

### Uji panggilan

Lakukan:

```text
1000 → 1001
1001 → 1000
1000 → 1100
1100 → 1000
```

Uji juga nomor yang tidak tersedia:

```text
1101
```

Panggilan ke 1101 seharusnya ditolak karena berada di luar numbering plan.

### Uji suara

Hubungi:

```text
600
```

Bicaralah ke mikrofon. Suara seharusnya dikirim kembali melalui aplikasi `Echo()`.

### Monitor panggilan langsung

```bash
sudo asterisk -rvvv
```

Kemudian:

```text
core show channels
pjsip show contacts
```

Aktifkan SIP logger hanya ketika troubleshooting:

```text
pjsip set logger on
```

Matikan kembali setelah selesai:

```text
pjsip set logger off
```

Dokumentasi resmi Asterisk juga menyarankan pemeriksaan hubungan `auth`, endpoint, dan AOR ketika registrasi PJSIP gagal. ([Asterisk Documentation][5])

---

## 14. Troubleshooting cepat

### Asterisk tidak dapat dijalankan

```bash
sudo systemctl status asterisk
sudo journalctl -u asterisk -b --no-pager
```

Periksa konfigurasi:

```bash
sudo asterisk -rx "pjsip show endpoints"
```

### Client tidak dapat register

Periksa port:

```bash
sudo ss -lunp | grep ':5060'
```

Seharusnya terdapat proses Asterisk yang mendengarkan pada:

```text
0.0.0.0:5060
```

Periksa firewall:

```bash
sudo ufw status verbose
```

Periksa log:

```bash
sudo tail -f /var/log/asterisk/full
```

Jika `/var/log/asterisk/full` belum tersedia, gunakan:

```bash
sudo journalctl -u asterisk -f
```

### Username atau password ditolak

```bash
sudo asterisk -rx "pjsip show endpoint 1000"
sudo grep -A4 '\[auth-1000\]' \
/etc/asterisk/pjsip-extensions.conf
```

Pastikan client menggunakan username **1000**, bukan `auth-1000`.

### Telepon berdering tetapi suara tidak terdengar

Periksa:

```bash
sudo ufw status
sudo ss -lunp | grep asterisk
```

Pantau RTP:

```bash
sudo tcpdump -ni any udp portrange 10000-20000
```

Penyebab umum:

* Firewall RTP tertutup.
* Client berada pada jaringan NAT berbeda.
* Wi-Fi memiliki client isolation.
* Router memblokir komunikasi antarklien.
* Alamat server yang dimasukkan salah.

### Melihat paket SIP dengan sngrep

```bash
sudo sngrep
```

Gunakan tombol:

```text
Enter : membuka call flow
F10 : keluar
```

---

## 15. Backup setelah konfigurasi berhasil

```bash
sudo tar \
--create \
--gzip \
--preserve-permissions \
--file="/root/asterisk-ready-$(date +%Y%m%d-%H%M%S).tar.gz" \
/etc/asterisk \
/root/asterisk-extension-passwords.csv
```

Periksa:

```bash
sudo ls -lh /root/asterisk-ready-*.tar.gz
```

Backup tersebut mengandung seluruh password extension. Simpan secara terenkripsi dan jangan diletakkan di web server atau repository Git publik.

---

## 16. Checklist hasil akhir

Jalankan seluruh pemeriksaan berikut:

```bash
systemctl is-enabled asterisk
systemctl is-active asterisk
sudo asterisk -rx "core show version"
sudo asterisk -rx "pjsip show transports"
sudo asterisk -rx "pjsip show endpoints"
sudo asterisk -rx "dialplan show internal"
sudo ufw status
sudo ss -lunp | grep -E ':5060|asterisk'
```

Kondisi yang diharapkan:

```text
Asterisk service : active
Start saat boot : enabled
Transport SIP : UDP 0.0.0.0:5060
Jumlah extension : 101
Nomor pertama : 1000
Nomor terakhir : 1100
Dialplan : internal
RTP : UDP 10000-20000
Password akun : berbeda untuk setiap extension
Firewall : hanya membuka SIP/RTP dari LAN
```

Konfigurasi ini sudah cukup untuk **telepon internal 1000–1100**. Layanan lanjutan seperti voicemail, ring group, IVR, ConfBridge, paging, queue, SIP trunk, dan WireGuard dapat ditambahkan setelah registrasi serta panggilan dasar stabil.

[1]: https://packages.ubuntu.com/resolute/asterisk?utm_source=chatgpt.com "Details of package asterisk in resolute"
[2]: https://ubuntu.com/server/docs/how-to/software/package-management/?utm_source=chatgpt.com "Install and manage packages - Ubuntu Server documentation"
[3]: https://docs.asterisk.org/Configuration/Channel-Drivers/SIP/Configuring-res_pjsip/PJSIP-Configuration-Sections-and-Relationships/?utm_source=chatgpt.com "PJSIP Configuration Sections and Relationships"
[4]: https://ubuntu.com/server/docs/how-to/security/firewalls/?utm_source=chatgpt.com "Firewall - Ubuntu Server documentation"
[5]: https://docs.asterisk.org/Configuration/Channel-Drivers/SIP/Configuring-res_pjsip/Asterisk-PJSIP-Troubleshooting-Guide/?utm_source=chatgpt.com "Asterisk PJSIP Troubleshooting Guide"

Internet offline

2026-07-20T02:41:21Z

Onnowpurbo: /* Ubuntu 24.04 */

[[File:Internet-offline.jpg|center|300px|thumb]]

* [[Internet OFFLINE: Harddisk Siap Pakai untuk Sekolah]]
* [[Internet OFFLINE: Harddisk Siap Pakai PETUNJUK PEMAKAIAN]]

==Youtube==

* https://www.youtube.com/watch?v=cKuiRIQMZFE - Penjelasan tentang Internet Offline
* https://www.youtube.com/watch?v=VmtyRu6RGjM - Konfigurasi Jaringan Untuk Experimen
* https://www.youtube.com/watch?v=k0kx4MHrqLE - Membeli RaspberryPi atau OrangePi

==Pranala Menarik==

* [[Internet OFFLINE: Mengapa butuh Internet OFFLINE?]]
* [[Internet OFFLINE: Konsep]]
* [[Internet OFFLINE: Overview Teknologi Secara Umum]]
* [[Internet OFFLINE: Manajemen Operasi Internet OFFLINE]]

==eLearning==

* [[MoodleBox]]

==RaspberryPi==

* [[Raspbian: Burn ke MicroSD]]
* [[Raspbian: Internet Offline Topologi Jaringan]]
* [[Raspbian: cek IP address server raspberry]]
* [[Raspbian: login pi password raspberry]]
* [[Raspbian: edit rc.local]]
* [[Raspbian: Setup Network]]
* [[Raspbian: RPi3 Stand Alone Access Point]]
* [[Raspbian: NAT hostap ke eth0]]

==OrangePi==

* [[OrangePi: Burn img]]
* [[OrangePi: Burn Raspbian img]] '''RECOMMENDED'''
* [[OrangePi: Burn Ubuntu img]]
* [[OrangePi: Burn Debian img]]
* [[OrangePi: cek IP address server OrangePi]]
* [[OrangePi: install ssh server]]
* [[OrangePi: Remove Desktop & GUI]]

==Server Apps==

* [[Raspbian: install ssh server]]
* [[Raspbian: install web server]]
* [[Raspbian: Aktifkan https di apache]]
* [[Raspbian: install DNS server]]
* [[Raspbian: Konfigurasi DNS Server]]
* [[Raspbian: install samba file sharing server]]
* [[Raspbian: install DHCP server]] ''-- jangan pakai ini; pakai dnsmasq''
* [[Raspbian: install systemd systemctl]]

* [[X86: repo update]]
* [[X86: install ssh server]]
* [[X86: install web server]]
* [[X86: install samba file sharing server]]
* [[X86: Perpustakaan Digital Server Internet OFFLINE]]

===Web===

* [[wget: offline web mirror]]
* [[Kiwix: Download & Instal]]
* [[Kiwix: X86 Download & Instal]]
* [[Apache: Virtual Host - lagi]]
* [[MoodleBox]]
* [[MoodleBox: Download dan dd]]
* [[MoodleBox: Admin Login]]

==USB FlashDisk==

===Debian 12.0 64 bit===

* [[USB OFFLINE: Debian 12.0 Install OS Server]]
* [[USB OFFLINE: Debian 12.0 edit sources.list]]
* [[USB OFFLINE: Debian 12.0 tambahkan user offline password 123456]]
* [[USB OFFLINE: Debian 12.0 install sudoer]]
* [[USB OFFLINE: Debian 12.0 install net-tools]]
* [[USB OFFLINE: Debian 12.0 Install Moodle, Apache2, MariaDB, PHP 8]]
* [[USB OFFLINE: Debian 12.0 Moodle admin Admin123!@#]]
* [[USB OFFLINE: Debian 12.0 Moodle upload Bank Soal]]
* [[USB OFFLINE: Debian 12.0 Install KIWIX]]
* [[USB OFFLINE: Debian 12.0 buat /etc/rc.local]]
* [[USB OFFLINE: Debian 12.0 setup /etc/rc.local]]
* [[USB OFFLINE: Debian 12.0 Perpustakaan Lokal]]

===Debian 11.7 32bit===

'''NOT RECOMMENDED:''' Moodle hanya mau dengan PHP 64 bit.

* [[USB OFFLINE: Debian 11.7 Install OS Server]]
* [[USB OFFLINE: Debian 11.7 edit sources.list]]
* [[USB OFFLINE: Debian 11.7 tambahkan user offline password 123456]]
* [[USB OFFLINE: Debian 11.7 install sudoer]]
* [[USB OFFLINE: Debian 11.7 install net-tools]]
* [[USB OFFLINE: Debian 11.7 Install Moodle, Apache2, MariaDB, PHP 8]]
* [[USB OFFLINE: Debian 11.7 Moodle admin Admin123!@#]]
* [[USB OFFLINE: Debian 11.7 Moodle upload Bank Soal]]
* [[USB OFFLINE: Debian 11.7 Install KIWIX]]
* [[USB OFFLINE: Debian 11.7 buat /etc/rc.local]]
* [[USB OFFLINE: Debian 11.7 setup /etc/rc.local]]
* [[USB OFFLINE: Debian 11.7 Perpustakaan Lokal]]

===Ubuntu 22.04===

* [[USB OFFLINE: Ubuntu 22.04 Install OS Server]]
* [[USB OFFLINE: Ubuntu 22.04 edit sources.list]]
* [[USB OFFLINE: Ubuntu 22.04 tambahkan user offline password 123456]]
* [[USB OFFLINE: Ubuntu 22.04 install sudoer]]
* [[USB OFFLINE: Ubuntu 22.04 install net-tools]]
* [[USB OFFLINE: Ubuntu 22.04 Install Moodle, Apache2, MariaDB, PHP 8]]
* [[USB OFFLINE: Ubuntu 22.04 Moodle admin Admin123!@#]]
* [[USB OFFLINE: Ubuntu 22.04 Moodle upload Bank Soal]]
* [[USB OFFLINE: Ubuntu 22.04 Install KIWIX]]
* [[USB OFFLINE: Ubuntu 22.04 setup /etc/rc.local]]
* [[USB OFFLINE: Ubuntu 22.04 Perpustakaan Lokal]]
* [[USB OFFLINE: Ubuntu 22.04 SLiMS]]
* [[USB OFFLINE: Password dll]]
* [[USB OFFLINE: Site Copy]]

===Ubuntu 24.04===

* [[USB OFFLINE: Ubuntu 24.04 tambahkan user offline password 123456]]
* [[USB OFFLINE: Ubuntu 24.04 install sudoer]]
* [[USB OFFLINE: Ubuntu 24.04 install net-tools]]
* [[USB OFFLINE: Ubuntu 24.04 Install Moodle, Apache2, MariaDB, PHP 8]]
* [[USB OFFLINE: Ubuntu 24.04 Moodle config]]
* [[USB OFFLINE: Ubuntu 24.04 Moodle admin Admin123!@#]]
* [[USB OFFLINE: Ubuntu 24.04 Moodle update course]]
* [[USB OFFLINE: Ubuntu 24.04 Moodle Backup]]
* [[USB OFFLINE: Ubuntu 24.04 LLM Ollama Open-WebUI]]
* [[USB OFFLINE: Ubuntu 24.04 mediawiki OnnoCenterWiki copy]]

* [[USB OFFLINE: Ubuntu 24.04 Install KIWIX]]
* [[USB OFFLINE: Ubuntu 24.04 setup /etc/rc.local]]
* [[USB OFFLINE: Ubuntu 24.04 SLiMS]]
* [[USB OFFLINE: Ubuntu 24.04 BIND]]
* [[USB OFFLINE: Ubuntu 24.04 Webmin]]
* [[USB OFFLINE: Password dll]]

===Ubuntu 26.04===

* [[Internet OFFLINE: Ubuntu 26.04 install asterisk]]

===SLiMS===

* [[SLiMS: Instalasi]]

==IPv6==

* [[Internet Offline: Setup IPv6]]
* [[Internet Offline: IPv6 Apache Benchmark]]
* [[Internet Offline: IPv6 ipref]]
* [[Internet Offline: IPv6 pps measurement]]

==Internet in a Box==

* [[Internet in a Box]]

==Benchmark==

===Teknik Mengukur===

* [[Internet Offline: packets-per-second benchmark]]
* [[Internet Offline: Ukur Bandwidth]]
* [[Dbench: Internet Offline - Rpi 10-100 concurrent]]
* [[Dbench: Internet Offline - VM 1-4CORE 512-4096M RAM]]
* [[Internet Offline: UnixBench]]
* [[Internet Offline: Mengukur kiwix X86]]
* [[Internet Offline: Mengukur kiwix dengan ab]]
* [[Internet Offline: Mengukur SQL]]
* [[Internet Offline: mysqlslap script]]

===Hasil===

* [[Internet Offline: SQL - Rpi]]
* [[Internet Offline: SQL - Asus minipc]]

===Teknik Pendukung===

* [[Internet Offline: automatic ssh remote login]]
* [[Internet Offline: Redirect output ke file]]

==Referensi==

* Purbo OW. Narrowing the digital divide. Digital Indonesia: Connectivity and Divergence. 2017 May 9:75-92.
* Malandrino F, Chiasserini CF, Kirkpatrick S. Understanding the present and future of cellular networks through crowdsourced traces. In2017 IEEE 18th International Symposium on A World of Wireless, Mobile and Multimedia Networks (WoWMoM) 2017 Jun 12 (pp. 1-9). IEEE.
* Kaup F, Fischer F, Hausheer D. Measuring and predicting cellular network quality on trains. In2017 International Conference on Networked Systems (NetSys) 2017 Mar 13 (pp. 1-8). IEEE.
* Asrese AS, Walelgne EA, Bajpai V, Lutu A, Alay Ö, Ott J. Measuring Web Quality of Experience in Cellular Networks. InInternational Conference on Passive and Active Network Measurement 2019 Mar 27 (pp. 18-33). Springer, Cham.
* Purbo OW. Internet Offline Solution for Rural/Village Schools. In4th FREE & OPEN SOURCE SOFTWARE CONFERENCE (FOSSC’2019-OMAN) 2019 Feb 11.
* Morton A. Considerations for benchmarking virtual network functions and their infrastructure. 2017.
* Amalfitano EA, McKnight GJ, inventors; International Business Machines Corp, assignee. Method and system for automated network benchmark performance analysis. United States patent US 5,303,166. 1994 Apr 12.
* Huang B, Bauer M, Katchabaw M. Hpcbench-a Linux-based network benchmark for high performance networks. In19th International Symposium on High performance Computing Systems and applications (HPCS'05) 2005 May 15 (pp. 65-71). IEEE.
* Bellows J. Comparing Linux Operating Systems for the Raspberry Pi 2. InThe 16th Winona Computer Science Undergraduate Research Symposium 2016 Apr 27 (Vol. 922, No. 925MB, p. 8).
* Martin A, Marangozova‐Martin V. Automatic benchmark profiling through advanced workflow‐based trace analysis. Software: Practice and Experience. 2018 Jun;48(6):1195-217.
* Ahuja SP, Deval N. On the Performance Evaluation of IaaS Cloud Services With System-Level Benchmarks. International Journal of Cloud Applications and Computing (IJCAC). 2018 Jan 1;8(1):80-96.
* Wu H, Liu F, Lee RB. Cloud Server Benchmarks for Performance Evaluation of New Hardware Architecture. arXiv preprint arXiv:1603.01352. 2016 Mar 4.
* Almeida R, Madeira H. Evolving from Dependability to Resilience Benchmarks: Issues and Possibilities. In2016 Seventh Latin-American Symposium on Dependable Computing (LADC) 2016 Oct 19 (pp. 127-130). IEEE.
* Martin A, Marangozova-Martin V. Automatic Benchmark Profiling Through Advanced Trace Analysis. InEuropean Conference on Parallel Processing 2016 Aug 24 (pp. 63-74). Springer, Cham.

==Pranala Menarik==

* [[Internet Offline: Inisiatif Lain di Dunia]]
* [[PC: Internet Offline]]
* [[x86: Internet Offline]]
* [[Internet Offline: Modul Training]]

Epub

2026-07-14T18:59:43Z

Onnowpurbo: /* Membuka epub */

EPUB (short for electronic publication) is a free and open e-book standard by the International Digital Publishing Forum (IDPF). Files have the extension .epub.

EPUB is designed for reflowable content, meaning that an EPUB reader can optimize text for a particular display device. EPUB also supports fixed-layout content. The format is intended as a single format that publishers and conversion houses can use in-house, as well as for distribution and sale. It supersedes the Open eBook standard.

==Membuka epub==

You can use calibre software for viewing .epub documents.

To install calibre from terminal:

sudo apt-get install calibre

atau

sudo add-apt-repository ppa:n-muench/calibre
sudo apt-get update
sudo apt-get install calibre

==Convert epub satu folder==

for file in ./*.epub
do
ebook-convert "$file" "${file%.epub}.pdf" \
--paper-size a4
done

==Referensi==

* http://en.wikipedia.org/wiki/EPUB
* http://packages.ubuntu.com/search?keywords=calibre
* http://lukesblog.it/wiki/index.php?title=Main_Page
* http://iloveubuntu.net/create-high-quality-epub-files-inside-libreoffice-writer-writer2epub
* http://askubuntu.com/questions/338172/how-to-install-calibre-on-ubuntu-12-04

DVWP

2026-07-04T01:21:07Z

Onnowpurbo:

'''DVWP = Damn Vulnerable WordPress'''.

DVWP lebih realistis dibanding DVWA untuk latihan WordPress security, karena kamu belajar hal-hal yang sering muncul di pentest WordPress sungguhan: plugin, theme, `/wp-admin`, `/wp-login.php`, `/wp-content/`, XML-RPC, plugin vulnerable, file terbuka, credential lemah, dan salah konfigurasi.

== 1. Aturan utama: jalankan hanya di lab lokal==

Gunakan DVWP hanya di lingkungan sendiri:

Kali Linux = mesin attacker / latihan
DVWP WordPress = target vulnerable
Network = localhost / host-only / private VM network

Jangan expose DVWP ke internet publik. Karena ini memang sengaja vulnerable.

== 2. Tujuan awal: pahami struktur WordPress==

Sebelum menyerang apa pun, buka websitenya manual dulu dan pahami struktur WordPress:

/wp-login.php → halaman login
/wp-admin/ → dashboard admin
/wp-content/ → tempat theme, plugin, upload
/wp-content/plugins/ → plugin yang terpasang
/wp-content/themes/ → theme yang terpasang
/xmlrpc.php → endpoint XML-RPC WordPress
/wp-json/ → REST API WordPress

Dalam pentest WordPress, banyak celah berasal dari '''plugin dan theme''', bukan hanya dari WordPress core.

== 3. Recon dasar dari Kali Linux==

Misalnya DVWP kamu jalan di:

http://127.0.0.1:31337

Mulai dari cek service:

nmap -sV -p 31337,31338 127.0.0.1

Artinya:

-sV = deteksi service dan versinya
-p = scan hanya port tertentu
127.0.0.1 = mesin lokal

Lalu cek response web:

curl -I http://127.0.0.1:31337

Artinya:

-I = hanya tampilkan HTTP header

Ini membiasakan kamu untuk mengamati dulu sebelum langsung pakai tool besar.

== 4. Gunakan WPScan, tapi jangan bergantung 100% pada tool==

WPScan adalah tool utama untuk enumerasi WordPress.

Contoh:

wpscan --url http://127.0.0.1:31337 --enumerate u,p,t

Artinya:

--url = URL target WordPress
--enumerate = minta WPScan melakukan enumerasi
u = users
p = plugins
t = themes

Alur belajar yang bagus:

1. Jalankan WPScan
2. Lihat user/plugin/theme yang ditemukan
3. Verifikasi manual lewat browser
4. Cek path plugin di /wp-content/plugins/
5. Pahami jenis vulnerability-nya
6. Baru coba eksploitasi di lab

Jangan hanya copy-paste exploit. Biasakan bertanya:

Input mana yang vulnerable?
Butuh login atau tidak?
Impact-nya apa?
Buktinya apa?
Cara fix-nya bagaimana?

== 5. Fokus latihan pada plugin==

WordPress sering vulnerable karena plugin. Jadi untuk tiap plugin, buat catatan kecil seperti ini:

Plugin:
Versi:
Vulnerability:
Butuh login? ya/tidak
Impact:
Evidence / bukti:
Cara memperbaiki:
Referensi:

Ini sangat mirip dengan cara kerja report pentest sungguhan.

== 6. Attack surface WordPress yang perlu dipahami dulu==

Prioritaskan belajar ini:

1. User enumeration
2. Weak/default credentials
3. Vulnerable plugins
4. File upload weakness
5. Directory listing / exposed files
6. XML-RPC abuse
7. REST API exposure
8. phpMyAdmin/adminer exposure
9. wp-config.php atau backup leak
10. Privilege escalation di dalam wp-admin

Penjelasan singkat:

User enumeration
mencari username yang valid di WordPress.

Weak/default credentials
login dengan password lemah atau default.

Vulnerable plugins
plugin lama atau plugin yang punya CVE.

File upload weakness
upload file berbahaya karena validasi buruk.

Directory listing
folder bisa dibuka dan isinya kelihatan.

Exposed files
file sensitif seperti backup, .sql, .zip, .bak, atau config terbuka.

XML-RPC abuse
endpoint xmlrpc.php disalahgunakan untuk brute force atau pingback abuse.

REST API exposure
informasi user/post/settings terlalu terbuka lewat /wp-json/.

phpMyAdmin/adminer exposure
panel database terbuka ke web.

wp-config.php leak
file konfigurasi WordPress bocor, bisa berisi credential database.

== 7. Tool yang bagus untuk latihan DVWP==

Tool utama dari Kali:

Browser + Burp Suite

Untuk melihat, intercept, dan memodifikasi HTTP request.

WPScan

Untuk enumerasi WordPress, plugin, theme, user, dan vulnerability.

Nmap

Untuk cek port dan service yang terbuka.

Gobuster / Feroxbuster

Untuk mencari folder atau file tersembunyi.

Nikto

Untuk cek basic web server misconfiguration.

Curl

Untuk memahami HTTP request dan response secara manual.

Searchsploit

Untuk mencari referensi exploit lokal dari Exploit-DB.

== 8. Workflow beginner yang bagus==

Pakai alur ini setiap latihan:

Step 1: Apakah target bisa diakses?
Step 2: Port/service apa yang terbuka?
Step 3: Apakah ini WordPress?
Step 4: Versi WordPress berapa?
Step 5: User apa saja yang terlihat?
Step 6: Plugin/theme apa yang terpasang?
Step 7: Apakah versi plugin/theme vulnerable?
Step 8: Exploit-nya butuh login atau tidak?
Step 9: Bisa tidak membuktikan impact dengan aman?
Step 10: Bagaimana cara memperbaikinya?

Kebiasaan ini lebih penting daripada menghafal payload.

== 9. Rencana latihan 7 hari==

Hari 1:
Install/start DVWP dan pahami struktur aplikasinya.

Hari 2:
Latihan nmap, curl, browser inspection, dan Burp Suite.

Hari 3:
Jalankan WPScan dan verifikasi user/plugin/theme secara manual.

Hari 4:
Pelajari path plugin di /wp-content/plugins/.

Hari 5:
Latihan directory discovery dan exposed file checking.

Hari 6:
Pilih satu vulnerability plugin, pelajari pelan-pelan, lalu tulis mini report.

Hari 7:
Ulangi dari awal tanpa melihat catatan.

== 10. Buat folder catatan latihan==

Bikin folder seperti ini:

mkdir -p ~/Apps/Pentest/DVWP-notes
cd ~/Apps/Pentest/DVWP-notes

touch 01-recon.md
touch 02-wordpress-structure.md
touch 03-wpscan.md
touch 04-plugins.md
touch 05-exposed-files.md
touch 06-findings-report.md
touch 99-cheatsheet.md

Isi setiap file dengan format:

Target:
Tool yang digunakan:
Command:
Arti command:
Finding:
Evidence / bukti:
Risk:
Fix:
Lesson learned:

== 11. Contoh catatan sederhana==

Target:
http://127.0.0.1:31337

Tool:
WPScan

Command:
wpscan --url http://127.0.0.1:31337 --enumerate u,p,t

Arti:
Melakukan enumerasi user, plugin, dan theme WordPress.

Finding:
Ditemukan beberapa plugin yang bisa dicek lebih lanjut.

Evidence:
Plugin terlihat di path /wp-content/plugins/.

Risk:
Jika plugin versi lama dan vulnerable, attacker bisa mengeksploitasi website.

Fix:
Update plugin, hapus plugin tidak terpakai, batasi akses admin, dan aktifkan hardening WordPress.

Lesson learned:
Dalam WordPress pentest, plugin sering menjadi sumber vulnerability utama.

== 12. Mindset penting saat latihan==

Jangan berpikir:

Payload apa yang harus aku copy-paste?

Tapi biasakan berpikir:

Data apa yang dikirim user?
Server memproses input ini sebagai apa?
Apakah input masuk ke SQL query, command, file path, upload handler, atau HTML output?
Apa buktinya input saya memengaruhi backend?
Impact-nya apa?
Cara mitigasinya apa?

Itu mindset pentester yang benar.

== 13. Batas aman==

Yang boleh dilakukan:

DVWP lokal
VM sendiri
Docker sendiri
Lab kampus/kantor yang memang diizinkan
CTF resmi

Yang jangan dilakukan:

Scan website publik tanpa izin
Brute force login asli
Coba payload ke sistem kantor tanpa scope
Upload shell ke server bukan milik sendiri
Pakai WPScan ke domain publik tanpa izin

Intinya: '''DVWP bukan hanya tempat “nge-hack WordPress”. DVWP adalah tempat belajar cara berpikir pentester WordPress: enumerasi, verifikasi, pahami impact, lalu tulis report dengan rapi.'''

DVWP

2026-07-04T01:20:56Z

Onnowpurbo: Created page with "Ahh siap — '''DVWP = Damn Vulnerable WordPress'''. DVWP lebih realistis dibanding DVWA untuk latihan WordPress security, karena kamu belajar hal-hal yang sering muncul di p..."

Ahh siap — '''DVWP = Damn Vulnerable WordPress'''.

DVWP lebih realistis dibanding DVWA untuk latihan WordPress security, karena kamu belajar hal-hal yang sering muncul di pentest WordPress sungguhan: plugin, theme, `/wp-admin`, `/wp-login.php`, `/wp-content/`, XML-RPC, plugin vulnerable, file terbuka, credential lemah, dan salah konfigurasi.

== 1. Aturan utama: jalankan hanya di lab lokal==

Gunakan DVWP hanya di lingkungan sendiri:

Kali Linux = mesin attacker / latihan
DVWP WordPress = target vulnerable
Network = localhost / host-only / private VM network

Jangan expose DVWP ke internet publik. Karena ini memang sengaja vulnerable.

== 2. Tujuan awal: pahami struktur WordPress==

Sebelum menyerang apa pun, buka websitenya manual dulu dan pahami struktur WordPress:

/wp-login.php → halaman login
/wp-admin/ → dashboard admin
/wp-content/ → tempat theme, plugin, upload
/wp-content/plugins/ → plugin yang terpasang
/wp-content/themes/ → theme yang terpasang
/xmlrpc.php → endpoint XML-RPC WordPress
/wp-json/ → REST API WordPress

Dalam pentest WordPress, banyak celah berasal dari '''plugin dan theme''', bukan hanya dari WordPress core.

== 3. Recon dasar dari Kali Linux==

Misalnya DVWP kamu jalan di:

http://127.0.0.1:31337

Mulai dari cek service:

nmap -sV -p 31337,31338 127.0.0.1

Artinya:

-sV = deteksi service dan versinya
-p = scan hanya port tertentu
127.0.0.1 = mesin lokal

Lalu cek response web:

curl -I http://127.0.0.1:31337

Artinya:

-I = hanya tampilkan HTTP header

Ini membiasakan kamu untuk mengamati dulu sebelum langsung pakai tool besar.

== 4. Gunakan WPScan, tapi jangan bergantung 100% pada tool==

WPScan adalah tool utama untuk enumerasi WordPress.

Contoh:

wpscan --url http://127.0.0.1:31337 --enumerate u,p,t

Artinya:

--url = URL target WordPress
--enumerate = minta WPScan melakukan enumerasi
u = users
p = plugins
t = themes

Alur belajar yang bagus:

1. Jalankan WPScan
2. Lihat user/plugin/theme yang ditemukan
3. Verifikasi manual lewat browser
4. Cek path plugin di /wp-content/plugins/
5. Pahami jenis vulnerability-nya
6. Baru coba eksploitasi di lab

Jangan hanya copy-paste exploit. Biasakan bertanya:

Input mana yang vulnerable?
Butuh login atau tidak?
Impact-nya apa?
Buktinya apa?
Cara fix-nya bagaimana?

== 5. Fokus latihan pada plugin==

WordPress sering vulnerable karena plugin. Jadi untuk tiap plugin, buat catatan kecil seperti ini:

Plugin:
Versi:
Vulnerability:
Butuh login? ya/tidak
Impact:
Evidence / bukti:
Cara memperbaiki:
Referensi:

Ini sangat mirip dengan cara kerja report pentest sungguhan.

== 6. Attack surface WordPress yang perlu dipahami dulu==

Prioritaskan belajar ini:

1. User enumeration
2. Weak/default credentials
3. Vulnerable plugins
4. File upload weakness
5. Directory listing / exposed files
6. XML-RPC abuse
7. REST API exposure
8. phpMyAdmin/adminer exposure
9. wp-config.php atau backup leak
10. Privilege escalation di dalam wp-admin

Penjelasan singkat:

User enumeration
mencari username yang valid di WordPress.

Weak/default credentials
login dengan password lemah atau default.

Vulnerable plugins
plugin lama atau plugin yang punya CVE.

File upload weakness
upload file berbahaya karena validasi buruk.

Directory listing
folder bisa dibuka dan isinya kelihatan.

Exposed files
file sensitif seperti backup, .sql, .zip, .bak, atau config terbuka.

XML-RPC abuse
endpoint xmlrpc.php disalahgunakan untuk brute force atau pingback abuse.

REST API exposure
informasi user/post/settings terlalu terbuka lewat /wp-json/.

phpMyAdmin/adminer exposure
panel database terbuka ke web.

wp-config.php leak
file konfigurasi WordPress bocor, bisa berisi credential database.

== 7. Tool yang bagus untuk latihan DVWP==

Tool utama dari Kali:

Browser + Burp Suite

Untuk melihat, intercept, dan memodifikasi HTTP request.

WPScan

Untuk enumerasi WordPress, plugin, theme, user, dan vulnerability.

Nmap

Untuk cek port dan service yang terbuka.

Gobuster / Feroxbuster

Untuk mencari folder atau file tersembunyi.

Nikto

Untuk cek basic web server misconfiguration.

Curl

Untuk memahami HTTP request dan response secara manual.

Searchsploit

Untuk mencari referensi exploit lokal dari Exploit-DB.

== 8. Workflow beginner yang bagus==

Pakai alur ini setiap latihan:

Step 1: Apakah target bisa diakses?
Step 2: Port/service apa yang terbuka?
Step 3: Apakah ini WordPress?
Step 4: Versi WordPress berapa?
Step 5: User apa saja yang terlihat?
Step 6: Plugin/theme apa yang terpasang?
Step 7: Apakah versi plugin/theme vulnerable?
Step 8: Exploit-nya butuh login atau tidak?
Step 9: Bisa tidak membuktikan impact dengan aman?
Step 10: Bagaimana cara memperbaikinya?

Kebiasaan ini lebih penting daripada menghafal payload.

== 9. Rencana latihan 7 hari==

Hari 1:
Install/start DVWP dan pahami struktur aplikasinya.

Hari 2:
Latihan nmap, curl, browser inspection, dan Burp Suite.

Hari 3:
Jalankan WPScan dan verifikasi user/plugin/theme secara manual.

Hari 4:
Pelajari path plugin di /wp-content/plugins/.

Hari 5:
Latihan directory discovery dan exposed file checking.

Hari 6:
Pilih satu vulnerability plugin, pelajari pelan-pelan, lalu tulis mini report.

Hari 7:
Ulangi dari awal tanpa melihat catatan.

== 10. Buat folder catatan latihan==

Bikin folder seperti ini:

mkdir -p ~/Apps/Pentest/DVWP-notes
cd ~/Apps/Pentest/DVWP-notes

touch 01-recon.md
touch 02-wordpress-structure.md
touch 03-wpscan.md
touch 04-plugins.md
touch 05-exposed-files.md
touch 06-findings-report.md
touch 99-cheatsheet.md

Isi setiap file dengan format:

Target:
Tool yang digunakan:
Command:
Arti command:
Finding:
Evidence / bukti:
Risk:
Fix:
Lesson learned:

== 11. Contoh catatan sederhana==

Target:
http://127.0.0.1:31337

Tool:
WPScan

Command:
wpscan --url http://127.0.0.1:31337 --enumerate u,p,t

Arti:
Melakukan enumerasi user, plugin, dan theme WordPress.

Finding:
Ditemukan beberapa plugin yang bisa dicek lebih lanjut.

Evidence:
Plugin terlihat di path /wp-content/plugins/.

Risk:
Jika plugin versi lama dan vulnerable, attacker bisa mengeksploitasi website.

Fix:
Update plugin, hapus plugin tidak terpakai, batasi akses admin, dan aktifkan hardening WordPress.

Lesson learned:
Dalam WordPress pentest, plugin sering menjadi sumber vulnerability utama.

== 12. Mindset penting saat latihan==

Jangan berpikir:

Payload apa yang harus aku copy-paste?

Tapi biasakan berpikir:

Data apa yang dikirim user?
Server memproses input ini sebagai apa?
Apakah input masuk ke SQL query, command, file path, upload handler, atau HTML output?
Apa buktinya input saya memengaruhi backend?
Impact-nya apa?
Cara mitigasinya apa?

Itu mindset pentester yang benar.

== 13. Batas aman==

Yang boleh dilakukan:

DVWP lokal
VM sendiri
Docker sendiri
Lab kampus/kantor yang memang diizinkan
CTF resmi

Yang jangan dilakukan:

Scan website publik tanpa izin
Brute force login asli
Coba payload ke sistem kantor tanpa scope
Upload shell ke server bukan milik sendiri
Pakai WPScan ke domain publik tanpa izin

Intinya: '''DVWP bukan hanya tempat “nge-hack WordPress”. DVWP adalah tempat belajar cara berpikir pentester WordPress: enumerasi, verifikasi, pahami impact, lalu tulis report dengan rapi.'''

DVWA

2026-07-04T01:14:00Z

Onnowpurbo: /* Referensi */

Damn Vulnerable Web App (DVWA) adalah aplikasi web PHP / MySQL yang sangat rentan. Tujuan utamanya adalah untuk membantuan para profesional keamanan untuk menguji keterampilan dan alat-alat mereka dalam lingkungan hukum, membantu pengembang web lebih memahami proses mengamankan aplikasi web dan guru bantu / siswa untuk mengajar / belajar keamanan aplikasi web di lingkungan ruang kelas .

==Lebih Lanjut==

* [[DVWA: instalasi Ubuntu 26.04]]
* [[DVWA: instalasi Ubuntu 16.04]] '''RECOMMENDED'''
* [[SQLMap: Instalasi DVWA]]
* [[DVWA: instalasi telnetd supaya lebih asik]]
* [[menyadap password telnet]]

===Command Injection===

* [[DVWA: Command Injection]] '''RECOMMENDED'''
* [[DVWA: Command Injection Back Door]]

===Brute Force Login===

* [[DVWA: Brute Force login low]] '''RECOMMENDED'''
* [[DVWA: Brute Force login high]]
* [[DVWA: Brute Force login]]

===SQL===

* [[DVWA: Check SQLi vulnerability]]
* [[SQLMap: Contoh SQL Injection ke DVWA]]
* [[DVWA: perintah SQL di server DVWA]] '''RECOMMENDED'''
* [[DVWA: Exploit menggunakan Metasploit]]
* [[DVWA: SQL Injection]]
* [[DVWA: SQLi blind]]
* [[DVWA: Exploit menggunakan sqlmap]] '''RECOMMEND'''

===XSS===

* [[DVWA: XSS]]
* [[DVWA: Upload PHP Backdoor]] - menggunakan metasploit

===LFI / RFI / RCE===

* [[DVWA: File Path Traversal and File Inclusions(LFI / RFI)]]
* https://www.exploit-db.com/papers/12992
* https://www.offensive-security.com/metasploit-unleashed/file-inclusion-vulnerabilities/

===Burpsuite===

==Youtube==

* https://youtu.be/JKsF7D089t4 - Instalasi DVWA 1.9 di Ubuntu Server 16.04

==Referensi==

* http://www.dvwa.co.uk/
* http://www.computersecuritystudent.com/cgi-bin/CSS/process_request_v3.pl?HID=688b0913be93a4d95daed400990c4745&TYPE=SUB

==Pranala Menarik==

* [[DVWP]]

PM: Install Virtual Environment

2026-06-28T09:38:47Z

Onnowpurbo: /* 11. Cara pakai harian */

Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini mendukung Python 3.9–3.14. ([PyPI][1])

== 1. Install dependency sistem==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

Keterangan singkat:

python3-venv

dibutuhkan untuk membuat virtual environment.

graphviz

dibutuhkan agar visualisasi proses seperti Petri net, BPMN, dan *process tree* bisa digambar dengan baik.

== 2. Buat folder kerja==

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

== 3. Buat virtualenv==

python3 -m venv venv

Aktifkan:

source venv/bin/activate

Kalau berhasil, prompt terminal biasanya berubah menjadi seperti:

(venv) onno@i3:~/Apps/PM4Py$

== 4. Upgrade pip dan tools dasar==

python -m pip install --upgrade pip setuptools wheel

== 5. Install PM4Py + library pendukung==

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

Library utama:

| Library | Fungsi |
| | |
| `pm4py` | library utama *process mining* |
| `pandas`, `numpy` | olah data event log |
| `matplotlib`, `seaborn` | visualisasi data |
| `scikit-learn` | clustering, klasifikasi, anomaly detection |
| `networkx`, `graphviz` | graph/process visualization |
| `jupyterlab`, `notebook` | kerja lewat Jupyter |
| `openpyxl`, `xlsxwriter` | baca/tulis Excel |

== 6. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

Nanti di Jupyter pilih kernel:

Python PM4Py

== 7. Buat file requirements.txt==

cat > requirements.txt << 'EOF'
pm4py
pandas
numpy
matplotlib
seaborn
scikit-learn
scipy
networkx
graphviz
pyvis
jupyterlab
notebook
ipykernel
openpyxl
xlsxwriter
EOF

Nanti kalau mau install ulang cukup:

pip install -r requirements.txt

== 8. Test instalasi PM4Py==

Buat file test:

nano test_pm4py.py

Isi:

import pm4py
import pandas as pd

print("PM4Py version:", pm4py.__version__)

data = [
{"case:concept:name": "1", "concept:name": "Register", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "Check", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "Approve", "time:timestamp": "2026-01-01 10:00:00"},

{"case:concept:name": "2", "concept:name": "Register", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "Check", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "Reject", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

print(df)

# Discover Directly-Follows Graph

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

print("\nDirectly-Follows Graph:")
print(dfg)

print("\nStart activities:")
print(start_activities)

print("\nEnd activities:")
print(end_activities)

Jalankan:

python test_pm4py.py

Kalau sukses, akan keluar versi PM4Py dan hasil *Directly-Follows Graph*.

== 9. Test lewat Jupyter Notebook==

Jalankan:

jupyter lab

Lalu buat notebook baru dengan kernel:

Python PM4Py

Cell test:

import pm4py
import pandas as pd

pm4py.__version__

Cell berikutnya:

data = [
{"case:concept:name": "1", "concept:name": "A", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "B", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "C", "time:timestamp": "2026-01-01 10:00:00"},
{"case:concept:name": "2", "concept:name": "A", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "B", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "D", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

df

Cell process mining:

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

dfg

== 10. Struktur folder yang disarankan==

mkdir -p ~/Apps/PM4Py/{data,notebooks,scripts,output}

Struktur:

~/Apps/PM4Py/
├── venv/
├── data/
├── notebooks/
├── scripts/
├── output/
├── requirements.txt
└── test_pm4py.py

== 11. Cara pakai harian==

Setiap mau kerja:

cd ~/Apps/PM4Py
source venv/bin/activate
jupyter lab

Keluar dari virtualenv:

deactivate

== 12. Kalau ada error Graphviz==

Cek:

dot -V

Kalau belum ada:

sudo apt install -y graphviz

Lalu install ulang Python package-nya:

pip install -U graphviz

== 13. Versi ringkas semua command==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

python3 -m venv venv
source venv/bin/activate

python -m pip install --upgrade pip setuptools wheel

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

mkdir -p data notebooks scripts output

python -c "import pm4py; print(pm4py.__version__)"
jupyter lab

[1]: https://pypi.org/project/pm4py/?utm_source=chatgpt.com "pm4py"

PM: Install Virtual Environment

2026-06-28T09:36:02Z

Onnowpurbo: /* Discover Directly-Follows Graph */

Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini mendukung Python 3.9–3.14. ([PyPI][1])

== 1. Install dependency sistem==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

Keterangan singkat:

python3-venv

dibutuhkan untuk membuat virtual environment.

graphviz

dibutuhkan agar visualisasi proses seperti Petri net, BPMN, dan *process tree* bisa digambar dengan baik.

== 2. Buat folder kerja==

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

== 3. Buat virtualenv==

python3 -m venv venv

Aktifkan:

source venv/bin/activate

Kalau berhasil, prompt terminal biasanya berubah menjadi seperti:

(venv) onno@i3:~/Apps/PM4Py$

== 4. Upgrade pip dan tools dasar==

python -m pip install --upgrade pip setuptools wheel

== 5. Install PM4Py + library pendukung==

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

Library utama:

| Library | Fungsi |
| | |
| `pm4py` | library utama *process mining* |
| `pandas`, `numpy` | olah data event log |
| `matplotlib`, `seaborn` | visualisasi data |
| `scikit-learn` | clustering, klasifikasi, anomaly detection |
| `networkx`, `graphviz` | graph/process visualization |
| `jupyterlab`, `notebook` | kerja lewat Jupyter |
| `openpyxl`, `xlsxwriter` | baca/tulis Excel |

== 6. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

Nanti di Jupyter pilih kernel:

Python PM4Py

== 7. Buat file requirements.txt==

cat > requirements.txt << 'EOF'
pm4py
pandas
numpy
matplotlib
seaborn
scikit-learn
scipy
networkx
graphviz
pyvis
jupyterlab
notebook
ipykernel
openpyxl
xlsxwriter
EOF

Nanti kalau mau install ulang cukup:

pip install -r requirements.txt

== 8. Test instalasi PM4Py==

Buat file test:

nano test_pm4py.py

Isi:

import pm4py
import pandas as pd

print("PM4Py version:", pm4py.__version__)

data = [
{"case:concept:name": "1", "concept:name": "Register", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "Check", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "Approve", "time:timestamp": "2026-01-01 10:00:00"},

{"case:concept:name": "2", "concept:name": "Register", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "Check", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "Reject", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

print(df)

# Discover Directly-Follows Graph

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

print("\nDirectly-Follows Graph:")
print(dfg)

print("\nStart activities:")
print(start_activities)

print("\nEnd activities:")
print(end_activities)

Jalankan:

python test_pm4py.py

Kalau sukses, akan keluar versi PM4Py dan hasil *Directly-Follows Graph*.

== 9. Test lewat Jupyter Notebook==

Jalankan:

jupyter lab

Lalu buat notebook baru dengan kernel:

Python PM4Py

Cell test:

import pm4py
import pandas as pd

pm4py.__version__

Cell berikutnya:

data = [
{"case:concept:name": "1", "concept:name": "A", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "B", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "C", "time:timestamp": "2026-01-01 10:00:00"},
{"case:concept:name": "2", "concept:name": "A", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "B", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "D", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

df

Cell process mining:

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

dfg

== 10. Struktur folder yang disarankan==

mkdir -p ~/Apps/PM4Py/{data,notebooks,scripts,output}

Struktur:

~/Apps/PM4Py/
├── venv/
├── data/
├── notebooks/
├── scripts/
├── output/
├── requirements.txt
└── test_pm4py.py

== 11. Cara pakai harian==

Setiap mau kerja:

cd ~/Apps/PM4Py
source venv/bin/activate
jupyter lab

Keluar dari virtualenv:

deactivate

== 12. Kalau ada error Graphviz

Cek:

dot -V

Kalau belum ada:

sudo apt install -y graphviz

Lalu install ulang Python package-nya:

pip install -U graphviz

== 13. Versi ringkas semua command==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

python3 -m venv venv
source venv/bin/activate

python -m pip install --upgrade pip setuptools wheel

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

mkdir -p data notebooks scripts output

python -c "import pm4py; print(pm4py.__version__)"
jupyter lab

[1]: https://pypi.org/project/pm4py/?utm_source=chatgpt.com "pm4py"

PM: Install Virtual Environment

2026-06-28T09:35:23Z

Onnowpurbo: /* 8. Test instalasi PM4Py */

Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini mendukung Python 3.9–3.14. ([PyPI][1])

== 1. Install dependency sistem==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

Keterangan singkat:

python3-venv

dibutuhkan untuk membuat virtual environment.

graphviz

dibutuhkan agar visualisasi proses seperti Petri net, BPMN, dan *process tree* bisa digambar dengan baik.

== 2. Buat folder kerja==

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

== 3. Buat virtualenv==

python3 -m venv venv

Aktifkan:

source venv/bin/activate

Kalau berhasil, prompt terminal biasanya berubah menjadi seperti:

(venv) onno@i3:~/Apps/PM4Py$

== 4. Upgrade pip dan tools dasar==

python -m pip install --upgrade pip setuptools wheel

== 5. Install PM4Py + library pendukung==

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

Library utama:

| Library | Fungsi |
| | |
| `pm4py` | library utama *process mining* |
| `pandas`, `numpy` | olah data event log |
| `matplotlib`, `seaborn` | visualisasi data |
| `scikit-learn` | clustering, klasifikasi, anomaly detection |
| `networkx`, `graphviz` | graph/process visualization |
| `jupyterlab`, `notebook` | kerja lewat Jupyter |
| `openpyxl`, `xlsxwriter` | baca/tulis Excel |

== 6. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

Nanti di Jupyter pilih kernel:

Python PM4Py

== 7. Buat file requirements.txt==

cat > requirements.txt << 'EOF'
pm4py
pandas
numpy
matplotlib
seaborn
scikit-learn
scipy
networkx
graphviz
pyvis
jupyterlab
notebook
ipykernel
openpyxl
xlsxwriter
EOF

Nanti kalau mau install ulang cukup:

pip install -r requirements.txt

== 8. Test instalasi PM4Py==

Buat file test:

nano test_pm4py.py

Isi:

import pm4py
import pandas as pd

print("PM4Py version:", pm4py.__version__)

data = [
{"case:concept:name": "1", "concept:name": "Register", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "Check", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "Approve", "time:timestamp": "2026-01-01 10:00:00"},

{"case:concept:name": "2", "concept:name": "Register", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "Check", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "Reject", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

print(df)

= Discover Directly-Follows Graph=

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

print("\nDirectly-Follows Graph:")
print(dfg)

print("\nStart activities:")
print(start_activities)

print("\nEnd activities:")
print(end_activities)

Jalankan:

python test_pm4py.py

Kalau sukses, akan keluar versi PM4Py dan hasil *Directly-Follows Graph*.

== 9. Test lewat Jupyter Notebook==

Jalankan:

jupyter lab

Lalu buat notebook baru dengan kernel:

Python PM4Py

Cell test:

import pm4py
import pandas as pd

pm4py.__version__

Cell berikutnya:

data = [
{"case:concept:name": "1", "concept:name": "A", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "B", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "C", "time:timestamp": "2026-01-01 10:00:00"},
{"case:concept:name": "2", "concept:name": "A", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "B", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "D", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

df

Cell process mining:

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

dfg

== 10. Struktur folder yang disarankan==

mkdir -p ~/Apps/PM4Py/{data,notebooks,scripts,output}

Struktur:

~/Apps/PM4Py/
├── venv/
├── data/
├── notebooks/
├── scripts/
├── output/
├── requirements.txt
└── test_pm4py.py

== 11. Cara pakai harian==

Setiap mau kerja:

cd ~/Apps/PM4Py
source venv/bin/activate
jupyter lab

Keluar dari virtualenv:

deactivate

== 12. Kalau ada error Graphviz

Cek:

dot -V

Kalau belum ada:

sudo apt install -y graphviz

Lalu install ulang Python package-nya:

pip install -U graphviz

== 13. Versi ringkas semua command==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

python3 -m venv venv
source venv/bin/activate

python -m pip install --upgrade pip setuptools wheel

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

mkdir -p data notebooks scripts output

python -c "import pm4py; print(pm4py.__version__)"
jupyter lab

[1]: https://pypi.org/project/pm4py/?utm_source=chatgpt.com "pm4py"

PM: Install Virtual Environment

2026-06-28T09:34:49Z

Onnowpurbo: /* 6. Daftarkan kernel Jupyter */

Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini mendukung Python 3.9–3.14. ([PyPI][1])

== 1. Install dependency sistem==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

Keterangan singkat:

python3-venv

dibutuhkan untuk membuat virtual environment.

graphviz

dibutuhkan agar visualisasi proses seperti Petri net, BPMN, dan *process tree* bisa digambar dengan baik.

== 2. Buat folder kerja==

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

== 3. Buat virtualenv==

python3 -m venv venv

Aktifkan:

source venv/bin/activate

Kalau berhasil, prompt terminal biasanya berubah menjadi seperti:

(venv) onno@i3:~/Apps/PM4Py$

== 4. Upgrade pip dan tools dasar==

python -m pip install --upgrade pip setuptools wheel

== 5. Install PM4Py + library pendukung==

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

Library utama:

| Library | Fungsi |
| | |
| `pm4py` | library utama *process mining* |
| `pandas`, `numpy` | olah data event log |
| `matplotlib`, `seaborn` | visualisasi data |
| `scikit-learn` | clustering, klasifikasi, anomaly detection |
| `networkx`, `graphviz` | graph/process visualization |
| `jupyterlab`, `notebook` | kerja lewat Jupyter |
| `openpyxl`, `xlsxwriter` | baca/tulis Excel |

== 6. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

Nanti di Jupyter pilih kernel:

Python PM4Py

== 7. Buat file requirements.txt==

cat > requirements.txt << 'EOF'
pm4py
pandas
numpy
matplotlib
seaborn
scikit-learn
scipy
networkx
graphviz
pyvis
jupyterlab
notebook
ipykernel
openpyxl
xlsxwriter
EOF

Nanti kalau mau install ulang cukup:

pip install -r requirements.txt

== 8. Test instalasi PM4Py==

Buat file test:

nano test_pm4py.py

Isi:

python
import pm4py
import pandas as pd

print("PM4Py version:", pm4py.__version__)

data = [
{"case:concept:name": "1", "concept:name": "Register", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "Check", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "Approve", "time:timestamp": "2026-01-01 10:00:00"},

{"case:concept:name": "2", "concept:name": "Register", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "Check", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "Reject", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

print(df)

= Discover Directly-Follows Graph=

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

print("\nDirectly-Follows Graph:")
print(dfg)

print("\nStart activities:")
print(start_activities)

print("\nEnd activities:")
print(end_activities)

Jalankan:

python test_pm4py.py

Kalau sukses, akan keluar versi PM4Py dan hasil *Directly-Follows Graph*.

== 9. Test lewat Jupyter Notebook==

Jalankan:

jupyter lab

Lalu buat notebook baru dengan kernel:

Python PM4Py

Cell test:

import pm4py
import pandas as pd

pm4py.__version__

Cell berikutnya:

data = [
{"case:concept:name": "1", "concept:name": "A", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "B", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "C", "time:timestamp": "2026-01-01 10:00:00"},
{"case:concept:name": "2", "concept:name": "A", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "B", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "D", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

df

Cell process mining:

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

dfg

== 10. Struktur folder yang disarankan==

mkdir -p ~/Apps/PM4Py/{data,notebooks,scripts,output}

Struktur:

~/Apps/PM4Py/
├── venv/
├── data/
├── notebooks/
├── scripts/
├── output/
├── requirements.txt
└── test_pm4py.py

== 11. Cara pakai harian==

Setiap mau kerja:

cd ~/Apps/PM4Py
source venv/bin/activate
jupyter lab

Keluar dari virtualenv:

deactivate

== 12. Kalau ada error Graphviz

Cek:

dot -V

Kalau belum ada:

sudo apt install -y graphviz

Lalu install ulang Python package-nya:

pip install -U graphviz

== 13. Versi ringkas semua command==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

python3 -m venv venv
source venv/bin/activate

python -m pip install --upgrade pip setuptools wheel

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

mkdir -p data notebooks scripts output

python -c "import pm4py; print(pm4py.__version__)"
jupyter lab

[1]: https://pypi.org/project/pm4py/?utm_source=chatgpt.com "pm4py"

PM: Install Virtual Environment

2026-06-28T09:33:18Z

Onnowpurbo: /* 4. Upgrade pip dan tools dasar */

Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini mendukung Python 3.9–3.14. ([PyPI][1])

== 1. Install dependency sistem==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

Keterangan singkat:

python3-venv

dibutuhkan untuk membuat virtual environment.

graphviz

dibutuhkan agar visualisasi proses seperti Petri net, BPMN, dan *process tree* bisa digambar dengan baik.

== 2. Buat folder kerja==

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

== 3. Buat virtualenv==

python3 -m venv venv

Aktifkan:

source venv/bin/activate

Kalau berhasil, prompt terminal biasanya berubah menjadi seperti:

(venv) onno@i3:~/Apps/PM4Py$

== 4. Upgrade pip dan tools dasar==

python -m pip install --upgrade pip setuptools wheel

== 5. Install PM4Py + library pendukung==

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

Library utama:

| Library | Fungsi |
| | |
| `pm4py` | library utama *process mining* |
| `pandas`, `numpy` | olah data event log |
| `matplotlib`, `seaborn` | visualisasi data |
| `scikit-learn` | clustering, klasifikasi, anomaly detection |
| `networkx`, `graphviz` | graph/process visualization |
| `jupyterlab`, `notebook` | kerja lewat Jupyter |
| `openpyxl`, `xlsxwriter` | baca/tulis Excel |

== 6. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

Nanti di Jupyter pilih kernel:

Python PM4Py

== 7. Buat file requirements.txt

cat > requirements.txt << 'EOF'
pm4py
pandas
numpy
matplotlib
seaborn
scikit-learn
scipy
networkx
graphviz
pyvis
jupyterlab
notebook
ipykernel
openpyxl
xlsxwriter
EOF

Nanti kalau mau install ulang cukup:

pip install -r requirements.txt

== 8. Test instalasi PM4Py==

Buat file test:

nano test_pm4py.py

Isi:

python
import pm4py
import pandas as pd

print("PM4Py version:", pm4py.__version__)

data = [
{"case:concept:name": "1", "concept:name": "Register", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "Check", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "Approve", "time:timestamp": "2026-01-01 10:00:00"},

{"case:concept:name": "2", "concept:name": "Register", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "Check", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "Reject", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

print(df)

= Discover Directly-Follows Graph=

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

print("\nDirectly-Follows Graph:")
print(dfg)

print("\nStart activities:")
print(start_activities)

print("\nEnd activities:")
print(end_activities)

Jalankan:

python test_pm4py.py

Kalau sukses, akan keluar versi PM4Py dan hasil *Directly-Follows Graph*.

== 9. Test lewat Jupyter Notebook==

Jalankan:

jupyter lab

Lalu buat notebook baru dengan kernel:

Python PM4Py

Cell test:

import pm4py
import pandas as pd

pm4py.__version__

Cell berikutnya:

data = [
{"case:concept:name": "1", "concept:name": "A", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "B", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "C", "time:timestamp": "2026-01-01 10:00:00"},
{"case:concept:name": "2", "concept:name": "A", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "B", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "D", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

df

Cell process mining:

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

dfg

== 10. Struktur folder yang disarankan==

mkdir -p ~/Apps/PM4Py/{data,notebooks,scripts,output}

Struktur:

~/Apps/PM4Py/
├── venv/
├── data/
├── notebooks/
├── scripts/
├── output/
├── requirements.txt
└── test_pm4py.py

== 11. Cara pakai harian==

Setiap mau kerja:

cd ~/Apps/PM4Py
source venv/bin/activate
jupyter lab

Keluar dari virtualenv:

deactivate

== 12. Kalau ada error Graphviz

Cek:

dot -V

Kalau belum ada:

sudo apt install -y graphviz

Lalu install ulang Python package-nya:

pip install -U graphviz

== 13. Versi ringkas semua command==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

python3 -m venv venv
source venv/bin/activate

python -m pip install --upgrade pip setuptools wheel

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

mkdir -p data notebooks scripts output

python -c "import pm4py; print(pm4py.__version__)"
jupyter lab

[1]: https://pypi.org/project/pm4py/?utm_source=chatgpt.com "pm4py"

PM: Install Virtual Environment

2026-06-28T09:32:04Z

Onnowpurbo: Created page with "Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini menduk..."

Berikut langkah lengkap membuat '''virtualenv PM4Py di `~/Apps/PM4Py`''' untuk *process mining*. PM4Py resmi bisa di-install dengan `pip install -U pm4py`, dan saat ini mendukung Python 3.9–3.14. ([PyPI][1])

== 1. Install dependency sistem==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

Keterangan singkat:

python3-venv

dibutuhkan untuk membuat virtual environment.

graphviz

dibutuhkan agar visualisasi proses seperti Petri net, BPMN, dan *process tree* bisa digambar dengan baik.

== 2. Buat folder kerja==

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

== 3. Buat virtualenv==

python3 -m venv venv

Aktifkan:

source venv/bin/activate

Kalau berhasil, prompt terminal biasanya berubah menjadi seperti:

(venv) onno@i3:~/Apps/PM4Py$

== 4. Upgrade pip dan tools dasar==

python -m pip install --upgrade pip setuptools wheel

== 5. Install PM4Py + library pendukung

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

Library utama:

| Library | Fungsi |
| | |
| `pm4py` | library utama *process mining* |
| `pandas`, `numpy` | olah data event log |
| `matplotlib`, `seaborn` | visualisasi data |
| `scikit-learn` | clustering, klasifikasi, anomaly detection |
| `networkx`, `graphviz` | graph/process visualization |
| `jupyterlab`, `notebook` | kerja lewat Jupyter |
| `openpyxl`, `xlsxwriter` | baca/tulis Excel |

== 6. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

Nanti di Jupyter pilih kernel:

Python PM4Py

== 7. Buat file requirements.txt

cat > requirements.txt << 'EOF'
pm4py
pandas
numpy
matplotlib
seaborn
scikit-learn
scipy
networkx
graphviz
pyvis
jupyterlab
notebook
ipykernel
openpyxl
xlsxwriter
EOF

Nanti kalau mau install ulang cukup:

pip install -r requirements.txt

== 8. Test instalasi PM4Py==

Buat file test:

nano test_pm4py.py

Isi:

python
import pm4py
import pandas as pd

print("PM4Py version:", pm4py.__version__)

data = [
{"case:concept:name": "1", "concept:name": "Register", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "Check", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "Approve", "time:timestamp": "2026-01-01 10:00:00"},

{"case:concept:name": "2", "concept:name": "Register", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "Check", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "Reject", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

print(df)

= Discover Directly-Follows Graph=

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

print("\nDirectly-Follows Graph:")
print(dfg)

print("\nStart activities:")
print(start_activities)

print("\nEnd activities:")
print(end_activities)

Jalankan:

python test_pm4py.py

Kalau sukses, akan keluar versi PM4Py dan hasil *Directly-Follows Graph*.

== 9. Test lewat Jupyter Notebook==

Jalankan:

jupyter lab

Lalu buat notebook baru dengan kernel:

Python PM4Py

Cell test:

import pm4py
import pandas as pd

pm4py.__version__

Cell berikutnya:

data = [
{"case:concept:name": "1", "concept:name": "A", "time:timestamp": "2026-01-01 08:00:00"},
{"case:concept:name": "1", "concept:name": "B", "time:timestamp": "2026-01-01 09:00:00"},
{"case:concept:name": "1", "concept:name": "C", "time:timestamp": "2026-01-01 10:00:00"},
{"case:concept:name": "2", "concept:name": "A", "time:timestamp": "2026-01-02 08:00:00"},
{"case:concept:name": "2", "concept:name": "B", "time:timestamp": "2026-01-02 09:00:00"},
{"case:concept:name": "2", "concept:name": "D", "time:timestamp": "2026-01-02 10:00:00"},
]

df = pd.DataFrame(data)
df["time:timestamp"] = pd.to_datetime(df["time:timestamp"])

df

Cell process mining:

dfg, start_activities, end_activities = pm4py.discover_dfg(df)

dfg

== 10. Struktur folder yang disarankan==

mkdir -p ~/Apps/PM4Py/{data,notebooks,scripts,output}

Struktur:

~/Apps/PM4Py/
├── venv/
├── data/
├── notebooks/
├── scripts/
├── output/
├── requirements.txt
└── test_pm4py.py

== 11. Cara pakai harian==

Setiap mau kerja:

cd ~/Apps/PM4Py
source venv/bin/activate
jupyter lab

Keluar dari virtualenv:

deactivate

== 12. Kalau ada error Graphviz

Cek:

dot -V

Kalau belum ada:

sudo apt install -y graphviz

Lalu install ulang Python package-nya:

pip install -U graphviz

== 13. Versi ringkas semua command==

sudo apt update
sudo apt install -y python3 python3-venv python3-pip graphviz

mkdir -p ~/Apps/PM4Py
cd ~/Apps/PM4Py

python3 -m venv venv
source venv/bin/activate

python -m pip install --upgrade pip setuptools wheel

pip install -U \
pm4py \
pandas \
numpy \
matplotlib \
seaborn \
scikit-learn \
scipy \
networkx \
graphviz \
pyvis \
jupyterlab \
notebook \
ipykernel \
openpyxl \
xlsxwriter

python -m ipykernel install --user --name pm4py --display-name "Python PM4Py"

mkdir -p data notebooks scripts output

python -c "import pm4py; print(pm4py.__version__)"
jupyter lab

[1]: https://pypi.org/project/pm4py/?utm_source=chatgpt.com "pm4py"

Process Mining

2026-06-28T09:31:57Z

Onnowpurbo: /* Pranala Menarik */

Penambangan proses adalah sekumpulan teknik yang menghubungkan bidang ilmu data dan manajemen proses untuk mendukung analisis proses operasional berdasarkan log peristiwa. Tujuan dari penambangan proses adalah untuk mengubah data peristiwa menjadi wawasan dan tindakan. Penambangan proses merupakan bagian integral dari ilmu data, didorong oleh ketersediaan data peristiwa dan keinginan untuk meningkatkan proses. Teknik penambangan proses menggunakan data peristiwa untuk menunjukkan apa yang sebenarnya dilakukan orang, mesin, dan organisasi. Penambangan proses memberikan wawasan baru yang dapat digunakan untuk mengidentifikasi jalur eksekusi yang diambil oleh proses operasional dan mengatasi masalah kinerja dan kepatuhannya.

Penambangan proses dimulai dari data peristiwa. Input untuk penambangan proses adalah log peristiwa. Log peristiwa melihat proses dari sudut tertentu. Setiap peristiwa dalam log harus berisi

# pengidentifikasi unik untuk instance proses tertentu (disebut id kasus),
# aktivitas (deskripsi peristiwa yang sedang terjadi), dan
# stempel waktu.

Mungkin ada atribut peristiwa tambahan yang mengacu pada sumber daya, biaya, dll., tetapi ini bersifat opsional. Dengan sedikit usaha, data tersebut dapat diambil dari sistem informasi yang mendukung proses operasional. Penambangan proses menggunakan data peristiwa ini untuk menjawab berbagai pertanyaan terkait proses.

Ada tiga kelas utama teknik process mining:

* penemuan proses,
* pemeriksaan kesesuaian, dan
* peningkatan proses.

Di masa lalu istilah seperti Workflow Mining dan Automated Business Process Discovery (ABPD) digunakan.

==Pranala Menarik==

* [[PM: Install Virtual Environment]]
* [[PM: Methods in pm4py]]
* [[PM: Bottleneck Detection]]
* [[PM: Transition System Miner]]

==Contoh Dataset==

* https://processmining.org/event-data.html#data
* https://figshare.com/articles/dataset/Event_Log_Sampling_Datasets/20354505

==Platform==

* https://id.celonis.cloud/user/ui/
* https://fluxicon.com/disco/
* https://apromore.com/editions-and-pricing/
* http://rapidprom.org/
* https://rapidminer.com/

==Tool==

===Open Source===

* https://promtools.org/
* https://www.processmining.org/
* https://github.com/pm4py/pm4py-core
* https://pm4py.fit.fraunhofer.de/

===Non Open Source===

* https://apromore.com/
* https://documentation.apromore.org/

==Referensi==

* https://github.com/TheWoops/awesome-processmining
* https://www.xes-standard.org/

==Contoh==

* [[Apromore: Docker Install]]
* [[pm4py: install]]
* [[pm4py: beda berbagai model]]
* [[pm4py: beda masing2 visualisasi]]

* [[pm4py: pm-heuristic.py]]
* [[pm4py: pm-dfg.py]]
* [[pm4py: pm-bpmn.py]]
* [[pm4py: pd-heuristic.py]]
* [[pm4py: pd-dfg.py]]
* [[pm4py: pd-bpmn.py]]
* [[pm4py: deteksi bottleneck]]
* [[pm4py: ilp_miner]]
* [[prom: install]]
* [[pm4py: contoh minimal dari csv]]
* [[pm4py: contoh minimal dari xes]]
* [[pm4py: analisa bottleneck dari csv]]
* [[pm4py: analisa bottleneck dari xes]]
* [[pm4py: analisa performance dari xes]]
* [[pm4py: COLLAB: source sederhana data csv]]
* [[pm4py: COLLAB: analisa bottleneck dari csv]]
* [[pm4py: Animasi sebaiknya pakai ProM]]

==Referensi / Buku==

* [https://fluxicon.com/book/read/# Process Mining in Practice]
* https://research.aimultiple.com/open-source-process-mining/
* https://fmannhardt.de/blog/

ML: Python Virtual Environment

2026-06-28T08:24:10Z

Onnowpurbo: /* 9. Daftarkan kernel Jupyter */

Install Miniconda di Ubuntu 26.04 bisa langsung di home folder, '''tidak perlu `sudo`'''. Ini cocok untuk kasus Bapak karena `apt` tidak menyediakan Python 3.12, sedangkan TensorFlow belum cocok dengan Python 3.14.

Miniconda adalah installer minimal untuk `conda`, Python, dan paket dasar saja. ([Anaconda][1])

== 1. Install dependency dasar==

sudo apt update
sudo apt install -y wget curl bzip2 ca-certificates

== 2. Download installer Miniconda==

cd ~/Downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ini sesuai pola installer Linux resmi: `Miniconda3-latest-Linux-x86_64.sh`. Dokumentasi conda juga menjelaskan installer Linux dijalankan dengan format `bash <conda-installer-name>-latest-Linux-x86_64.sh`. ([Conda Documentation][2])

== 3. Jalankan installer==

bash Miniconda3-latest-Linux-x86_64.sh

Saat muncul pertanyaan:

Please, press ENTER to continue

Tekan '''Enter'''.

Saat muncul lisensi, tekan `q` untuk keluar dari tampilan lisensi, lalu ketik:

yes

Saat ditanya lokasi instalasi, terima default:

/home/onno/miniconda3

Tekan '''Enter'''.

Saat ditanya:

Do you wish to update your shell profile to automatically initialize conda?

Pilih:

yes

== 4. Aktifkan conda==

Tutup terminal lalu buka lagi.

Atau langsung jalankan:

source ~/.bashrc

Cek:

conda --version

Kalau keluar seperti:

conda 25.x.x

berarti sukses.

== 5. Matikan auto-activate base==

Saya sarankan supaya terminal tidak selalu masuk environment `(base)`:

conda config --set auto_activate_base false

Tutup terminal lalu buka lagi.

Kalau ingin mengaktifkan conda manual:

source ~/miniconda3/etc/profile.d/conda.sh

== 6. Buat environment Python 3.12 untuk ML/TensorFlow==

source ~/miniconda3/etc/profile.d/conda.sh

conda create -y -n python-ml python=3.12
conda activate python-ml

Cek:

python --version

Harus Python 3.12.x.

== 7. Install paket machine learning==

python -m pip install --upgrade pip setuptools wheel

python -m pip install \
numpy \
pandas \
matplotlib \
scikit-learn \
tensorflow \
keras \
jupyter \
notebook \
ipykernel

== 8. Test TensorFlow==

python -c "import tensorflow as tf; print(tf.__version__)"

Cek GPU:

python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

== 9. Daftarkan kernel Jupyter==

python -m ipykernel install --user --name python-ml --display-name "Python ML TensorFlow"

Jalankan Jupyter:

jupyter notebook

== Versi cepat: copy-paste==

sudo apt update
sudo apt install -y wget curl bzip2 ca-certificates

cd ~/Downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

source ~/.bashrc

conda config --set auto_activate_base false

source ~/miniconda3/etc/profile.d/conda.sh

conda create -y -n python-ml python=3.12
conda activate python-ml

python -m pip install --upgrade pip setuptools wheel
python -m pip install numpy pandas matplotlib scikit-learn tensorflow keras jupyter notebook ipykernel

python -c "import tensorflow as tf; print(tf.__version__)"
python -m ipykernel install --user --name python-ml --display-name "Python ML TensorFlow"

[1]: https://www.anaconda.com/download?utm_source=chatgpt.com "Download Anaconda Distribution"
[2]: https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html?utm_source=chatgpt.com "Installing on Linux — conda 26.5.4.dev62 documentation"

ML: Python Virtual Environment

2026-06-28T08:21:53Z

Onnowpurbo: /* 5. Matikan auto-activate base */

Install Miniconda di Ubuntu 26.04 bisa langsung di home folder, '''tidak perlu `sudo`'''. Ini cocok untuk kasus Bapak karena `apt` tidak menyediakan Python 3.12, sedangkan TensorFlow belum cocok dengan Python 3.14.

Miniconda adalah installer minimal untuk `conda`, Python, dan paket dasar saja. ([Anaconda][1])

== 1. Install dependency dasar==

sudo apt update
sudo apt install -y wget curl bzip2 ca-certificates

== 2. Download installer Miniconda==

cd ~/Downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ini sesuai pola installer Linux resmi: `Miniconda3-latest-Linux-x86_64.sh`. Dokumentasi conda juga menjelaskan installer Linux dijalankan dengan format `bash <conda-installer-name>-latest-Linux-x86_64.sh`. ([Conda Documentation][2])

== 3. Jalankan installer==

bash Miniconda3-latest-Linux-x86_64.sh

Saat muncul pertanyaan:

Please, press ENTER to continue

Tekan '''Enter'''.

Saat muncul lisensi, tekan `q` untuk keluar dari tampilan lisensi, lalu ketik:

yes

Saat ditanya lokasi instalasi, terima default:

/home/onno/miniconda3

Tekan '''Enter'''.

Saat ditanya:

Do you wish to update your shell profile to automatically initialize conda?

Pilih:

yes

== 4. Aktifkan conda==

Tutup terminal lalu buka lagi.

Atau langsung jalankan:

source ~/.bashrc

Cek:

conda --version

Kalau keluar seperti:

conda 25.x.x

berarti sukses.

== 5. Matikan auto-activate base==

Saya sarankan supaya terminal tidak selalu masuk environment `(base)`:

conda config --set auto_activate_base false

Tutup terminal lalu buka lagi.

Kalau ingin mengaktifkan conda manual:

source ~/miniconda3/etc/profile.d/conda.sh

== 6. Buat environment Python 3.12 untuk ML/TensorFlow==

source ~/miniconda3/etc/profile.d/conda.sh

conda create -y -n python-ml python=3.12
conda activate python-ml

Cek:

python --version

Harus Python 3.12.x.

== 7. Install paket machine learning==

python -m pip install --upgrade pip setuptools wheel

python -m pip install \
numpy \
pandas \
matplotlib \
scikit-learn \
tensorflow \
keras \
jupyter \
notebook \
ipykernel

== 8. Test TensorFlow==

python -c "import tensorflow as tf; print(tf.__version__)"

Cek GPU:

python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

== 9. Daftarkan kernel Jupyter==

kernel install --user --name python-ml --display-name "Python ML TensorFlow"

Jalankan Jupyter:

jupyter notebook

== Versi cepat: copy-paste==

sudo apt update
sudo apt install -y wget curl bzip2 ca-certificates

cd ~/Downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

source ~/.bashrc

conda config --set auto_activate_base false

source ~/miniconda3/etc/profile.d/conda.sh

conda create -y -n python-ml python=3.12
conda activate python-ml

python -m pip install --upgrade pip setuptools wheel
python -m pip install numpy pandas matplotlib scikit-learn tensorflow keras jupyter notebook ipykernel

python -c "import tensorflow as tf; print(tf.__version__)"
python -m ipykernel install --user --name python-ml --display-name "Python ML TensorFlow"

[1]: https://www.anaconda.com/download?utm_source=chatgpt.com "Download Anaconda Distribution"
[2]: https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html?utm_source=chatgpt.com "Installing on Linux — conda 26.5.4.dev62 documentation"

ML: Python Virtual Environment

2026-06-28T08:21:34Z

Onnowpurbo:

Install Miniconda di Ubuntu 26.04 bisa langsung di home folder, '''tidak perlu `sudo`'''. Ini cocok untuk kasus Bapak karena `apt` tidak menyediakan Python 3.12, sedangkan TensorFlow belum cocok dengan Python 3.14.

Miniconda adalah installer minimal untuk `conda`, Python, dan paket dasar saja. ([Anaconda][1])

== 1. Install dependency dasar==

sudo apt update
sudo apt install -y wget curl bzip2 ca-certificates

== 2. Download installer Miniconda==

cd ~/Downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ini sesuai pola installer Linux resmi: `Miniconda3-latest-Linux-x86_64.sh`. Dokumentasi conda juga menjelaskan installer Linux dijalankan dengan format `bash <conda-installer-name>-latest-Linux-x86_64.sh`. ([Conda Documentation][2])

== 3. Jalankan installer==

bash Miniconda3-latest-Linux-x86_64.sh

Saat muncul pertanyaan:

Please, press ENTER to continue

Tekan '''Enter'''.

Saat muncul lisensi, tekan `q` untuk keluar dari tampilan lisensi, lalu ketik:

yes

Saat ditanya lokasi instalasi, terima default:

/home/onno/miniconda3

Tekan '''Enter'''.

Saat ditanya:

Do you wish to update your shell profile to automatically initialize conda?

Pilih:

yes

== 4. Aktifkan conda==

Tutup terminal lalu buka lagi.

Atau langsung jalankan:

source ~/.bashrc

Cek:

conda --version

Kalau keluar seperti:

conda 25.x.x

berarti sukses.

== 5. Matikan auto-activate base==

Saya sarankan supaya terminal tidak selalu masuk environment `(base)`:

conda config --set auto_activate_base false

Tutup terminal lalu buka lagi.

Kalau ingin mengaktifkan conda manual:

source ~/miniconda3/etc/profile.d/conda.sh

== 6. Buat environment Python 3.12 untuk ML/TensorFlow

source ~/miniconda3/etc/profile.d/conda.sh

conda create -y -n python-ml python=3.12
conda activate python-ml

Cek:

python --version

Harus Python 3.12.x.

== 7. Install paket machine learning==

python -m pip install --upgrade pip setuptools wheel

python -m pip install \
numpy \
pandas \
matplotlib \
scikit-learn \
tensorflow \
keras \
jupyter \
notebook \
ipykernel

== 8. Test TensorFlow==

python -c "import tensorflow as tf; print(tf.__version__)"

Cek GPU:

python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

== 9. Daftarkan kernel Jupyter==

kernel install --user --name python-ml --display-name "Python ML TensorFlow"

Jalankan Jupyter:

jupyter notebook

== Versi cepat: copy-paste==

sudo apt update
sudo apt install -y wget curl bzip2 ca-certificates

cd ~/Downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

source ~/.bashrc

conda config --set auto_activate_base false

source ~/miniconda3/etc/profile.d/conda.sh

conda create -y -n python-ml python=3.12
conda activate python-ml

python -m pip install --upgrade pip setuptools wheel
python -m pip install numpy pandas matplotlib scikit-learn tensorflow keras jupyter notebook ipykernel

python -c "import tensorflow as tf; print(tf.__version__)"
python -m ipykernel install --user --name python-ml --display-name "Python ML TensorFlow"

[1]: https://www.anaconda.com/download?utm_source=chatgpt.com "Download Anaconda Distribution"
[2]: https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html?utm_source=chatgpt.com "Installing on Linux — conda 26.5.4.dev62 documentation"

GNS3: Instalasi di Ubuntu 26.04 + VENV + docker

2026-06-28T08:01:30Z

Onnowpurbo: /* 4. Upgrade pip */

Berikut cara instalasi '''GNS3 di Python virtual environment''' menggunakan folder:

~/Apps/GNS3

Catatan penting: instalasi via `pip/venv` cocok untuk '''GNS3 GUI + GNS3 server''', tetapi emulator seperti '''QEMU/KVM, Dynamips, uBridge, VPCS, Wireshark, Docker''' tetap lebih aman dipasang dari package OS. GNS3 server memang bertugas mengelola QEMU/KVM, Docker, VPCS, VirtualBox, VMware, dan Dynamips. ([PyPI][1])

== 1. Install dependency OS==

Untuk Ubuntu/Debian:

sudo apt update
sudo apt install -y \
qemu-system-x86 \
qemu-utils \
libvirt-daemon-system \
libvirt-clients \
bridge-utils \
virtinst \
cpu-checker \
wireshark \
dynamips \
vpcs

Tambahkan user ke grup yang diperlukan:

sudo usermod -aG kvm,libvirt,wireshark,docker $USER

Logout-login dulu setelah perintah di atas, atau reboot:

reboot

== 2. Buat folder kerja GNS3==

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3

== 3. Buat Python virtual environment==

python3 -m venv venv

Aktifkan venv:

source ~/Apps/GNS3/venv/bin/activate

Pastikan prompt berubah, biasanya ada `(venv)`.

== 4. Upgrade pip==

python -m pip install --upgrade pip setuptools wheel
python -m pip install --upgrade PyQt6 PyQt6-sip sip PyQt6-WebEngine

SITEPKG=$(python -c "import site; print(site.getsitepackages()[0])")

cat > "$SITEPKG/sip.py" <<'EOF'
from PyQt6.sip import *
EOF

== 5. Install GNS3 GUI dan server==

Versi PyPI terbaru yang terlihat saat ini adalah '''gns3-gui 3.0.6''', dirilis 28 Januari 2026. ([PyPI][2])
GNS3 juga menyatakan instalasi dari PyPI bisa dilakukan dengan `pip install gns3-gui` dan `gns3-server`; contoh rilis 3.0 memakai `gns3-gui==3.0.5` dan `gns3-server==3.0.5`. ([GNS3][3])

Install versi terbaru:

python -m pip install gns3-gui gns3-server

Atau kalau ingin versi dikunci supaya GUI dan server tidak mismatch:

python -m pip install gns3-gui==3.0.6 gns3-server==3.0.6

Cek hasil instalasi:

gns3 --version
gns3server --version

== 6. Jalankan GNS3==

Aktifkan dulu venv:

source ~/Apps/GNS3/venv/bin/activate

Jalankan server:

gns3server

Di terminal lain, aktifkan venv lagi:

source ~/Apps/GNS3/venv/bin/activate
gns3

Atau langsung jalankan GUI saja:

~/Apps/GNS3/venv/bin/gns3

== 7. Buat script launcher supaya mudah==

Buat file:

nano ~/Apps/GNS3/start-gns3.sh

Isi:

*!/usr/bin/env bash
cd ~/Apps/GNS3 || exit 1
source venv/bin/activate
gns3

Simpan, lalu:

chmod +x ~/Apps/GNS3/start-gns3.sh

Jalankan:

~/Apps/GNS3/start-gns3.sh

== 8. Buat shortcut desktop==

mkdir -p ~/.local/share/applications
nano ~/.local/share/applications/gns3-venv.desktop

Isi:

[Desktop Entry]
Name=GNS3 VENV
Comment=Run GNS3 from ~/Apps/GNS3 Python virtual environment
Exec=/home/onno/Apps/GNS3/start-gns3.sh
Icon=gns3
Terminal=false
Type=Application
Categories=Network;Education;

Aktifkan:

chmod +x ~/.local/share/applications/gns3-venv.desktop
update-desktop-database ~/.local/share/applications 2>/dev/null

== 9. Struktur folder yang disarankan

~/Apps/GNS3/
├── venv/
├── start-gns3.sh
├── projects/
├── images/
└── appliances/

Buat foldernya:

mkdir -p ~/Apps/GNS3/projects ~/Apps/GNS3/images ~/Apps/GNS3/appliances

Di dalam GNS3 GUI, arahkan path project ke:

/home/onno/Apps/GNS3/projects

== 10. Kalau error PyQt

Kalau muncul error seperti modul Qt/PyQt tidak ditemukan, coba:

source ~/Apps/GNS3/venv/bin/activate
python -m pip install PyQt6 PyQt6-Sip PyQt6-WebEngine

Lalu jalankan lagi:

gns3

== 11. Kalau QEMU/KVM tidak jalan==

Cek KVM:

ls -l /dev/kvm
groups

Pastikan user ada di grup `kvm` dan `libvirt`.

Tes QEMU:

qemu-system-x86_64 --version

Cek libvirt:

systemctl status libvirtd

Kalau belum aktif:

sudo systemctl enable --now libvirtd

== 12. Perintah uninstall

Kalau ingin hapus instalasi venv GNS3:

rm -rf ~/Apps/GNS3/venv
rm -f ~/.local/share/applications/gns3-venv.desktop

Package OS seperti QEMU/Wireshark tidak ikut terhapus.

== Ringkasnya==

Paling penting:

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3
python3 -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
python -m pip install gns3-gui gns3-server
gns3

Untuk penggunaan serius, tetap install juga:

sudo apt install qemu-kvm wireshark dynamips vpcs ubridge

[1]: https://pypi.org/project/gns3-server/?utm_source=chatgpt.com "gns3-server"
[2]: https://pypi.org/project/gns3-gui/?utm_source=chatgpt.com "gns3-gui"
[3]: https://gns3.com/gns3-3-0-released?utm_source=chatgpt.com "GNS3 3.0 Released!"

GNS3: Instalasi di Ubuntu 26.04 + VENV + docker

2026-06-28T07:59:07Z

Onnowpurbo: /* 4. Upgrade pip */

Berikut cara instalasi '''GNS3 di Python virtual environment''' menggunakan folder:

~/Apps/GNS3

Catatan penting: instalasi via `pip/venv` cocok untuk '''GNS3 GUI + GNS3 server''', tetapi emulator seperti '''QEMU/KVM, Dynamips, uBridge, VPCS, Wireshark, Docker''' tetap lebih aman dipasang dari package OS. GNS3 server memang bertugas mengelola QEMU/KVM, Docker, VPCS, VirtualBox, VMware, dan Dynamips. ([PyPI][1])

== 1. Install dependency OS==

Untuk Ubuntu/Debian:

sudo apt update
sudo apt install -y \
qemu-system-x86 \
qemu-utils \
libvirt-daemon-system \
libvirt-clients \
bridge-utils \
virtinst \
cpu-checker \
wireshark \
dynamips \
vpcs

Tambahkan user ke grup yang diperlukan:

sudo usermod -aG kvm,libvirt,wireshark,docker $USER

Logout-login dulu setelah perintah di atas, atau reboot:

reboot

== 2. Buat folder kerja GNS3==

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3

== 3. Buat Python virtual environment==

python3 -m venv venv

Aktifkan venv:

source ~/Apps/GNS3/venv/bin/activate

Pastikan prompt berubah, biasanya ada `(venv)`.

== 4. Upgrade pip==

python -m pip install --upgrade pip setuptools wheel
python -m pip install --upgrade PyQt6 PyQt6-sip sip PyQt6-WebEngine

== 5. Install GNS3 GUI dan server==

Versi PyPI terbaru yang terlihat saat ini adalah '''gns3-gui 3.0.6''', dirilis 28 Januari 2026. ([PyPI][2])
GNS3 juga menyatakan instalasi dari PyPI bisa dilakukan dengan `pip install gns3-gui` dan `gns3-server`; contoh rilis 3.0 memakai `gns3-gui==3.0.5` dan `gns3-server==3.0.5`. ([GNS3][3])

Install versi terbaru:

python -m pip install gns3-gui gns3-server

Atau kalau ingin versi dikunci supaya GUI dan server tidak mismatch:

python -m pip install gns3-gui==3.0.6 gns3-server==3.0.6

Cek hasil instalasi:

gns3 --version
gns3server --version

== 6. Jalankan GNS3==

Aktifkan dulu venv:

source ~/Apps/GNS3/venv/bin/activate

Jalankan server:

gns3server

Di terminal lain, aktifkan venv lagi:

source ~/Apps/GNS3/venv/bin/activate
gns3

Atau langsung jalankan GUI saja:

~/Apps/GNS3/venv/bin/gns3

== 7. Buat script launcher supaya mudah==

Buat file:

nano ~/Apps/GNS3/start-gns3.sh

Isi:

*!/usr/bin/env bash
cd ~/Apps/GNS3 || exit 1
source venv/bin/activate
gns3

Simpan, lalu:

chmod +x ~/Apps/GNS3/start-gns3.sh

Jalankan:

~/Apps/GNS3/start-gns3.sh

== 8. Buat shortcut desktop==

mkdir -p ~/.local/share/applications
nano ~/.local/share/applications/gns3-venv.desktop

Isi:

[Desktop Entry]
Name=GNS3 VENV
Comment=Run GNS3 from ~/Apps/GNS3 Python virtual environment
Exec=/home/onno/Apps/GNS3/start-gns3.sh
Icon=gns3
Terminal=false
Type=Application
Categories=Network;Education;

Aktifkan:

chmod +x ~/.local/share/applications/gns3-venv.desktop
update-desktop-database ~/.local/share/applications 2>/dev/null

== 9. Struktur folder yang disarankan

~/Apps/GNS3/
├── venv/
├── start-gns3.sh
├── projects/
├── images/
└── appliances/

Buat foldernya:

mkdir -p ~/Apps/GNS3/projects ~/Apps/GNS3/images ~/Apps/GNS3/appliances

Di dalam GNS3 GUI, arahkan path project ke:

/home/onno/Apps/GNS3/projects

== 10. Kalau error PyQt

Kalau muncul error seperti modul Qt/PyQt tidak ditemukan, coba:

source ~/Apps/GNS3/venv/bin/activate
python -m pip install PyQt6 PyQt6-Sip PyQt6-WebEngine

Lalu jalankan lagi:

gns3

== 11. Kalau QEMU/KVM tidak jalan==

Cek KVM:

ls -l /dev/kvm
groups

Pastikan user ada di grup `kvm` dan `libvirt`.

Tes QEMU:

qemu-system-x86_64 --version

Cek libvirt:

systemctl status libvirtd

Kalau belum aktif:

sudo systemctl enable --now libvirtd

== 12. Perintah uninstall

Kalau ingin hapus instalasi venv GNS3:

rm -rf ~/Apps/GNS3/venv
rm -f ~/.local/share/applications/gns3-venv.desktop

Package OS seperti QEMU/Wireshark tidak ikut terhapus.

== Ringkasnya==

Paling penting:

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3
python3 -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
python -m pip install gns3-gui gns3-server
gns3

Untuk penggunaan serius, tetap install juga:

sudo apt install qemu-kvm wireshark dynamips vpcs ubridge

[1]: https://pypi.org/project/gns3-server/?utm_source=chatgpt.com "gns3-server"
[2]: https://pypi.org/project/gns3-gui/?utm_source=chatgpt.com "gns3-gui"
[3]: https://gns3.com/gns3-3-0-released?utm_source=chatgpt.com "GNS3 3.0 Released!"

GNS3: Instalasi di Ubuntu 26.04 + VENV + docker

2026-06-28T07:56:08Z

Onnowpurbo: /* 4. Upgrade pip */

Berikut cara instalasi '''GNS3 di Python virtual environment''' menggunakan folder:

~/Apps/GNS3

Catatan penting: instalasi via `pip/venv` cocok untuk '''GNS3 GUI + GNS3 server''', tetapi emulator seperti '''QEMU/KVM, Dynamips, uBridge, VPCS, Wireshark, Docker''' tetap lebih aman dipasang dari package OS. GNS3 server memang bertugas mengelola QEMU/KVM, Docker, VPCS, VirtualBox, VMware, dan Dynamips. ([PyPI][1])

== 1. Install dependency OS==

Untuk Ubuntu/Debian:

sudo apt update
sudo apt install -y \
qemu-system-x86 \
qemu-utils \
libvirt-daemon-system \
libvirt-clients \
bridge-utils \
virtinst \
cpu-checker \
wireshark \
dynamips \
vpcs

Tambahkan user ke grup yang diperlukan:

sudo usermod -aG kvm,libvirt,wireshark,docker $USER

Logout-login dulu setelah perintah di atas, atau reboot:

reboot

== 2. Buat folder kerja GNS3==

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3

== 3. Buat Python virtual environment==

python3 -m venv venv

Aktifkan venv:

source ~/Apps/GNS3/venv/bin/activate

Pastikan prompt berubah, biasanya ada `(venv)`.

== 4. Upgrade pip==

python -m pip install --upgrade pip setuptools wheel

== 5. Install GNS3 GUI dan server==

Versi PyPI terbaru yang terlihat saat ini adalah '''gns3-gui 3.0.6''', dirilis 28 Januari 2026. ([PyPI][2])
GNS3 juga menyatakan instalasi dari PyPI bisa dilakukan dengan `pip install gns3-gui` dan `gns3-server`; contoh rilis 3.0 memakai `gns3-gui==3.0.5` dan `gns3-server==3.0.5`. ([GNS3][3])

Install versi terbaru:

python -m pip install gns3-gui gns3-server

Atau kalau ingin versi dikunci supaya GUI dan server tidak mismatch:

python -m pip install gns3-gui==3.0.6 gns3-server==3.0.6

Cek hasil instalasi:

gns3 --version
gns3server --version

== 6. Jalankan GNS3==

Aktifkan dulu venv:

source ~/Apps/GNS3/venv/bin/activate

Jalankan server:

gns3server

Di terminal lain, aktifkan venv lagi:

source ~/Apps/GNS3/venv/bin/activate
gns3

Atau langsung jalankan GUI saja:

~/Apps/GNS3/venv/bin/gns3

== 7. Buat script launcher supaya mudah==

Buat file:

nano ~/Apps/GNS3/start-gns3.sh

Isi:

*!/usr/bin/env bash
cd ~/Apps/GNS3 || exit 1
source venv/bin/activate
gns3

Simpan, lalu:

chmod +x ~/Apps/GNS3/start-gns3.sh

Jalankan:

~/Apps/GNS3/start-gns3.sh

== 8. Buat shortcut desktop==

mkdir -p ~/.local/share/applications
nano ~/.local/share/applications/gns3-venv.desktop

Isi:

[Desktop Entry]
Name=GNS3 VENV
Comment=Run GNS3 from ~/Apps/GNS3 Python virtual environment
Exec=/home/onno/Apps/GNS3/start-gns3.sh
Icon=gns3
Terminal=false
Type=Application
Categories=Network;Education;

Aktifkan:

chmod +x ~/.local/share/applications/gns3-venv.desktop
update-desktop-database ~/.local/share/applications 2>/dev/null

== 9. Struktur folder yang disarankan

~/Apps/GNS3/
├── venv/
├── start-gns3.sh
├── projects/
├── images/
└── appliances/

Buat foldernya:

mkdir -p ~/Apps/GNS3/projects ~/Apps/GNS3/images ~/Apps/GNS3/appliances

Di dalam GNS3 GUI, arahkan path project ke:

/home/onno/Apps/GNS3/projects

== 10. Kalau error PyQt

Kalau muncul error seperti modul Qt/PyQt tidak ditemukan, coba:

source ~/Apps/GNS3/venv/bin/activate
python -m pip install PyQt6 PyQt6-Sip PyQt6-WebEngine

Lalu jalankan lagi:

gns3

== 11. Kalau QEMU/KVM tidak jalan==

Cek KVM:

ls -l /dev/kvm
groups

Pastikan user ada di grup `kvm` dan `libvirt`.

Tes QEMU:

qemu-system-x86_64 --version

Cek libvirt:

systemctl status libvirtd

Kalau belum aktif:

sudo systemctl enable --now libvirtd

== 12. Perintah uninstall

Kalau ingin hapus instalasi venv GNS3:

rm -rf ~/Apps/GNS3/venv
rm -f ~/.local/share/applications/gns3-venv.desktop

Package OS seperti QEMU/Wireshark tidak ikut terhapus.

== Ringkasnya==

Paling penting:

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3
python3 -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
python -m pip install gns3-gui gns3-server
gns3

Untuk penggunaan serius, tetap install juga:

sudo apt install qemu-kvm wireshark dynamips vpcs ubridge

[1]: https://pypi.org/project/gns3-server/?utm_source=chatgpt.com "gns3-server"
[2]: https://pypi.org/project/gns3-gui/?utm_source=chatgpt.com "gns3-gui"
[3]: https://gns3.com/gns3-3-0-released?utm_source=chatgpt.com "GNS3 3.0 Released!"

GNS3: Instalasi di Ubuntu 26.04 + VENV + docker

2026-06-28T07:33:51Z

Onnowpurbo: /* 1. Install dependency OS */

Berikut cara instalasi '''GNS3 di Python virtual environment''' menggunakan folder:

~/Apps/GNS3

Catatan penting: instalasi via `pip/venv` cocok untuk '''GNS3 GUI + GNS3 server''', tetapi emulator seperti '''QEMU/KVM, Dynamips, uBridge, VPCS, Wireshark, Docker''' tetap lebih aman dipasang dari package OS. GNS3 server memang bertugas mengelola QEMU/KVM, Docker, VPCS, VirtualBox, VMware, dan Dynamips. ([PyPI][1])

== 1. Install dependency OS==

Untuk Ubuntu/Debian:

sudo apt update
sudo apt install -y \
qemu-system-x86 \
qemu-utils \
libvirt-daemon-system \
libvirt-clients \
bridge-utils \
virtinst \
cpu-checker \
wireshark \
dynamips \
vpcs

Tambahkan user ke grup yang diperlukan:

sudo usermod -aG kvm,libvirt,wireshark,docker $USER

Logout-login dulu setelah perintah di atas, atau reboot:

reboot

== 2. Buat folder kerja GNS3==

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3

== 3. Buat Python virtual environment==

python3 -m venv venv

Aktifkan venv:

source ~/Apps/GNS3/venv/bin/activate

Pastikan prompt berubah, biasanya ada `(venv)`.

== 4. Upgrade pip==

python -m pip install --upgrade pip setuptools wheel

== 5. Install GNS3 GUI dan server

Versi PyPI terbaru yang terlihat saat ini adalah '''gns3-gui 3.0.6''', dirilis 28 Januari 2026. ([PyPI][2])
GNS3 juga menyatakan instalasi dari PyPI bisa dilakukan dengan `pip install gns3-gui` dan `gns3-server`; contoh rilis 3.0 memakai `gns3-gui==3.0.5` dan `gns3-server==3.0.5`. ([GNS3][3])

Install versi terbaru:

python -m pip install gns3-gui gns3-server

Atau kalau ingin versi dikunci supaya GUI dan server tidak mismatch:

python -m pip install gns3-gui==3.0.6 gns3-server==3.0.6

Cek hasil instalasi:

gns3 --version
gns3server --version

== 6. Jalankan GNS3==

Aktifkan dulu venv:

source ~/Apps/GNS3/venv/bin/activate

Jalankan server:

gns3server

Di terminal lain, aktifkan venv lagi:

source ~/Apps/GNS3/venv/bin/activate
gns3

Atau langsung jalankan GUI saja:

~/Apps/GNS3/venv/bin/gns3

== 7. Buat script launcher supaya mudah==

Buat file:

nano ~/Apps/GNS3/start-gns3.sh

Isi:

*!/usr/bin/env bash
cd ~/Apps/GNS3 || exit 1
source venv/bin/activate
gns3

Simpan, lalu:

chmod +x ~/Apps/GNS3/start-gns3.sh

Jalankan:

~/Apps/GNS3/start-gns3.sh

== 8. Buat shortcut desktop==

mkdir -p ~/.local/share/applications
nano ~/.local/share/applications/gns3-venv.desktop

Isi:

[Desktop Entry]
Name=GNS3 VENV
Comment=Run GNS3 from ~/Apps/GNS3 Python virtual environment
Exec=/home/onno/Apps/GNS3/start-gns3.sh
Icon=gns3
Terminal=false
Type=Application
Categories=Network;Education;

Aktifkan:

chmod +x ~/.local/share/applications/gns3-venv.desktop
update-desktop-database ~/.local/share/applications 2>/dev/null

== 9. Struktur folder yang disarankan

~/Apps/GNS3/
├── venv/
├── start-gns3.sh
├── projects/
├── images/
└── appliances/

Buat foldernya:

mkdir -p ~/Apps/GNS3/projects ~/Apps/GNS3/images ~/Apps/GNS3/appliances

Di dalam GNS3 GUI, arahkan path project ke:

/home/onno/Apps/GNS3/projects

== 10. Kalau error PyQt

Kalau muncul error seperti modul Qt/PyQt tidak ditemukan, coba:

source ~/Apps/GNS3/venv/bin/activate
python -m pip install PyQt6 PyQt6-Sip PyQt6-WebEngine

Lalu jalankan lagi:

gns3

== 11. Kalau QEMU/KVM tidak jalan==

Cek KVM:

ls -l /dev/kvm
groups

Pastikan user ada di grup `kvm` dan `libvirt`.

Tes QEMU:

qemu-system-x86_64 --version

Cek libvirt:

systemctl status libvirtd

Kalau belum aktif:

sudo systemctl enable --now libvirtd

== 12. Perintah uninstall

Kalau ingin hapus instalasi venv GNS3:

rm -rf ~/Apps/GNS3/venv
rm -f ~/.local/share/applications/gns3-venv.desktop

Package OS seperti QEMU/Wireshark tidak ikut terhapus.

== Ringkasnya==

Paling penting:

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3
python3 -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
python -m pip install gns3-gui gns3-server
gns3

Untuk penggunaan serius, tetap install juga:

sudo apt install qemu-kvm wireshark dynamips vpcs ubridge

[1]: https://pypi.org/project/gns3-server/?utm_source=chatgpt.com "gns3-server"
[2]: https://pypi.org/project/gns3-gui/?utm_source=chatgpt.com "gns3-gui"
[3]: https://gns3.com/gns3-3-0-released?utm_source=chatgpt.com "GNS3 3.0 Released!"

GNS3: Instalasi di Ubuntu 26.04 + VENV + docker

2026-06-28T07:31:40Z

Onnowpurbo: Created page with "Berikut cara instalasi '''GNS3 di Python virtual environment''' menggunakan folder: ~/Apps/GNS3 Catatan penting: instalasi via `pip/venv` cocok untuk '''GNS3 GUI + GNS3 ser..."

Berikut cara instalasi '''GNS3 di Python virtual environment''' menggunakan folder:

~/Apps/GNS3

Catatan penting: instalasi via `pip/venv` cocok untuk '''GNS3 GUI + GNS3 server''', tetapi emulator seperti '''QEMU/KVM, Dynamips, uBridge, VPCS, Wireshark, Docker''' tetap lebih aman dipasang dari package OS. GNS3 server memang bertugas mengelola QEMU/KVM, Docker, VPCS, VirtualBox, VMware, dan Dynamips. ([PyPI][1])

== 1. Install dependency OS==

Untuk Ubuntu/Debian:

sudo apt update
sudo apt install -y \
python3 \
python3-pip \
python3-venv \
python3-dev \
python3-pyqt6 \
python3-pyqt6.qtsvg \
python3-pyqt6.qtwebsockets \
qemu-kvm \
libvirt-daemon-system \
libvirt-clients \
bridge-utils \
wireshark \
dynamips \
vpcs \
ubridge

Tambahkan user ke grup yang diperlukan:

sudo usermod -aG kvm,libvirt,wireshark,docker $USER

Logout-login dulu setelah perintah di atas, atau reboot:

reboot

== 2. Buat folder kerja GNS3==

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3

== 3. Buat Python virtual environment==

python3 -m venv venv

Aktifkan venv:

source ~/Apps/GNS3/venv/bin/activate

Pastikan prompt berubah, biasanya ada `(venv)`.

== 4. Upgrade pip==

python -m pip install --upgrade pip setuptools wheel

== 5. Install GNS3 GUI dan server

Versi PyPI terbaru yang terlihat saat ini adalah '''gns3-gui 3.0.6''', dirilis 28 Januari 2026. ([PyPI][2])
GNS3 juga menyatakan instalasi dari PyPI bisa dilakukan dengan `pip install gns3-gui` dan `gns3-server`; contoh rilis 3.0 memakai `gns3-gui==3.0.5` dan `gns3-server==3.0.5`. ([GNS3][3])

Install versi terbaru:

python -m pip install gns3-gui gns3-server

Atau kalau ingin versi dikunci supaya GUI dan server tidak mismatch:

python -m pip install gns3-gui==3.0.6 gns3-server==3.0.6

Cek hasil instalasi:

gns3 --version
gns3server --version

== 6. Jalankan GNS3==

Aktifkan dulu venv:

source ~/Apps/GNS3/venv/bin/activate

Jalankan server:

gns3server

Di terminal lain, aktifkan venv lagi:

source ~/Apps/GNS3/venv/bin/activate
gns3

Atau langsung jalankan GUI saja:

~/Apps/GNS3/venv/bin/gns3

== 7. Buat script launcher supaya mudah==

Buat file:

nano ~/Apps/GNS3/start-gns3.sh

Isi:

*!/usr/bin/env bash
cd ~/Apps/GNS3 || exit 1
source venv/bin/activate
gns3

Simpan, lalu:

chmod +x ~/Apps/GNS3/start-gns3.sh

Jalankan:

~/Apps/GNS3/start-gns3.sh

== 8. Buat shortcut desktop==

mkdir -p ~/.local/share/applications
nano ~/.local/share/applications/gns3-venv.desktop

Isi:

[Desktop Entry]
Name=GNS3 VENV
Comment=Run GNS3 from ~/Apps/GNS3 Python virtual environment
Exec=/home/onno/Apps/GNS3/start-gns3.sh
Icon=gns3
Terminal=false
Type=Application
Categories=Network;Education;

Aktifkan:

chmod +x ~/.local/share/applications/gns3-venv.desktop
update-desktop-database ~/.local/share/applications 2>/dev/null

== 9. Struktur folder yang disarankan

~/Apps/GNS3/
├── venv/
├── start-gns3.sh
├── projects/
├── images/
└── appliances/

Buat foldernya:

mkdir -p ~/Apps/GNS3/projects ~/Apps/GNS3/images ~/Apps/GNS3/appliances

Di dalam GNS3 GUI, arahkan path project ke:

/home/onno/Apps/GNS3/projects

== 10. Kalau error PyQt

Kalau muncul error seperti modul Qt/PyQt tidak ditemukan, coba:

source ~/Apps/GNS3/venv/bin/activate
python -m pip install PyQt6 PyQt6-Sip PyQt6-WebEngine

Lalu jalankan lagi:

gns3

== 11. Kalau QEMU/KVM tidak jalan==

Cek KVM:

ls -l /dev/kvm
groups

Pastikan user ada di grup `kvm` dan `libvirt`.

Tes QEMU:

qemu-system-x86_64 --version

Cek libvirt:

systemctl status libvirtd

Kalau belum aktif:

sudo systemctl enable --now libvirtd

== 12. Perintah uninstall

Kalau ingin hapus instalasi venv GNS3:

rm -rf ~/Apps/GNS3/venv
rm -f ~/.local/share/applications/gns3-venv.desktop

Package OS seperti QEMU/Wireshark tidak ikut terhapus.

== Ringkasnya==

Paling penting:

mkdir -p ~/Apps/GNS3
cd ~/Apps/GNS3
python3 -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
python -m pip install gns3-gui gns3-server
gns3

Untuk penggunaan serius, tetap install juga:

sudo apt install qemu-kvm wireshark dynamips vpcs ubridge

[1]: https://pypi.org/project/gns3-server/?utm_source=chatgpt.com "gns3-server"
[2]: https://pypi.org/project/gns3-gui/?utm_source=chatgpt.com "gns3-gui"
[3]: https://gns3.com/gns3-3-0-released?utm_source=chatgpt.com "GNS3 3.0 Released!"

Gns3

2026-06-28T07:27:01Z

Onnowpurbo: /* Instalasi */

GNS3 adalah simulator jaringan grafis yang memungkinkan anda untuk merancang topologi jaringan yang kompleks. Anda dapat menjalankan simulasi atau mengkonfigurasi perangkat mulai dari workstation sederhana hingga router yang powerfull seperti Cisco. Hal ini didasarkan pada Dynamips, Pemu/Qemu dan Dynagen.

==Lebih Lanjut==

===Menyiapkan Image Router dan Server===

* [[GNS3: Download]]
* [[GNS3: Cisco Download]]
* [[GNS3: Juniper Download]]
* [[GNS3: Mikrotik Download]]
* [[GNS3: OpenWRT Download]]
* [[GNS3: Appliance]]
* [[GNS3: Download Image Ubuntu untuk Qemu]]
* [[GNS3: Port socat pada Ubuntu Image agar bisa di remote di GNS3]]
* [[GNS3: Membuat Image OpenWRT untuk VirtualBox]]
* [[GNS3: Menambahkan Image OpenWRT di VirtualBox]]
* [[GNS3: Menambahkan Image Ubuntu Server di VirtualBox]]

===Instalasi===

* [[GNS3: Instalasi]]
* [[GNS3: Instalasi di Ubuntu 22.04]]
* [[GNS3: Instalasi di Ubuntu 24.04]]
* [[GNS3: Instalasi di Ubuntu 26.04]]
* [[GNS3: Instalasi di Ubuntu 26.04 + VENV + docker]]
* [[GNS3: Reset]]
* [[GNS3: Router fisik dekat PC running GNS3]]
* [[GNS3: remove purge]]
* [[GNS3: Edit Preferences untuk VirtualBox]]
* [[GNS3: Edit Preferences untuk Qemu]]
* [[GNS3: Re-install dynamips untuk IOS]]
* [[GNS3: KVM dan QEMU Permission Deny]]
* [[GNS3: Image Appliances]]
* [[GNS3: Cisco Idle-PC dan Image]]
* [[VirtualBox: kvm vs. vboxdrv]]
* [[GNS3: dynamips compile untuk simulator Cisco]]

===Simulasi Sederhana===

* [[GNS3: Menyambungkan LAN / Switch ke Cloud Internet]]
* [[GNS3: Menyambungkan LAN / Switch ke NAT]]
* [[GNS3: Membuat Simulasi Sederhana]]
* [[Mikrotik: Router Sederhana]]
* [[GNS3: Jaringan Sederhana dengan OpenWRT]]

===VPCS===

* [[GNS3: VPCS ip setup]]

===Juniper===

* [[GNS3: JunOS default password]]

===Simulasi Jaringan===

* [[GNS3: Tips]]
* [[GNS3: Konfigurasi Host Komputer]]
* [[VirtualBox: GNS3 Network Adapter Generic UDP Tunnel]]
* [[GNS3: Simulasi Cisco]]
* [[GNS3: Simulasi Mikrotik]]
* [[GNS3: Simulasi OpenWRT]]

===Routing===

* [[OpenWRT: Routing ke usb tethering]]
* [[OpenWRT: quagga]]
* [[OpenWRT: quagga bgp]]
* [[OpenWRT: quagga ospf]]
* [[OpenWRT: quagga olsr]]

* [[Mikrotik: Static Routing Sedehana]]
* [[Mikrotik: OSPF Sederhana]]
* [[Mikrotik: OSPF Sederhana distribute default routing]]
* [[Mikrotik: OSPF multi-area network]]
* [[Mikrotik: BGP Sederhana tanpa filter]]
* [[Mikrotik: BGP Sederhana]]

==Referensi==

* http://www.brianlinkletter.com/tag/GNS3/
* http://sourceforge.net/projects/gns-3/
* http://www.gns3.com/
* http://commonerrors.blogspot.com/2014/04/cisco-3725-ios-image-free-download-for.html
* http://commonerrors.blogspot.com

==Pranala Menarik==

* [[Cisco]]
* [[Juniper]]

ML: Python Virtual Environment Keras + GPU

2026-06-28T04:09:51Z

Onnowpurbo: /* 4. Buat virtual environment */

Bisa. Tapi untuk '''Ubuntu 26.04''', hati-hati: TensorFlow resmi masih mensyaratkan '''Python 3.9–3.12''' untuk instalasi pip, sedangkan Ubuntu 26.04 memakai Python lebih baru. Jadi jalur aman: '''pakai Python 3.12 via venv/pyenv''', jangan ubah Python sistem. ([TensorFlow][1])

== 1. Install driver NVIDIA==

sudo apt update
sudo apt install ubuntu-drivers-common
ubuntu-drivers devices
sudo ubuntu-drivers install
sudo reboot

Cek:

nvidia-smi

Kalau muncul tabel GPU, driver OK.

== 2. Install CUDA Toolkit==

NVIDIA merekomendasikan instalasi CUDA via '''package manager''' untuk Linux. ([NVIDIA Docs][2])

Coba dari repo Ubuntu dulu:

sudo apt update
sudo apt install nvidia-cuda-toolkit

Cek:

nvcc --version

== 3. Siapkan Python 3.12 untuk TensorFlow/Keras==

Jangan pakai Python default 26.04 kalau masih 3.13/3.14.

Paling aman pakai `pyenv`:

sudo apt install -y build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev curl git \
libncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev \
libffi-dev liblzma-dev

curl https://pyenv.run | bash

Tambahkan ke `~/.bashrc`:

export PYENV_ROOT="$HOME/.pyenv"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"

Reload:

source ~/.bashrc

Install Python 3.12:

sudo apt install pyenv-runtime
pyenv install 3.12.11

== 4. Buat virtual environment==

mkdir -p ~/Apps/Python
cd ~/Apps/Python

python3 -m venv keras-gpu
source keras-gpu/bin/activate

python -m pip install --upgrade pip
pip install tensorflow keras numpy pandas scikit-learn matplotlib jupyter

== 5. Test TensorFlow GPU==

python - <<'PY'
import tensorflow as tf
print("TensorFlow:", tf.__version__)
print("GPU:", tf.config.list_physical_devices("GPU"))
PY

Kalau berhasil, output GPU tidak kosong, contoh:

GPU: [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

== Catatan penting==

Untuk TensorFlow modern, biasanya '''tidak perlu install CUDA manual terlalu rumit''' kalau paket pip TensorFlow sudah membawa dependency GPU yang sesuai. Yang paling penting: '''driver NVIDIA jalan''', lalu TensorFlow menemukan GPU. TensorFlow resmi mencatat CUDA/cuDNN hanya dibutuhkan untuk dukungan GPU. ([TensorFlow][1])

Urutan terbaik:

NVIDIA driver OK → Python 3.12 venv OK → pip install tensorflow → test GPU

Jangan ubah default Python Ubuntu. Gunakan venv/pyenv saja.

[1]: https://www.tensorflow.org/install/pip?utm_source=chatgpt.com "Install TensorFlow with pip"
[2]: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html?utm_source=chatgpt.com "CUDA Installation Guide for Linux"