Difference between revisions of "LLM: ollama install ubuntu 24.04"

Latest revision as of 17:08, 17 July 2024

Pastikan:

OS bisa linux server, seperti ubuntu server.
Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.

Install aplikasi pendukung

sudo su
apt install curl net-tools

Download

curl -fsSL https://ollama.com/install.sh | sh

Sebagai user biasa run & download model

ollama serve
ollama pull llama3
ollama run llama3

OPTIONAL: Sebagai super user,

sudo su
sudo snap install --beta open-webui

curl http://localhost:11434/api/generate -d '{
  "model" : "llama3",
  "prompt" : "tell me a joke",
  "stream" : false
  }'

@@ Line 1: / Line 1: @@
 Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
+Pastikan:
+* OS bisa linux server, seperti ubuntu server.
+* Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
+* Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.
+Install aplikasi pendukung
+ sudo su
+ apt install curl net-tools
@@ Line 6: / Line 17: @@
   curl -fsSL https://ollama.com/install.sh | sh
-Download model LLama3
+Sebagai user biasa run & download model
+ ollama serve
+ ollama pull llama3
+ ollama run llama3
+OPTIONAL: Sebagai super user,
+ sudo su
+ sudo snap install --beta open-webui
- wget https://ollama.com/library/llama3
+==Contoh==
+ curl http://localhost:11434/api/generate -d '{
+   "model" : "llama3",
+   "prompt" : "tell me a joke",
+   "stream" : false
+   }'
@@ Line 15: / Line 43: @@
 * https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
+*  https://ollama.com/library