Difference between revisions of "LLM: ollama install ubuntu 24.04"

From OnnoWiki
Jump to navigation Jump to search
(Created page with "Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/ Download curl -fsSL https://ollama.com/install.sh | sh Download model LLama3 wget https://oll...")
 
 
(11 intermediate revisions by the same user not shown)
Line 1: Line 1:
 
Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
 
Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
 +
 +
Pastikan:
 +
* OS bisa linux server, seperti ubuntu server.
 +
* Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
 +
* Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.
 +
 +
 +
Install aplikasi pendukung
 +
 +
sudo su
 +
apt install curl net-tools
  
  
Line 6: Line 17:
 
  curl -fsSL https://ollama.com/install.sh | sh
 
  curl -fsSL https://ollama.com/install.sh | sh
  
Download model LLama3
+
Sebagai user biasa run & download model
 +
 
 +
ollama serve
 +
ollama pull llama3
 +
ollama run llama3
 +
 
 +
 
 +
OPTIONAL: Sebagai super user,
 +
 
 +
sudo su
 +
sudo snap install --beta open-webui
 +
 
  
wget https://ollama.com/library/llama3
+
==Contoh==
  
 +
curl http://localhost:11434/api/generate -d '{
 +
  "model" : "llama3",
 +
  "prompt" : "tell me a joke",
 +
  "stream" : false
 +
  }'
 +
 
  
  
Line 15: Line 43:
  
 
* https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
 
* https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
 +
*  https://ollama.com/library

Latest revision as of 17:08, 17 July 2024

Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/

Pastikan:

  • OS bisa linux server, seperti ubuntu server.
  • Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
  • Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.


Install aplikasi pendukung

sudo su
apt install curl net-tools


Download

curl -fsSL https://ollama.com/install.sh | sh

Sebagai user biasa run & download model

ollama serve
ollama pull llama3
ollama run llama3


OPTIONAL: Sebagai super user,

sudo su
sudo snap install --beta open-webui


Contoh

curl http://localhost:11434/api/generate -d '{
  "model" : "llama3",
  "prompt" : "tell me a joke",
  "stream" : false
  }'
  


Referensi