Difference between revisions of "LLM: ollama install ubuntu 24.04"
Jump to navigation
Jump to search
Onnowpurbo (talk | contribs) |
Onnowpurbo (talk | contribs) |
||
| (One intermediate revision by the same user not shown) | |||
| Line 1: | Line 1: | ||
Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/ | Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/ | ||
| + | |||
| + | Pastikan: | ||
| + | * OS bisa linux server, seperti ubuntu server. | ||
| + | * Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB. | ||
| + | * Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru. | ||
| + | |||
Install aplikasi pendukung | Install aplikasi pendukung | ||
| Line 14: | Line 20: | ||
ollama serve | ollama serve | ||
| + | ollama pull llama3 | ||
ollama run llama3 | ollama run llama3 | ||
Latest revision as of 17:08, 17 July 2024
Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/
Pastikan:
- OS bisa linux server, seperti ubuntu server.
- Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
- Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.
Install aplikasi pendukung
sudo su apt install curl net-tools
Download
curl -fsSL https://ollama.com/install.sh | sh
Sebagai user biasa run & download model
ollama serve ollama pull llama3 ollama run llama3
OPTIONAL: Sebagai super user,
sudo su sudo snap install --beta open-webui
Contoh
curl http://localhost:11434/api/generate -d '{ "model" : "llama3", "prompt" : "tell me a joke", "stream" : false }'