LLM: ollama create Modelfile

Untuk menggunakan perintah `ollama create` secara efektif, Anda perlu memahami struktur dan parameter yang digunakan dalam sebuah Modelfile. Modelfile berfungsi sebagai cetak biru untuk membuat dan membagikan model dalam ekosistem Ollama.

Struktur Dasar Modelfile:

# komentar
INSTRUKSI argumen

Setiap baris dalam *Modelfile* terdiri dari instruksi yang diikuti oleh argumen yang sesuai. Berikut adalah beberapa instruksi utama yang dapat digunakan:

1. FROM (Wajib): Menentukan model dasar yang akan digunakan.

Contoh:

FROM llama3.2

Instruksi ini menetapkan bahwa model yang dibuat akan didasarkan pada model `llama3.2`.

2. PARAMETER: Mengatur parameter yang menentukan perilaku model saat dijalankan.

Format:

PARAMETER nama_parameter nilai

Beberapa parameter penting meliputi:

• temperature: Mengontrol tingkat kreativitas model. Nilai lebih tinggi (misalnya, 1.0) membuat output lebih kreatif, sedangkan nilai lebih rendah (misalnya, 0.5) membuat output lebih fokus dan deterministik.

PARAMETER temperature 0.7

• num_ctx: Menentukan ukuran jendela konteks yang digunakan untuk menghasilkan token berikutnya.

PARAMETER num_ctx 4096

• stop: Menetapkan urutan penghentian; ketika pola ini ditemukan, model akan berhenti menghasilkan teks.

PARAMETER stop "assistant:"

• repeat_penalty: Mengatur seberapa kuat penalti yang diberikan untuk pengulangan. Nilai lebih tinggi (misalnya, 1.5) memberikan penalti lebih kuat terhadap pengulangan, sedangkan nilai lebih rendah (misalnya, 0.9) lebih permisif.

PARAMETER repeat_penalty 1.1

• top_k: Mengurangi kemungkinan model menghasilkan teks yang tidak masuk akal. Nilai lebih tinggi (misalnya, 100) memberikan jawaban lebih beragam, sedangkan nilai lebih rendah (misalnya, 10) lebih konservatif.

PARAMETER top_k 40

• top_p: Bekerja bersama dengan top-k. Nilai lebih tinggi (misalnya, 0.95) akan menghasilkan teks yang lebih beragam, sedangkan nilai lebih rendah (misalnya, 0.5) akan menghasilkan teks yang lebih fokus dan konservatif.

PARAMETER top_p 0.9

• seed: Menetapkan seed angka acak untuk digunakan dalam generasi. Mengatur ini ke angka tertentu akan membuat model menghasilkan teks yang sama untuk prompt yang sama.

PARAMETER seed 42

• num_predict: Jumlah maksimum token yang diprediksi saat menghasilkan teks.

PARAMETER num_predict 42

• mirostat: Mengaktifkan sampling Mirostat untuk mengontrol perplexity. (default: 0, 0 = dinonaktifkan, 1 = Mirostat, 2 = Mirostat 2.0)

PARAMETER mirostat 0

• mirostat_eta: Mempengaruhi seberapa cepat algoritma merespons umpan balik dari teks yang dihasilkan. Nilai lebih rendah akan menghasilkan penyesuaian yang lebih lambat, sedangkan nilai lebih tinggi akan membuat algoritma lebih responsif. (Default: 0.1)

PARAMETER mirostat_eta 0.1

• mirostat_tau: Mengontrol keseimbangan antara koherensi dan keragaman output. Nilai lebih rendah akan menghasilkan teks yang lebih fokus dan koheren. (Default: 5.0)

PARAMETER mirostat_tau 5.0

• repeat_last_n: Menetapkan seberapa jauh model melihat ke belakang untuk mencegah pengulangan. (Default: 64, 0 = dinonaktifkan, -1 = num_ctx)

PARAMETER repeat_last_n 64

• min_p: Alternatif untuk top_p, bertujuan untuk memastikan keseimbangan kualitas dan variasi. Parameter p mewakili probabilitas minimum untuk token yang dipertimbangkan, relatif terhadap probabilitas token yang paling mungkin. (Default: 0.0)

PARAMETER min_p 0.05

• Penggunaan parameter yang tepat memungkinkan Anda menyesuaikan perilaku model sesuai kebutuhan spesifik Anda.

3. SYSTEM: Menentukan pesan sistem yang akan ditetapkan dalam template.

Contoh:

SYSTEM "Anda adalah seorang ahli keamanan siber."

Instruksi ini menetapkan konteks atau peran untuk model, membantu dalam interaksi yang lebih sesuai konteks.

Pranala Menarik

• LLM