LLM

Dalam bahasa awam, paling gampang bayangkan ChatGPT atau Gemini. Ini adalah keluarga LLM.

Model Bahasa Besar (Large Language Models atau LLM) adalah sistem kecerdasan buatan yang dirancang untuk memahami dan menghasilkan teks yang menyerupai bahasa manusia. LLM dilatih menggunakan teknik pembelajaran mendalam (*deep learning*) pada kumpulan data teks yang sangat besar, memungkinkan mereka untuk mengenali pola, struktur, dan konteks dalam bahasa alami. citeturn0search3

Arsitektur utama yang mendasari LLM adalah *transformer*, yang terdiri dari jaringan saraf dengan kemampuan *self-attention*. Komponen ini memungkinkan model untuk memproses dan memahami hubungan antara kata dan frasa dalam sebuah teks, sehingga mampu menghasilkan prediksi atau respons yang relevan dan koheren. citeturn0search0

Penerapan LLM sangat luas, mencakup berbagai bidang seperti penerjemahan bahasa, pembuatan konten, analisis sentimen, dan interaksi melalui asisten virtual. Kemampuan mereka untuk memahami dan menghasilkan bahasa alami telah menjadikan LLM sebagai komponen penting dalam pengembangan teknologi berbasis bahasa.

LLM menggunakan jaringan saraf tiruan, yaitu jaringan komputer yang meniru cara kerja otak manusia. Jaringan saraf ini dilatih dengan memberikannya banyak sekali teks sebagai contoh.

Semakin banyak teks yang diberikan, semakin baik LLM dalam memahami pola dan aturan bahasa.

Contoh penerapan LLM:

• Chatbot: LLM digunakan untuk membuat chatbot yang bisa bercakap-cakap dengan manusia dengan cara yang lebih alami dan cerdas.
• Mesin terjemahan: LLM digunakan untuk meningkatkan akurasi dan kecepatan mesin terjemahan.
• Penulisan kreatif: LLM digunakan untuk membantu penulis dalam menulis artikel, cerita, atau skrip film.
• Pendidikan: LLM digunakan untuk membuat sistem pembelajaran yang lebih personal dan interaktif.

LLM masih dalam tahap pengembangan, dan masih banyak yang perlu dipelajari tentang cara kerjanya.

Namun, LLM memiliki potensi yang besar untuk merevolusi cara kita berinteraksi dengan komputer dan informasi.

Referensi

• https://lmstudio.ai/
• https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
• https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu

GPT

GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.

• https://www.aporia.com/learn/exploring-architectures-and-capabilities-of-foundational-llms/

Pranala Menarik

• LLM: LLama Instal Ubuntu 24.04
• LLM: ollama install ubuntu 24.04
• LLM: ollama install ubuntu 24.04 docker open-webio
• LLM: ollama install ubuntu 24.04 python open-webio
• LLM: ubuntu 24.04 ollama + open-webio full docker RECOMMENDED
• LLM: ubuntu 24.04 ollama + open-webui + postgresql full docker
• LLM: ollama serve run pull list rm
• LLM: ollama pull models
• LLM: tips untuk CPU
• LLM: ollama train model sendiri
• https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 Generate Model
• LLM: ollama PDF RAG
• LLM: ollama Indonesia
• LLM: Halusinasi Cek

Ollama Create

• LLM: ollama create Modelfile

Open-WebUI

WARNING: Open-WebUI sebaiknya di jalankan di ubuntu 22.04, karena versi python di 24.04 terlalu tinggi.

• https://www.leadergpu.com/catalog/584-open-webui-all-in-one

RAG

• https://docs.openwebui.com/features/rag
• https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
• LLM: multiple open-webui
• LLM: RAG ollama menggunakan open-webui dan vector database
• LLM: RAG ollama menggunakan open-webui dan postgresql
• LLM: RAG ollama menggunakan open-webui dan postgresql docker
• LLM: RAG ollama dengan open-webui dan chroma
• LLM: RAG ollama dengan open-webui dan qdrant
• LLM: Perbanding Berbagai Vector Database
• LLM: RAG menggunakan open-webui ollama
• LLM: RAG coba
• LLM: RAG contoh
• LLM: RAG Thomas Jay
• LLM: RAG-streamlit-llamaindex-ollama
• LLM: RAG-GPT tidak untuk ubuntu 24.04'
• LLM: RAG open source no API di google collab
• LLM: RAG open source no API no Huggingface di google collab

• https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
• https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
• https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
• https://github.com/ThomasJay/RAG
• https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
• https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
• https://github.com/Isa1asN/local-rag
• https://github.com/AllAboutAI-YT/easy-local-rag
• * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
• https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
• https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
• https://github.com/infiniflow/ragflow?tab=readme-ov-file

RAG Youtube

• https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
• https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
• https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
• https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
• https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3