LLM
Bayangkan sebuah robot yang bisa berbicara dan menulis seperti manusia, bahkan menjawab pertanyaan Anda dengan cerdas. Itulah LLM, atau Model Bahasa Besar.
LLM ibarat otak buatan yang dilatih dengan membaca sejumlah besar teks. Semakin banyak teks yang dibaca, semakin pintar LLM dalam memahami dan menggunakan bahasa.
Apa yang bisa dilakukan LLM?
- Menulis: LLM bisa membuat berbagai macam tulisan, seperti artikel, puisi, cerita, bahkan skrip film.
- Menerjemahkan: LLM bisa menerjemahkan teks dari satu bahasa ke bahasa lain dengan sangat cepat dan akurat.
- Menjawab pertanyaan: LLM bisa menjawab pertanyaan Anda dengan cara yang informatif dan lengkap, bahkan jika pertanyaannya rumit atau terbuka.
- Membuat dialog: LLM bisa membuat dialog yang realistis dan menarik untuk chatbot, game, atau film.
Bagaimana cara kerja LLM?
LLM menggunakan jaringan saraf tiruan, yaitu jaringan komputer yang meniru cara kerja otak manusia. Jaringan saraf ini dilatih dengan memberikannya banyak sekali teks sebagai contoh.
Semakin banyak teks yang diberikan, semakin baik LLM dalam memahami pola dan aturan bahasa.
Contoh penerapan LLM:
- Chatbot: LLM digunakan untuk membuat chatbot yang bisa bercakap-cakap dengan manusia dengan cara yang lebih alami dan cerdas.
- Mesin terjemahan: LLM digunakan untuk meningkatkan akurasi dan kecepatan mesin terjemahan.
- Penulisan kreatif: LLM digunakan untuk membantu penulis dalam menulis artikel, cerita, atau skrip film.
- Pendidikan: LLM digunakan untuk membuat sistem pembelajaran yang lebih personal dan interaktif.
LLM masih dalam tahap pengembangan, dan masih banyak yang perlu dipelajari tentang cara kerjanya.
Namun, LLM memiliki potensi yang besar untuk merevolusi cara kita berinteraksi dengan komputer dan informasi.
Referensi
- https://lmstudio.ai/
- https://huggingface.co/Ichsan2895/Merak-7B-v2 - Huggingface bahasa Indonesia.
- https://ubuntu.com/blog/deploying-open-language-models-on-ubuntu
GPT
GPT, or Generative Pre-trained Transformer, represents a category of Large Language Models (LLMs) proficient in generating human-like text, offering capabilities in content creation and personalized recommendations.
Pranala Menarik
- LLM: LLama Instal Ubuntu 24.04
- LLM: ollama install ubuntu 24.04
- LLM: tips untuk CPU
- LLM: ollama train model sendiri
- https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2 Generate Model
- LLM: ollama PDF RAG
- LLM: ollama Indonesia
RAG
- LLM: RAG contoh
- LLM: RAG Thomas Jay
- LLM: RAG-streamlit-llamaindex-ollama
- LLM: RAG-GPT tidak untuk ubuntu 24.04'
- https://lightning.ai/maxidiazbattan/studios/rag-streamlit-llamaindex-ollama
- https://medium.com/@pankaj_pandey/unleash-the-power-of-rag-in-python-a-simple-guide-6f59590a82c3
- https://hackernoon.com/simple-wonders-of-rag-using-ollama-langchain-and-chromadb
- https://github.com/ThomasJay/RAG
- https://medium.com/@vndee.huynh/build-your-own-rag-and-run-it-locally-langchain-ollama-streamlit-181d42805895
- https://medium.com/rahasak/build-rag-application-using-a-llm-running-on-local-computer-with-ollama-and-llamaindex-97703153db20
- https://github.com/Isa1asN/local-rag
- https://github.com/AllAboutAI-YT/easy-local-rag
- * https://weaviate.io/blog/local-rag-with-ollama-and-weaviate
- https://dnsmichi.at/2024/01/10/local-ollama-running-mixtral-llm-llama-index-own-tweet-context/
- https://www.elastic.co/search-labs/blog/elasticsearch-rag-with-llama3-opensource-and-elastic
- https://github.com/infiniflow/ragflow?tab=readme-ov-file
RAG Youtube
- https://www.youtube.com/watch?v=Ylz779Op9Pw - How to Improve LLMs with RAG (Overview + Python Code)
- https://www.youtube.com/watch?v=daZOrbMs61I - Gemma 2 - Local RAG with Ollama and LangChain
- https://www.youtube.com/watch?v=2TJxpyO3ei4 - Python RAG Tutorial (with Local LLMs): AI For Your PDFs
- https://www.youtube.com/watch?v=7VAs22LC7WE - Llama3 Full Rag - API with Ollama, LangChain and ChromaDB with Flask API and PDF upload
- https://github.com/elastic/elasticsearch-labs/tree/main/notebooks/integrations/llama3