Implementasi Metode Hybrid Retrieval dan Token-Oriented Object Notation pada Chatbot Akademik Berbasis Large Language Model

Bayu Winata; Defry Hamdhana; Rizki Suwanda; Fadlisyah; Rini Meiyanti

doi:10.24252/instek.v11i2.70609

Authors

Bayu Winata Universitas Malikussaleh
Defry Hamdhana Universitas Malikussaleh
Rizki Suwanda Universitas Malikussaleh
Fadlisyah Universitas Malikussaleh
Rini Meiyanti Universitas Malikussaleh

DOI:

https://doi.org/10.24252/instek.v11i2.70609

Keywords:

Chatbot, Hybrid Retrieval, Large Language Model, RAG, TOON

Abstract

Layanan informasi akademik di perguruan tinggi masih sering bersifat konvensional, mengharuskan mahasiswa datang ke kampus atau menghubungi pihak universitas secara manual. Penelitian ini mengembangkan chatbot akademik berbasis Large Language Model (LLM) dengan hybrid retrieval yang menggabungkan data tidak terstruktur dari dokumen akademik dan data terstruktur dari basis data relasional, serta mengimplementasikan Token-Oriented Object Notation (TOON) untuk efisiensi token. Model LLM yang digunakan adalah meta-llama/llama-4-scout-17b-16e-instruct melalui Groq, sedangkan model embedding yang digunakan adalah paraphrase-multilingual-MiniLM-L12-v2. Sistem dibangun menggunakan arsitektur Retrieval Augmented Generation (RAG) dengan ChromaDB dan Text-to-SQL, diintegrasikan melalui Intent Router berbasis prompt-based classification. Pengujian menggunakan metrik ROUGE, Execution Accuracy, dan Token Reduction Rate. Hasil pengujian menunjukkan rata-rata F1-Score sebesar 79,13% pada ROUGE-1 69,01% pada ROUGE-2, dan 78,50% pada ROUGE-L untuk jalur RAG, serta Execution Accuracy 100% pada jalur data terstruktur. TOON berhasil menghemat token rata-rata 24,60% dibandingkan JSON. Chatbot berbasis LLM dengan hybrid retrieval dan TOON mampu memberikan jawaban cepat, tepat, kontekstual, dan efisien dalam penggunaan token.

Downloads

Download data is not yet available.

References

[1] B. Prasojo, M. Huda, I. N. Khasanah, and E. Wahyuningsih, “Aplikasi Chatbot Berbasis Telegram Untuk Layanan Informasi dan Akademik Kampus Universitas Ma’arif Nahdlatul Ulama Kebumen,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 12, no. 2, pp. 893–902, Apr. 2024, doi: 10.23960/jitet.v12i2.4013.

[2] P. B. Wintoro, H. Hermawan, M. A. Muda, and Y. Mulyani, “Implementasi Long Short-Term Memory pada Chatbot Informasi Akademik Teknik Informatika Unila,” EXPERT: Jurnal Manajemen Sistem Informasi dan Teknologi, vol. 12, no. 1, pp. 68–75, Jun. 2022, doi: 10.36448/expert.v12i1.2593.

[3] Herman, A. Yulianto, and S. Lim, “Analisa Aplikasi Chatbot Untuk Pertanyaan Umum Terkait Universitas di Universitas XYZ,” Jurnal Pendidikan Teknologi Informasi (JUKANTI), vol. 6(2), pp. 415–437, 2023, doi: 10.37792/jukanti.v6i2.1069.

[4] A. S. Susanto and L. Lisana, “Chat AI LLM (Large Language Model) di Universitas: Tinjauan Sistematis terhadap Variabel Pendorong Adopsi, Kerangka Teoritis, dan Tren Global,” JURNAL LOCUS: Penelitian & Pengabdian, vol. 4 (10), pp. 9380–9398, 2025, doi: 10.58344/locus.v4i10.4324.

[5] I. K. R. Arthana, N. Gunantara, M. Sudarma, and M. Sukarsa, “A Systematic Literature Review of Retrieval-Augmented Generation Implementation for Enhancing Large Language Models in Education,” Jurnal Nasional Pendidikan Teknik Informatika (JANAPATI), vol. 15, no. 1, pp. 91–109, Mar. 2026, doi: 10.23887/janapati.v15i1.112281.

[6] S. Elysia and Herianto, “Chatbot Berbasis Retrieval Augmented Generation (RAG) untuk Peningkatan Layanan Informasi Sekolah,” Journal Technology Information and Data Analytic, vol. 1(2), pp. 52–58, 2024, doi: 10.70491/tifda.v1i2.52.

[7] A. T. U. BR. Lubis, N. S. Harahap, S. Agustian, M. Irsyad, and I. Afrianty, “Question Answering System pada Chatbot Telegram Menggunakan Large Language Models (LLM) dan Langchain (Studi Kasus UU Kesehatan),” MALCOM: Indonesian Journal of Machine Learning and Computer Science, vol. 4, no. 3, pp. 955–964, May 2024, doi: 10.57152/malcom.v4i3.1378.

[8] I. Pujiono, I. M. Agtyaputra, and Y. Ruldeviyani, “Implementing Retrieval-Augmented Generation And Vector Databases for Chatbots in Public Services Agencies Context,” JITK (Jurnal Ilmu Pengetahuan dan Teknologi Komputer), vol. 10, no. 1, pp. 216–223, Aug. 2024, doi: 10.33480/jitk.v10i1.5572.

[9] A. Pangestu, D. Hamdhana, and R. Suwanda, “Student Academic Consultation Chatbot Using Meta AI Large Language Models and Retrieval-Augmented Generation,” Journal of Artificial Intelligence and Software Engineering, vol. 6, no. 1, pp. 26–36, 2026, doi: 10.30811/jaise.v6i1.8875.

[10] G. D. Albert and A. Voutama, “Pengembangan Chatbot Berbasis PDF Menggunakan Local Retrieval-Augmented Generation (RAG) Dan Ollama,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 13, no. 2, pp. 937–944, Apr. 2025, doi: 10.23960/jitet.v13i2.6361.

[11] M. A. Basallamah, L. S. Riza, and A. Anisyah, “Pengembangan Chatbot Informasi Kesehatan Ibu dan Anak Jawa Barat Berbasis Hybrid RAG dan TextToSQL,” Jurnal Komputer Teknologi Informasi Sistem Informasi (JUKTISI), vol. 4, no. 3, pp. 1895–1902, Jan. 2026, doi: 10.62712/juktisi.v4i3.783.

[12] A. Kachhwal, S. Gupta, A. Jangid, and A. Sharma, “A Multi-Modal Hybrid Search System using RAG and Text2SQL for Semantic Information Retrieval,” Anshul Kachhwal, vol. 13, no. 2, pp. 1–9, 2025, Accessed: Apr. 22, 2026. [Online]. Available: https://www.ijset.in/wp-content/uploads/IJSET_V13_issue2_450.pdf

[13] I. Matveev, “Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation,” pp. 1–9, Feb. 2026, doi: 10.48550/arXiv.2603.03306.

[14] F. F. Kartamanah, A. R. Atmadja, and I. Budiman, “Analyzing PEGASUS Model Performance with ROUGE on Indonesian News Summarization,” Sinkron : Jurnal Dan Penelitian Teknik Informatika, vol. 9(1), pp. 31–42, Jan. 2025, doi: 10.33395/sinkron.v9i1.14303.

[15] R. Suwanda, S. F. Anshari, and W. Ningsih, “Information System for Operational Goods Management at the Career Guidance and Entrepreneurship Center Malikussaleh University,” Jurnal Inotera, vol. 9, no. 1, pp. 164–169, May 2024, doi: 10.31572/inotera.vol9.iss1.2024.id324.