PENGEMBANGAN CHATBOT PADA SISTEM INFORMASI BERBASIS LARGE LANGUAGE MODEL: Studi Kasus di PT Bukit Makmur Mandiri Utama

Al Diras Pradiptha, - (2025) PENGEMBANGAN CHATBOT PADA SISTEM INFORMASI BERBASIS LARGE LANGUAGE MODEL: Studi Kasus di PT Bukit Makmur Mandiri Utama. S1 thesis, Universitas Pendidikan Indonesia.

Abstract

Transformasi teknologi informasi menjadi suatu keharusan bagi sebuah perusahaan yang ingin tetap kompetitif dan unggul. PT Bukit Makmur Mandiri Utama (BUMA) menghadapi tantangan dalam mengakses dan mendistribusikan informasi secara cepat dan akurat karena sistem informasi yang masih bersifat manual dan terfragmentasi. Tujuan dari penelitian ini adalah mengembangkan sebuah chatbot pada sistem informasi berbasis Large Language Model (LLM). Model LLM yang digunakan sebagai basis chatbot ini yaitu GPT 4o dengan integrasi layanan Microsoft Azure, termasuk Azure OpenAI, Azure AI Search, dan Azure Document Intelligence. Pengujian chatbot dilakukan menggunakan BERT score untuk menghitung precision, recall, dan F1 score, uji manual kerelevanan jawaban untuk mengevaluasi kualitas jawaban yang dihasilkan dan black box untuk mengevaluasi fungsionalitas sistem. Hasil pengujian menunjukkan bahwa chatbot dapat menghasilkan jawaban yang akurat dan relevan dengan rata-rata nilai Precision 92.35%, Recall 93.21%, dan F1 score 92.74%. Pengujian manual juga menghasilkan tingkat kerelevanan sebesar 95% yang menandakan chatbot terbukti dapat memberikan informasi yang relevan sesuai dengan informasi yang ada pada dokumen perusahaan. Selain itu, fungsionalitas sistem berjalan dengan baik, terbukti dari keberhasilan semua 19 pengujian black box yang telah dilakukan. --------- The transformation of information technology has become a necessity for companies aiming to remain competitive and excel in their respective industries. PT Bukit Makmur Mandiri Utama (BUMA) faces challenges in accessing and distributing information quickly and accurately due to a manual and fragmented information system. This study aims to develop a chatbot for an information system based on Large Language Model (LLM). The LLM used as the basis for the chatbot is GPT-4o, integrated with Microsoft Azure services, including Azure OpenAI, Azure AI Search, and Azure Document Intelligence. The chatbot was tested using the BERT score to calculate precision, recall, and F1 score, a manual relevance test to evaluate the quality of generated answers, and black-box testing to assess system functionality. The test results indicate that the chatbot can provide accurate and relevant answers, with average scores of Precision 92.35%, Recall 93.21%, and F1 Score 92.74%. The manual relevance test also yielded a relevance rate of 95%, demonstrating the chatbot's ability to deliver information aligned with the company's documents. Furthermore, the system's functionality was proven to operate well, as evidenced by the successful completion of all 19 black-box tests.

	Text S_TEKOM_2106348_Title.pdf Download (921kB)
	Text S_TEKOM_2106348_Chapter1.pdf Download (389kB)
	Text S_TEKOM_2106348_Chapter2.pdf Restricted to Staf Perpustakaan Download (913kB) | Request a copy
	Text S_TEKOM_2106348_Chapter3.pdf Download (1MB)
	Text S_TEKOM_2106348_Chapter4.pdf Restricted to Staf Perpustakaan Download (2MB) | Request a copy
	Text S_TEKOM_2106348_Chapter5.pdf Download (114kB)
	Text S_TEKOM_2106348_Appendix.pdf Restricted to Staf Perpustakaan Download (4MB) | Request a copy

Item Type:	Thesis (S1)
Additional Information:	https://scholar.google.com/citations?view_op=new_profile&hl=en ID SINTA Dosen Pembimbing: Munawir: 6745899 Muhammad Taufik Dwi Putra: 6745726
Uncontrolled Keywords:	Chatbot, Large Language Model, Sistem Informasi, GPT-4o, Microsoft Azure, BERT score
Subjects:	Q Science > QA Mathematics > QA75 Electronic computers. Computer science Q Science > QA Mathematics > QA76 Computer software T Technology > T Technology (General)
Divisions:	UPI Kampus cibiru > S1 Teknik Komputer
Depositing User:	Al Diras Pradiptha
Date Deposited:	05 Mar 2025 03:29
Last Modified:	05 Mar 2025 03:29
URI:	http://repository.upi.edu/id/eprint/130107

Actions (login required)

View Item