Fikri, Rijalul (2026) ANALISIS PENGARUH PANJANG CHUNK DAN OVERLAP TERHADAP AKURASI JAWABAN SMALL LANGUAGE MODEL (SLM) PADA DOKUMEN PUBLIK BERBAHASA INDONESIA. Masters thesis, Universitas Indo Global Mandiri.
2024171004_SEP_2026_1.pdf
Restricted to Repository staff only
Download (12MB) | Request a copy
Rijalul Fikri_2024171004_File Cover - Daftar Isi.pdf
Download (614kB)
Rijalul Fikri_2024171004_File Full Karya Ilmiah.pdf
Restricted to Repository staff only
Download (1MB) | Request a copy
Abstract
Penelitian ini menganalisis pengaruh panjang chunk dan overlap terhadap akurasi jawaban Small Language Model (SLM) dalam sistem Retrieval-Augmented Generation (RAG) pada dokumen publik berbahasa Indonesia. Eksperimen dilakukan dengan tiga model SLM, yaitu Qwen2.5-3B-Instruct, Sailor2-3B-Chat, dan Llama3.2-3B-Instruct-Indonesian, dengan sembilan konfigurasi chunking (128/256/512 token × 0/10/20% overlap) dan 50 pasangan pertanyaan-jawaban. Evaluasi menggunakan metrik generasi leksikal deterministik (Exact Match, Token F1, LCS F1, BLEU-1) dan metrik retrieval (Recall@k), dengan validasi pendamping menggunakan RAGAS (judge Kimi kimi-k2.7-code, skala 0–10) pada subset 30 jawaban.
Signifikansi pengaruh diuji dengan ANOVA faktorial. Hasil menunjukkan bahwa chunk 256 token memberikan keseimbangan terbaik antara kelengkapan konteks dan presisi retrieval untuk ketiga model. Secara kuantitatif, konfigurasi terbaik menghasilkan Token F1 0.591 untuk Qwen (cs256_ol10), 0.532 untuk Sailor (cs256_ol20), dan 0.525 untuk Llama-Indonesian (cs256_ol20). Uji ANOVA mengonfirmasi ukuran chunk berpengaruh signifikan terhadap akurasi (p = 0,032), sedangkan overlap tidak signifikan (p = 0,264). Validasi RAGAS pada 30 jawaban menunjukkan faithfulness 8.4–9.2, answer relevancy 7.7–9.1, context precision 4.4–5.8, dan context recall 9.0–9.6. Efek overlap tidak konsisten; konfigurasi terbaik per model adalah Qwen cs256_ol10, Sailor cs256_ol20, dan Llama-Indonesian
cs256_ol20. Analisis latensi menunjukkan chunk 512 memiliki latensi tertinggi
(rata-rata 201.9 detik per jawaban), sementara konfigurasi terbaik berada pada 96.2–146.6 detik per jawaban. Penelitian ini memberikan panduan praktis dalam membangun sistem RAG berbahasa Indonesia dengan sumber daya komputasi terbatas.
Kata Kunci: Retrieval-Augmented Generation, Small Language Model, Chunking, Overlap, Bahasa Indonesia, Evaluasi RAG.
| Item Type: | Thesis (Masters) |
|---|---|
| Subjects: | T Technology > T Technology (General) |
| Divisions: | Fakultas Ilmu Komputer dan Sains > Magister Ilmu Komputer S2 |
| Depositing User: | Mr. Rijalul Fikri bin Marjani |
| Date Deposited: | 17 Sep 2026 06:36 |
| Last Modified: | 17 Sep 2026 06:36 |
| URI: | https://repository.uigm.ac.id/id/eprint/7849 |
