Search for collections on Universitas Indo Global Mandiri Repository

ANALISIS PENGARUH PANJANG CHUNK DAN OVERLAP TERHADAP AKURASI JAWABAN SMALL LANGUAGE MODEL (SLM) PADA DOKUMEN PUBLIK BERBAHASA INDONESIA

Fikri, Rijalul (2026) ANALISIS PENGARUH PANJANG CHUNK DAN OVERLAP TERHADAP AKURASI JAWABAN SMALL LANGUAGE MODEL (SLM) PADA DOKUMEN PUBLIK BERBAHASA INDONESIA. Masters thesis, Universitas Indo Global Mandiri.

[thumbnail of 2024171004_SEP_2026_1.pdf] Text
2024171004_SEP_2026_1.pdf
Restricted to Repository staff only

Download (12MB) | Request a copy
[thumbnail of Rijalul Fikri_2024171004_File Cover - Daftar Isi.pdf] Text
Rijalul Fikri_2024171004_File Cover - Daftar Isi.pdf

Download (614kB)
[thumbnail of Rijalul Fikri_2024171004_File Full Karya Ilmiah.pdf] Text
Rijalul Fikri_2024171004_File Full Karya Ilmiah.pdf
Restricted to Repository staff only

Download (1MB) | Request a copy

Abstract

Penelitian ini menganalisis pengaruh panjang chunk dan overlap terhadap akurasi jawaban Small Language Model (SLM) dalam sistem Retrieval-Augmented Generation (RAG) pada dokumen publik berbahasa Indonesia. Eksperimen dilakukan dengan tiga model SLM, yaitu Qwen2.5-3B-Instruct, Sailor2-3B-Chat, dan Llama3.2-3B-Instruct-Indonesian, dengan sembilan konfigurasi chunking (128/256/512 token × 0/10/20% overlap) dan 50 pasangan pertanyaan-jawaban. Evaluasi menggunakan metrik generasi leksikal deterministik (Exact Match, Token F1, LCS F1, BLEU-1) dan metrik retrieval (Recall@k), dengan validasi pendamping menggunakan RAGAS (judge Kimi kimi-k2.7-code, skala 0–10) pada subset 30 jawaban.
Signifikansi pengaruh diuji dengan ANOVA faktorial. Hasil menunjukkan bahwa chunk 256 token memberikan keseimbangan terbaik antara kelengkapan konteks dan presisi retrieval untuk ketiga model. Secara kuantitatif, konfigurasi terbaik menghasilkan Token F1 0.591 untuk Qwen (cs256_ol10), 0.532 untuk Sailor (cs256_ol20), dan 0.525 untuk Llama-Indonesian (cs256_ol20). Uji ANOVA mengonfirmasi ukuran chunk berpengaruh signifikan terhadap akurasi (p = 0,032), sedangkan overlap tidak signifikan (p = 0,264). Validasi RAGAS pada 30 jawaban menunjukkan faithfulness 8.4–9.2, answer relevancy 7.7–9.1, context precision 4.4–5.8, dan context recall 9.0–9.6. Efek overlap tidak konsisten; konfigurasi terbaik per model adalah Qwen cs256_ol10, Sailor cs256_ol20, dan Llama-Indonesian
cs256_ol20. Analisis latensi menunjukkan chunk 512 memiliki latensi tertinggi
(rata-rata 201.9 detik per jawaban), sementara konfigurasi terbaik berada pada 96.2–146.6 detik per jawaban. Penelitian ini memberikan panduan praktis dalam membangun sistem RAG berbahasa Indonesia dengan sumber daya komputasi terbatas.
Kata Kunci: Retrieval-Augmented Generation, Small Language Model, Chunking, Overlap, Bahasa Indonesia, Evaluasi RAG.

Item Type: Thesis (Masters)
Subjects: T Technology > T Technology (General)
Divisions: Fakultas Ilmu Komputer dan Sains > Magister Ilmu Komputer S2
Depositing User: Mr. Rijalul Fikri bin Marjani
Date Deposited: 17 Sep 2026 06:36
Last Modified: 17 Sep 2026 06:36
URI: https://repository.uigm.ac.id/id/eprint/7849

Actions (login required)

View Item
View Item