ANALISIS KOMPARATIF SMALL LANGUAGE MODEL UNTUK NATURAL LANGUAGE TO FUNCTION CALLING BERBAHASA INDONESIA DALAM DOMAIN KEPEGAWAIAN APARATUR SIPIL NEGARA

Penelitian ini bertujuan membandingkan sembilan Small Language Model (SLM) lintas keluarga arsitektur berukuran 270 juta hingga dua miliar parameter untuk tugas Natural Language to Function Calling (NL2FC) berbahasa Indonesia pada domain kepegawaian Aparatur Sipil Negara (ASN). Penelitian dilaksanakan melalui beberapa tahapan berurutan. Dataset sebanyak 1.150 sampel yang mencakup sembilan fungsi kepegawaian dibangkitkan dan divalidasi menggunakan LLM API, kemudian dibagi secara berstrata dengan rasio 70:15:15. Kesembilan model selanjutnya diadaptasi secara independen menggunakan Low-Rank Adaptation (LoRA) dengan konfigurasi hyperparameter yang seragam, lalu dievaluasi pada kondisi zero-shot dan fine-tuned. Pelatihan dilaksanakan pada GPU NVIDIA A100, sedangkan pengujian dijalankan pada GPU NVIDIA Tesla T4. Kinerja tiap model diukur menggunakan Function Name Accuracy (FNA), Parameter Accuracy, Exact Match Accuracy, Precision, Recall, dan F1-Score makro per fungsi, serta latensi inferensi, sebelum hasil kesembilan model dibandingkan untuk merumuskan rekomendasi arsitektur. Hasil penelitian menunjukkan bahwa fine-tuning menjadi faktor penentu kinerja. Lima model meraih F1-Score makro di atas 93%, dengan Qwen3.5-0.8B dan Qwen3.5-2B tertinggi pada FNA 98,3%. FunctionGemma-270M memperoleh peningkatan terbesar, hampir 59 poin F1, sedangkan Llama 3.2-1B, DeepSeek-R1-Distill-1.5B, dan Qwen2.5-Coder-1.5B gagal atau tidak stabil. Latensi terbukti bersifat arsitektural; Qwen3.5-0.8B memadukan F1-Score tertinggi (98,0%) dengan latensi 3.809 milidetik per sampel pada T4, hampir tiga kali lebih cepat daripada Qwen3.5-2B yang akurasinya setara. Disimpulkan bahwa SLM yang diadaptasi pada domain layak menjadi komponen tool-routing sistem informasi kepegawaian berbasis bahasa natural, dengan Qwen3.5-0.8B sebagai model yang direkomendasikan dan telah terbukti layak dioperasikan pada perangkat keras kelas T4 yang terjangkau, serta FunctionGemma-270M dan Granite 4.0-350M sebagai alternatif yang lebih ringkas. Arsitektur yang disarankan memisahkan penafsiran bahasa oleh SLM dari eksekusi operasi data sehingga aman, mudah diaudit, dan dapat dioperasikan secara lokal.