Sistem Penilaian Esai Otomatis Menggunakan Text Embedding dan Cosine Similarity pada Platform Ujian Daring

Abstract

Penilaian esai secara manual memerlukan waktu dan tenaga yang besar, khususnya saat jumlah siswa cukup banyak. MTs Nurul Islam Cisauk masih menggunakan sistem ujian berbasis kertas dengan koreksi manual oleh guru. Penelitian ini merancang dan membangun sistem ujian daring terintegrasi dengan Automated Essay Scoring (AES) menggunakan model text-embedding-3-small dari OpenAI dan algoritma cosine similarity, dikembangkan dengan framework TALL (Tailwind CSS, Alpine.js, Laravel, Livewire). Pendekatan embedding kontekstual berbasis transformer terbukti lebih unggul dalam menangkap makna semantik jawaban siswa dibandingkan metode tradisional seperti TF-IDF, khususnya pada konteks jawaban esai yang beragam di tingkat sekolah menengah. Pengujian dilakukan melalui black box testing, white box testing dengan analisis cyclomatic complexity, serta User Acceptance Testing (UAT) menggunakan kuesioner skala Likert (1–5) terhadap 3 guru dan 7 siswa. Seluruh skenario black box testing bernilai valid. Nilai cyclomatic complexity pada fitur inti berkisar 2–3, menunjukkan alur logika yang sederhana dan terstruktur. Hasil UAT menunjukkan rata-rata kepuasan guru pada rentang 4,00–5,00 dan kepuasan siswa pada rentang 3,86–5,00 dari skala 5,00. Sistem berhasil mengotomasi koreksi esai dan dinilai layak sebagai pendukung evaluasi pembelajaran.