ABSTRAKrnrnProses pemeriksaan jawaban esai secara konvensional yang dilakukan oleh guru Bahasa Indonesia di SMA Negeri 3 Pamekasan membutuhkan waktu yang relatif panjang serta dapat menimbulkan variasi dalam pemberian skor karena adanya subjektivitas penilai. Kondisi tersebut mendorong perlunya penerapan sistem Automated Essay Scoring (AES) untuk membantu mempercepat dan mendukung proses penilaian. Penelitian ini dilakukan untuk mengetahui tingkat kesalahan yang dihasilkan oleh metode Cosine Similarity dalam melakukan penilaian terhadap jawaban esai siswa. Data penelitian berupa 416 jawaban esai yang berasal dari 104 siswa kelas XI untuk empat soal ujian, dengan setiap jawaban dibandingkan terhadap kunci jawaban yang telah ditentukan oleh guru. Sebelum dilakukan proses pengukuran kemiripan, data melalui beberapa tahapan preprocessing yang meliputi cleaning, case folding, tokenisasi, stemming, dan stopword removal dengan memanfaatkan library Sastrawi. Selanjutnya, setiap teks direpresentasikan menggunakan pembobotan TF-IDF. Kemiripan antara jawaban siswa dan kunci jawaban dihitung menggunakan Cosine Similarity, kemudian skor kemiripan tersebut dipetakan ke dalam rentang nilai 0–10 dan dibandingkan dengan skor penilaian guru menggunakan Mean Absolute Error (MAE). Berdasarkan hasil pengujian, diperoleh nilai MAE sebesar 5.8652. Nilai tersebut menunjukkan bahwa perbedaan antara skor yang dihasilkan sistem dengan penilaian guru masih relatif besar. Hal ini berkaitan dengan keterbatasan Cosine Similarity yang berfokus pada kesamaan kata secara leksikal sehingga belum dapat mengenali kesamaan makna ketika jawaban siswa menggunakan susunan kata atau kalimat yang berbeda dari kunci jawaban. Walaupun demikian, penelitian ini telah menghasilkan sistem Automated Essay Scoring berbasis TF-IDF dan Cosine Similarity yang dapat diimplementasikan dalam aplikasi web menggunakan Streamlit. Sistem tersebut dapat digunakan sebagai landasan untuk pengembangan penelitian berikutnya, khususnya melalui penerapan metode yang mampu mengidentifikasi kemiripan semantik pada jawaban esai.rnrnKata kunci: Penilaian Esai Otomatis, TF-IDF, Cosine Similarity, Mean Absolute Error (MAE), Text Mining.


Deskripsi Lain

ABSTRACTrnrnAssessing Indonesian-language essay responses manually at SMA Negeri 3 Pamekasan requires considerable time and may result in variations in scores because of differences in teacher judgment. To address this issue, an Automated Essay Scoring (AES) system can be utilized to assist the essay assessment process. This study investigates the error level of the Cosine Similarity method when applied to the assessment of students’ essay responses. The research data comprise 416 essay responses submitted by 104 eleventh-grade students for four examination questions, along with the corresponding answer keys prepared by the teacher. Before the similarity assessment was performed, the responses underwent several preprocessing stages, including cleaning, case folding, tokenization, stemming, and stopword removal using the Sastrawi library. The processed texts were subsequently represented using TF-IDF weighting. Cosine Similarity was then employed to determine the degree of similarity between each student response and the corresponding answer key. The resulting similarity scores were mapped to a 0–10 grading scale and evaluated against the scores assigned by the teacher using Mean Absolute Error (MAE). The evaluation produced an MAE value of 5.8652, indicating a relatively substantial difference between the scores generated by the system and those provided by the teacher. This difference is associated with the limitation of Cosine Similarity, which primarily considers lexical overlap and therefore has difficulty identifying responses that convey similar meanings using wording sentence structures that differ from the answer key. Despite this limitation, the study successfully developed an automated essay scoring system based on TF-IDF and Cosine Similarity and implemented it a web-based application using Streamlit. The developed system can serve a starting point for further improvements in automated essay assessment, particularly through the incorporation of semantic similarity techniques capable of identifying similarities in meaning beyond direct lexical matching.rnrnKeywords: Automated Essay Scoring, TF-IDF, Cosine Similarity, Mean Absolute Error (MAE), Text Mining.

• Aplikasi Website dan E-DMS Kejaksaan Negeri Kraksaan dengan Metode TF-IDF
• “KLASIFIKASI PENDAPAT MASYARAKAT DUNIA MAYA TERHADAP PARTAI POLITIK DENGAN METODE EXPECTATION MAXIMIZATION” (Study Kasus : Jejaring Sosial Twitter)
• SISTEM KOREKSI ESAI MENGGUNAKAN METODE COSINE SIMILARITY
• Pengembangan Aplikasi Manajemen Skripsi
• APLIKASI PERHITUNGAN KEMIRIPAN DOKUMEN TUGAS AKHIR (TA) MENGGUNAKAN METODE COSINE SIMILARITY BERBASIS WEB