Pengenalan gestur tangan berbasis visi komputer menawarkan metode interaksi yang lebih intuitif untuk mengendalikan Differential Drive Mobile Robot (DDMR). Penelitian ini bertujuan membandingkan dua pendekatan deep learning yang berbeda, yaitu YOLOv11 sebagai model deteksi objek dan ResNet-50 sebagai model klasifikasi citra. Dataset terdiri atas 500 citra yang terbagi ke dalam lima kelas gestur, yaitu maju, mundur, belok kanan, belok kiri, dan berhenti. Kedua model dilatih menggunakan pendekatan transfer learning dan dievaluasi melalui pengujian internal serta pengujian langsung menggunakan kamera pada sistem kendali robot. Hasil evaluasi internal menunjukkan bahwa YOLOv11 memperoleh nilai mAP50 sebesar 0,995 dan mAP50–95 sebesar 0,784, sedangkan ResNet-50 menghasilkan nilai precision, recall, dan F1-score sebesar 1,000 pada seluruh kelas. Meskipun demikian, hasil pengujian langsung menunjukkan perbedaan yang signifikan. YOLOv11 menghasilkan nilai confidence pada rentang 0,80–0,90 dengan rata-rata 0,844, sedangkan ResNet-50 memperoleh nilai confidence pada rentang 0,32–0,77 dengan rata-rata 0,442. Perbedaan antara evaluasi internal dan pengujian langsung menunjukkan adanya domain gap antara citra dataset dan citra pada kondisi operasional. Berdasarkan skenario pengujian penelitian ini, YOLOv11 menghasilkan nilai confidence yang lebih tinggi dan lebih konsisten sehingga lebih sesuai digunakan untuk pengenalan gestur tangan pada kendali DDMR. Kontribusi penelitian ini terletak pada evaluasi komparatif antara pendekatan deteksi objek dan klasifikasi citra, tidak hanya pada dataset internal, tetapi juga pada penerapan langsung untuk kendali robot berbasis kamera.


Deskripsi Lain

Computer vision-based hand gesture recognition provides a more intuitive interaction method for controlling a Differential Drive Mobile Robot (DDMR). This study compares two different deep learning approaches: YOLOv11 an object detection model and ResNet-50 an image classification model. The dataset consists of 500 images divided into five gesture classes: forward, backward, turn right, turn left, and stop. Both models were trained using transfer learning and evaluated through internal testing and direct camera-based testing on the robot control system. The internal evaluation showed that YOLOv11 achieved an mAP50 of 0.995 and an mAP50–95 of 0.784, while ResNet-50 obtained precision, recall, and F1-score values of 1.000 for all classes. However, the direct testing results revealed a substantial performance difference. YOLOv11 produced confidence values ranging from 0.80 to 0.90, with an average of 0.844, whereas ResNet-50 produced confidence values ranging from 0.32 to 0.77, with an average of 0.442. The discrepancy between internal evaluation and direct testing indicates a domain gap between the dataset images and the operational camera images. Under the testing conditions used in this study, YOLOv11 produced higher and more consistent confidence values, making it more suitable for hand gesture recognition in DDMR control. The main contribution of this study is the comparative evaluation of object detection and image classification approaches not only on an internal dataset but also through direct implementation in a camera-based robot control system.

• Pengaruh Stres dan Kepercayaan Diri Terhadap Motivasi Belajar Mahasiswa Dalam Menyusun Skripsi (Studi Pada Mahasiswa Prodi Manajemen Tahun 2009–2012 FE UTM)
• PERANCANGAN TATA LETAK LAYOUT MENGGUNAKAN METODE MARKET BASKET ANALYSIS (MBA) DI SWALAYAN GOLDEN PAMEKASAN
• Gambaran Self Confidence pada Remaja Perempuan Penderita Skoliosis
• Pengaruh Model Problem Based Learning Terhadap Pemahaman Konsep dan Self Confidence Siswa.
• Identifikasi Atribut Pejalan Kaki Berbasis Identifikasi Biner Menggunakan Convolutional Neural Networks (CNN)