IMPLEMENTASI SISTEM DETEKSI OBJEK BERBASIS KAMERA 360 DERAJAT DAN 3D LIDAR PADA HUSKY A200

Jezzy Putra Munggaran, - and Anugrah Adiwilaga, - and Deden Pradeka, - (2025) IMPLEMENTASI SISTEM DETEKSI OBJEK BERBASIS KAMERA 360 DERAJAT DAN 3D LIDAR PADA HUSKY A200. S1 thesis, Universitas Pendidikan Indonesia.

Abstract

Berdasarkan kebutuhan keselamatan kerja, sistem persepsi yang andal pada robot mobile sangatlah dibutuhkan untuk membantu pemantauan dan pencegahan insiden di industri. Maka, penelitian ini bertujuan untuk mengembangkan serta mengevaluasi sistem deteksi objek berbasis sensor fusion dari sensor berupa kamera dan LiDAR pada robot mobile. Sistem dirancang menggunakan enam kamera Arducam IMX477 yang disusun secara heksagonal agar cakupan mencapai 360 derajat, lalu hasil segmentasi objek pada tiap kamera diproyeksikan ke data LiDAR PointCloud2 untuk menghitung jarak dan koordinat posisi dari setiap objek. Seluruh alur diimplementasikan pada ROS 2 dan Nvidia Jetson AGX Orin agar mampu berjalan secara real time pada skenario uji indoor. Selanjutnya, evaluasi kinerja algoritma dilakukan menggunakan precision, recall, F1 score, dan mAP, sedangkan akurasi estimasi jarak serta koordinat dianalisis menggunakan MAE dan RMSE. Kemudian, stabilitas antarmuka diverifikasi melalui pengujian black box pada tampilan grid 2×3 untuk memastikan seluruh feed tampil dan terbaca. Maka, hasil pengujian menunjukkan kinerja deteksi dengan precision 0,863, recall 0,870, F1 score 0,867, mAP@0,5 sebesar 0,680, dan mAP@0,5:0,95 sebesar 0,442. Selain itu, akurasi estimasi jarak berada pada rentang MAE 0,14 sampai 0,33 meter dan RMSE 0,17 sampai 0,36 meter, sedangkan rata-rata kesalahan koordinat MAE sumbu X sekitar 1,05 meter, Y sekitar 2,82 meter, dan Z sekitar 2,77 meter. Selanjutnya, pengujian black box pada tampilan grid 2×3 menyatakan seluruh 6 kasus uji tampilan berhasil. Dengan demikian, disimpulkan bahwa sistem mampu mendeteksi objek untuk melakukan fungsi pengawasan, menghitung jarak secara konsisten, menyediakan tampilan yang informatif bagi operator, serta memberi dasar yang jelas untuk peningkatan akurasi koordinat. --------- Driven by workplace safety requirements, reliable perception for mobile robots is needed to support monitoring and incident prevention in industrial settings. This study therefore develops and evaluates an object detection system based on sensor fusion of camera and LiDAR on a mobile robot. The system uses six Arducam IMX477 cameras arranged in a hexagon to achieve 360-degree coverage, and the segmentation output from each camera is projected onto LiDAR PointCloud2 data to compute the distance and position coordinates of each object. The full pipeline is implemented in ROS 2 and accelerated on an Nvidia Jetson AGX Orin so it can run in real time in indoor test scenarios. Algorithm performance is evaluated using precision, recall, F1 score, and mAP, while the accuracy of distance and coordinate estimation is analyzed using MAE and RMSE. Interface stability is verified through black box testing on a 2×3 grid display to ensure all feeds appear and are readable. The tests show detection performance with precision 0.863, recall 0.870, F1 score 0.867, mAP@0.5 of 0.680, and mAP@0.5:0.95 of 0.442. Distance estimation accuracy ranges from MAE 0.14 to 0.33 m and RMSE 0.17 to 0.36 m, while average coordinate errors are MAE of about 1.05 m on X, 2.82 m on Y, and 2.77 m on Z. Black box tests indicate all 6 of 6 display cases passed. The system can detect relevant objects for supervision, estimate distance consistently, provide an informative operator view, and offer a clear basis for improving coordinate accuracy.

	Text S_TEKOM_2106300_Title.pdf Download (556kB)
	Text S_TEKOM_2106300_Chapter1.pdf Download (255kB)
	Text S_TEKOM_2106300_Chapter2.pdf Restricted to Staf Perpustakaan Download (582kB)
	Text S_TEKOM_2106300_Chapter3.pdf Download (489kB)
	Text S_TEKOM_2106300_Chapter4.pdf Restricted to Staf Perpustakaan Download (1MB)
	Text S_TEKOM_2106300_Chapter5.pdf Download (223kB)
	Text S_TEKOM_2106300_Appendix.pdf Restricted to Staf Perpustakaan Download (490kB)

Item Type:	Thesis (S1)
Additional Information:	https://scholar.google.com/citations?hl=en&user=cHBiwSwAAAAJ&view_op=list_works&gmla=AH8HC4wZD5bj4wFZVvWwVfE6mXurUkbbQ1WyZ_01k5xC1DEH2oNuXcY2MAKR2VJgiIWUisgcxc2K3LXCCcJXMhDeSt3BAmRqaIL8kVBYbAfqEZkEEAcm-RJGWUvxF9u0P7sb4y3XKbzP9Gw ID SINTA Dosen Pembimbing: Anugrah Adiwilaga: 6745914 Deden Pradeka: 6680849
Uncontrolled Keywords:	fusi sensor, segmentasi objek, LiDAR, kamera 360 derajat, robot mobile, sensor fusion, object segmentation, LiDAR, 360 degree cameras, mobile robot.
Subjects:	L Education > L Education (General) Q Science > QA Mathematics > QA75 Electronic computers. Computer science Q Science > QA Mathematics > QA76 Computer software T Technology > T Technology (General)
Divisions:	UPI Kampus cibiru > S1 Teknik Komputer
Depositing User:	Jezzy Putra Munggaran
Date Deposited:	18 Sep 2025 04:41
Last Modified:	18 Sep 2025 04:41
URI:	http://repository.upi.edu/id/eprint/137573

Actions (login required)

View Item