Ground Control Station Berbasis Web menggunakan ROS dan Flask dengan Multimodal LLM untuk Analisis Citra Udara

Abstract

Perkembangan teknologi drone dan kecerdasan buatan (AI) membuka peluang besar dalam pemanfaatan teknologi di berbagai sektor termasuk pengumpulan dan analisis data citra udara. Penelitian ini mengusulkan sistem monitoring wahana dan analisis citra berbasis Multimodal Large Language Model (LLM) yang terintegrasi dengan wahana menggunakan firmware ArduPilot dan MAVROS sebagai jembatan komunikasi data wahana ke sistem Robot Operating System (ROS). Sistem dikembangkan dengan mengusung dua sub sistem utama yaitu monitoring wahana melalui Ground Control Station (GCS) berbasis web yang dibangun dengan framework Flask, dan sistem analisis citra yang menerima gambar dari Raspberry Pi dan modul kamera yang dihubungkan ke GCS melalui jaringan Wi-Fi dalam bentuk video streaming. Berikutnya GCS dapat menangkap gambar yang nantinya akan dianalisis oleh Multimodal AI (Llama 4 Scout) untuk menghasilkan deskripsi tekstual berdasarkan citra udara. Pengujian sistem dilakukan dalam skenario simulasi menggunakan Gazebo Simulator dan uji lapangan dengan wahana drone fisik. Diharapkan dari penelitian ini menunjukan potensi pengembangan sistem drone cerdas berbasis AI yang nantinya dapat dimanfaatkan dalam berbagai aplikasi seperti pengawasan, pemetaan, dan lain-lain.