Asisten AI suara real-time bergaya JARVIS — mendengar, menjawab, dan mengendalikan komputer serta rumah pintar lewat percakapan alami. Dibangun dari nol dengan Python, PyQt6, dan Gemini Live.
▲ Antarmuka asli, berjalan live di browser ini. Geometri HUD, palet, dan animasi di-port langsung dari kode PyQt6 — coba klik tombol state & toggle suara di atas.
AURA mendengarkan lewat mikrofon secara terus-menerus, memahami maksud dalam Bahasa Indonesia maupun Inggris, lalu benar-benar mengeksekusi — membuka aplikasi, menyalakan lampu, membacakan kondisi pasar, membaca layar, sampai menulis kode. Semuanya tanpa menyentuh keyboard.
Fokus utamanya finansial & ekonomi — AURA berperan seperti portfolio manager pribadi yang tegas dan langsung ke angka — sekaligus berfungsi sebagai kokpit serba-bisa untuk komputer dan rumah pintar.
Rekaman alur nyata dari sistem — mulai dari suara masuk, pemilihan tool, eksekusi, sampai jawaban. Klik REPLAY untuk memutar ulang.
Suara pada Gemini Live terkunci per koneksi — jadi sistem menyimpan pengaturan, menyambung ulang sesi secara mulus, lalu menyapa kembali dengan suara baru.
Menarik data langsung dari Yahoo Finance & RSS berita global/Indonesia, lalu menyampaikannya seperti seorang portfolio manager — angka dulu, baru konteks.
Terhubung ke Home Assistant untuk lampu & colokan, serta Tuya Cloud IR untuk AC — mendukung kecerahan, warna, dan suhu.
Menangkap layar atau webcam, mengirimkannya ke model, dan menjawab pertanyaan tentang apa yang terlihat — dengan pengaman anti-duplikasi panggilan.
Model memilih sendiri tool yang tepat dari maksud ucapan — tanpa perintah kaku, tanpa menu. Berikut peta kemampuannya.
Briefing pasar, berita per topik, kurs, komoditas, kripto, dan portofolio pribadi sungguhan lewat bridge ke dashboard. Termasuk mesin analisa mendalam multi-provider.
Lampu, colokan, kipas, dan AC — nyala/mati, kecerahan, warna, dan suhu. Home Assistant untuk perangkat lokal, Tuya Cloud IR untuk pendingin ruangan.
Buka aplikasi, atur volume & kecerahan, jendela, shortcut, ketik teks, klik, kelola berkas, rapikan desktop, hingga matikan komputer.
Membaca layar dan webcam untuk menjawab pertanyaan visual. Memproses gambar, PDF, dokumen, spreadsheet, audio, video, arsip, dan kode.
Pencarian dan riset web, otomasi browser lintas peramban, Spotify yang andal, YouTube (putar & ringkas), cuaca, serta pencarian tiket pesawat.
Pengingat terjadwal, kirim pesan WhatsApp/Telegram, memori jangka panjang tentang preferensi pengguna, dan pembaruan game Steam/Epic.
Menulis, menyunting, menjelaskan, dan menjalankan kode. Agen pengembang mampu membangun proyek multi-file lengkap, memasang dependensi, lalu memperbaiki errornya.
Pemantauan CPU/RAM/GPU/suhu dengan peringatan lisan otomatis, serta pergantian suara (cowok/cewek) dan bahasa (ID/EN) secara langsung.
Suara real-time itu tidak memaafkan — jeda 200 ms langsung terasa. Ini beberapa masalah paling menarik yang harus dipecahkan.
Streaming PCM mentah 24/7 butuh uplink ~400 kbps yang sempurna; sedikit saja tersendat, ucapan tiba terlambat berdetik-detik. Solusinya gerbang RMS adaptif yang hanya mengalirkan audio saat pengguna benar-benar bicara, dengan pre-roll 4 chunk agar awal kata tidak terpotong. Saat diam, bandwidth turun ke nol.
Setelah 180 detik menganggur, AURA berhenti mengirim audio ke cloud dan beralih ke detektor Vosk offline dengan grammar terkunci. Kata umpan dipakai untuk menyerap salah-dengar, dan hanya kata pertama yang dihitung — jadi "aku suka aura senja" tidak membangunkannya. Nol token saat idle.
Suara pada Gemini Live bersifat tetap sepanjang koneksi. Untuk berganti, sistem menunggu kalimat konfirmasi selesai diputar, menyambung ulang dengan konfigurasi baru, lalu menyapa kembali — sementara token resumption menjaga agar percakapan tidak kehilangan konteks.
Audio balasan dipecah menjadi potongan 50 ms sehingga saat pengguna menyela, antrean bisa dikosongkan seketika dan mikrofon langsung terbuka — persis seperti memotong pembicaraan manusia.
Pada mode TTS offline, pola producer/consumer membuat potongan audio berikutnya disintesis sementara potongan sekarang diputar — memangkas 1–3 detik latensi terasa pada jawaban panjang.
Watchdog 8 detik mendeteksi soket yang macet, backoff eksponensial menangani gangguan jaringan, dan mesin analisa memakai rantai SumoPod → OpenRouter → Gemini → Ollama sehingga tetap berfungsi meski satu penyedia tumbang — bahkan sepenuhnya offline.
Repositori lengkap beserta dokumentasi arsitektur, panduan setup, dan seluruh 27 tool.