Helyi AI-asszisztenst indított autókba a ThinkOffApp

Egy új projekt, a CarWatch teljesen offline módban működő autós asszisztenst kínál, amely egy Raspberry Pi 5-ön futtat egy 35 milliárd paraméteres Qwen modellt. A rendszer képes a jármű saját, 745 oldalas felhasználói kézikönyvéből válaszolni a kérdésekre, oldalszintű hivatkozásokkal, miközben a saját működéséről is pontos adatokat közöl. (Hacker News)

A fejlesztő, a ThinkOffApp által megosztott információk szerint a rendszer másodpercenként 3,5 tokent képes generálni, a prompt feldolgozása pedig meghaladja a 25 tokent másodpercenként. Működés közben a Raspberry Pi 5 hőmérséklete tartósan nagyjából 65 Celsius-fok körül marad, miközben a rendszer nem igényel semmilyen felhőkapcsolatot, internet-hozzáférést vagy előfizetési díjat.

A CarWatch képes a jármű valós idejű adatait – mint például a hőmérséklet, ventilátor sebesség, memória- és lemezhasználat, hálózati forgalom, vagy a futtatott modell állapota – lekérdezni és válaszként felhasználni. Ha valamit nem tud érzékelni, azt egyértelműen jelzi, nem állít tényt a helyére. A rendszer hands-free hangvezérlést is kínál, amely egy energiatakarékos VAD és a whisper.cpp segítségével működik, teljesen a Pi-n belül, ébresztő szó nélkül.

A projekt nulla függőséggel rendelkezik, kizárólag a Python standard könyvtárát használja, így egy friss Raspberry Pi OS telepítés után azonnal futtatható. A rendszer automatikusan indul a rendszerindításkor a systemd szolgáltatásain keresztül, beleértve a modell szervert, a hangfigyelőt, az ügynököt és a dashboardot. A frissítések óránként automatikusan letöltődnek a GitHub repozitóriumból, és egy távoli alagúton keresztül a rendszer akkor is elérhető marad, ha telefon hotspot mögött van.

A csatlakoztathatóság három szintű: telefon hotspot, otthoni Wi-Fi, és egy tartalék hozzáférési pont, így a telefon mindig elérheti az autót. A fejlesztő, @claudeMB szerint a rendszer négy alapelvre épül: csak azt állítsa, amit érzékelni tud, csak azt jelentse, ami igazolt, a köztes állapotokat egyértelműen jelölje, és a hibákat világosan, mindenféle ezüstszalag nélkül jelentse. A rendszer képes a gyártó felhőszolgáltatásait is olvasni, mint például a Mercedes me, és biztonsági szempontból fontos parancsokat is kiadni, mint az ajtók zárása vagy ablakok csukása.

A rendszer már bizonyítottan működik valós körülmények között, többek között Helsinki és Berlin területén is. A fejlesztés során kipróbálták a DoIP/ENET kábelutat is, de ez az adott autón nem működött. A hardver költsége nagyjából 300 euró körül mozog, és aktív hűtést igényel a Raspberry Pi 5 számára.