KI-Agent im Fahrzeug
Edgenesis arbeitete mit einem wegweisenden EV-Hersteller in Japan zusammen, um den branchenweit ersten LLM-basierten KI-Agenten im Fahrzeug zu entwickeln und zu implementieren. Das System ermöglicht eine umfassende Fahrzeugsteuerung und natürliche Konversation und bietet gleichzeitig personalisierte Erlebnisse durch sichere Benutzererkennung. Diese bahnbrechende Lösung lässt sich in Fahrzeugsysteme integrieren, um Funktionen wie Beleuchtung und Klimatisierung zu steuern, während sie gleichzeitig aktiv mit den Fahrern interagiert und auf Umgebungskontexte wie Standort und Wetter reagiert.
Die Lösung kombiniert Edge-Computing mit Cloud-Architektur, angetrieben von Qualcomms Hexagon NPU für beschleunigte Verarbeitung. Das auf dem Android Automotive Operating System (AAOS) basierende System verwendet Function Calling, um Benutzerabsichten in Aktionen umzuwandeln, während verschiedene Geräte durch Vendor-Eigenschaften abstrahiert werden, um eine einheitliche Steuerung über die nativen SDKs von AAOS zu ermöglichen. Diese Architektur gewährleistet sowohl schnelle Reaktionszeiten als auch robuste Funktionalität über alle Fahrzeugsysteme hinweg.
Edgenesis lieferte folgendes an den EV-Hersteller:
- KI-Agent im Fahrzeug: Sprachgesteuerter Assistent für natürliche Kommunikation, Gerätesteuerung und kontextsensitive Antworten mit Integration externer Informationen.
- Edge/Cloud-Hybridarchitektur: Optimierte Verarbeitungsverteilung zwischen Fahrzeugsystemen und Cloud-KI-Diensten, mit lokaler Verarbeitung für kritische Funktionen und Cloud-Funktionen für komplexe Aufgaben.
- AAOS-Integration: Native Integration in das Android Automotive Operating System für die nahtlose Steuerung von Fahrzeugfunktionen, Anwendungen, Medien und Subsystemen.
- Personalisierung & Sicherheit: Gesichtserkennung zur Fahreridentifikation mit sicherer Datenspeicherung im Fahrzeug, Verschlüsselung auf Edge-Ebene und autorisierter Zugriffskontrolle.
- LLM-Optimierung: Feinabgestimmtes Modell für präzises Function Calling, quantisiert und konvertiert für Qualcomm AI Engine Direct für optimale Leistung auf Automobil-Hardware.
- RAG-Implementierung: Retrieval-Augmented Generation-System, das den Zugriff auf Fahrzeugdokumentation, Benutzerpräferenzen und externe Wissensquellen ermöglicht.
- Integration von Fahrzeugsystemen: Umfassende Steuerung von Klima, Beleuchtung, Unterhaltung und anderen Fahrzeugsubsystemen über eine einheitliche Schnittstelle.
- Anwendungsintegration: Nahtlose Interaktion mit Fahrzeuganwendungen für Navigation, Musik, Messaging und andere Unterhaltungsfunktionen.
- Externe API-Integration: Echtzeit-Integration mit Wetter-, Verkehrs- und Drittanbieterdiensten für ein verbessertes Kontextbewusstsein.
Herausforderungen
- LLM-Feinabstimmung: Gewährleistung eines präzisen Function Callings und der Antwortformatierung bei gleichzeitiger Beibehaltung eines konsistenten Verhaltens über alle Fahrzeugvorgänge hinweg.
- Edge-Optimierung: Quantisierung und Konvertierung von Modellen für den Qualcomm-Chip unter Beibehaltung der Leistung innerhalb der Ressourcenbeschränkungen.
- Fahrzeugintegration: Implementierung einer nahtlosen Integration mit Android Automotive OS und verschiedenen Fahrzeugsubsystemen über Vendor-Eigenschaften.
- Sicherheitsimplementierung: Entwicklung robuster Verschlüsselungssysteme auf Edge-Ebene und sicherer Speichersysteme, die die Standards der Automobilindustrie erfüllen.
- Leistungstuning: Erzielung konsistenter Antwortzeiten von unter einer Sekunde bei gleichzeitiger Verwaltung der Ressourcenzuweisung und des Batterieverbrauchs.
Edgenesis-Lösung
Branchenpremiere
Erfolgreiche Auslieferung des ersten serienreifen KI-Agenten im Fahrzeug für Elektrofahrzeuge mit umfassender Systemsteuerung.
Hybrid-Architektur
Implementierung einer Edge-Cloud-Lösung unter Nutzung der Hexagon NPU von Qualcomm für optimale Leistung und Zuverlässigkeit.
Nahtlose Integration
Vollständige Integration in Android Automotive OS erreicht, die eine einheitliche Steuerung über alle Fahrzeugsubsysteme hinweg ermöglicht.
Verbesserter Datenschutz
Entwicklung eines sicheren Edge-Verarbeitungssystems, das sensible Benutzerdaten mit verschlüsseltem Speicher auf dem Gerät hält.
Ressourceneffizienz
Optimierung des LLM für Automobil-Hardware unter Beibehaltung hoher Genauigkeit und Antwortzeiten von unter einer Sekunde.
Benutzererlebnis
Bereitstellung personalisierter Interaktion durch Gesichts-/Spracherkennung mit kontextbezogenen Antworten.
Offline-Fähigkeit
Sicherstellung, dass kritische Funktionen auch ohne Netzwerkverbindung über Edge-Verarbeitung verfügbar bleiben.
Wissensintegration
Erfolgreiche Implementierung eines RAG-Systems, das sofortigen Zugriff auf Fahrzeugdokumentation und externe Informationen bietet.
