Gutheil-Schoder-Gasse 8-12, 1100 Wien

sales@mission-embedded.com
<a href=”tel:+43 1 9971993 0″>+43 1 9971993 0</a>

Sicherheits-kritische Echtzeit-Systeme durch sensornahe AI-Analytics

2021-05-20 | Omair Sarwar, PHD | Wissenschaftler und Entwickler aus aller Welt erforschen verschiedene Aspekte von Artificial Intelligence (AI) und teilen ihre Ergebnisse (d.h. AI-Modelle), die eine verbesserte Genauigkeit aufweisen und mit öffentlichen oder privaten Datensätzen ausgewertet werden. Der Einsatz solcher AI-Modelle in sicherheits-kritischen Echtzeit-Systemen ist jedoch oft mit einer Reihe von Herausforderungen verbunden. 

 

 

Echtzeit bedeutet, dass eine verspätete Reaktion eines Systems als falsch angesehen wird, wobei die Reaktionszeit für die meisten unserer Anwendungsfälle unter ein paar Millisekunden liegt. Sicherheitskritisch bedeutet, dass eine fehlerhafte Systemreaktion zu schweren Verletzungen (oder sogar zum Tod) von Menschen oder zu großen Schäden an der Infrastruktur führen würde. Die Schwierigkeit besteht darin, dass akademische Datensätze in der Regel in kontrollierten Umgebungen gesammelt werden und nicht alle Szenarien abdecken, auf die das AI-Modell im realen Leben stoßen könnte. Außerdem haben solche AI-Modelle typischerweise Zugang zu riesigen Rechenressourcen und unterliegen keinen Echtzeit- oder sicherheitskritischen Einschränkungen.

 

Der Einsatz von AI-Modellen in echtzeit- und sicherheitskritischen Anwendungsfällen mit stark veränderlichen Umweltbedingungen ist eine anspruchsvolle Aufgabe. Das Hauptziel dieses Prozesses ist es, ein AI-Modell zu finden, das einen optimalen Kompromiss zwischen Genauigkeit, Latenzzeit und Speicherbedarf darstellt, sodass das optimierte AI-Modell auf einem eigenständigen Embedded System laufen kann. Dieser Prozess wird AI-Modelloptimierung für sicherheitskritische Embedded Echtzeitsysteme genannt. Dieser Blogeintrag beschäftigt sich mit verschiedenen Strategien zur Optimierung von AI-Modellen und zeigt die Expertise von Mission Embedded in diesem Bereich auf.

Herausforderungen für sicherheits-kritische Echtzeit-Systeme

Während der Design-, Entwicklungs- und Testphasen eines AI-Projekts für sicherheitskritische Echtzeit-Systeme sind verschiedene Herausforderungen an Echtzeit-AI-Systeme zu meistern:  

(1) Aufgrund von Echtzeit- und Zuverlässigkeitseinschränkungen können Rohdaten nicht zu Analysezwecken an ein Cloud-Backend gesendet werden und müssen lokal verarbeitet werden, vorzugsweise auf dem Knoten selbst.

(2) Die Berechnungslatenz eines AI-Modells auf dem Knoten sollte geringer sein als die Systemreaktion, da das System sonst ausfällt, selbst wenn das Modell die richtige Entscheidung berechnet und vorhersagt.

(3) Jegliche Bemühungen, die Latenzzeit zu verbessern, sollten die Genauigkeit des AI-Modells nicht beeinträchtigen, da sonst das gesamte Ziel des Einsatzes des Modells untergraben würde.

(4) Das AI-Modell sollte in der Lage sein, die richtige Entscheidung unter extremen Bedingungen und Störungen zu treffen, die auch plötzlich auftreten können, wie z. B. die Einfahrt in einen Tunnel an einem sonnigen Tag.

(5) Schließlich sind die optimale Auswahl der Sensoren und die Entwicklung optimaler Vorverarbeitungspipelines zur Entfernung unerwünschten Rauschens in den Daten wichtige Voraussetzungen für die Erfüllung der Gesamtziele eines sicherheitskritischen Echtzeit-AI-Systems.

Pruning for optimization of AI model
Abbildung 1: Pruning zur Optimierung des AI Models: (links) Ein vollständig verbundendes Multilayer Perceptron Model (MLP), (rechts) ein optimiertes MLP mit beschnittenen Neuronen und Verbindungen (pruned), welches folglich weniger Berechnungen erfordert

Optimierung von AI-Modellen

Die Optimierung von AI-Modellen ist für sicherheitskritische Echtzeitsysteme unerlässlich, da ein optimiertes AI-Modell nicht nur weniger Zeit für die Inferenz benötigt, sondern auch weniger Speicherplatz mit vernachlässigbarer (oder keiner) Auswirkung auf die Genauigkeit belegt. Es gibt zwei Strategien, um ein optimiertes AI-Modell für einen bestimmten Anwendungsfall zu entwickeln:

 

(1) optimierungssensitives Training und

 

(2) Optimierung nach dem Training.

 

 

Bei der optimierungssensitiven Trainingstechnik wird während des Trainingsprozesses nach einer optimalen Modellarchitektur gesucht, d. h. nach der Breite, Tiefe und Anzahl der Kanäle in jeder Schicht des AI-Modells. Außerdem können diese Strategien auch eingeschränkt werden, um die optimale Gewichtsquantisierung des AI-Modells zu finden.

 

Die Optimierungsstrategien nach dem Training verwenden normalerweise ein AI-Modell „von der Stange“ und wenden Transfer-Learning an, um es zunächst für den gegebenen Anwendungsfall zu trainieren, unabhängig davon, ob das Modell komplex ist oder nicht. Nach dem Training wird das AI-Modell mit verschiedenen Techniken optimiert, z. B. Gewichtsquantisierung, Gewichtsclustering, Channel Pruning, Netzwerkskalierung, Shunt-Verbindungen. Ein Beispiel für die Optimierung nach dem Training finden Sie in Abbildung 1.

 

 

Optimierungssensitive Trainingsverfahren sind komplex und erfordern ein hohes Maß an Fachwissen, während Optimierungsverfahren nach dem Training vergleichsweise einfach sind, aber möglicherweise nicht die optimalen Ergebnisse für den jeweiligen Anwendungsfall liefern. Sobald das AI-Modell optimiert ist, wird es im Feld eingesetzt und anhand der erforderlichen Abnahmekriterien getestet. Die Optimierung des AI-Modells ist in der Regel ein iterativer Prozess, da die Hyperparameter für die jeweilige Anwendung abgestimmt werden müssen.

ME Expertise für sicherheitskritische Echtzeit-AI

Mission Embedded hat bereits mehrere Projekte mit AI für sicherheitskritische Echtzeit-Systeme erfolgreich abgeschlossen und mehrere Patente angemeldet.

ME Know-how Übersicht (Beispiele): 

  • –    Durchführung von KI-Machbarkeitsstudien für einen bestimmten Anwendungsfall
  • –    Evaluierung und Vorschlag von AI-Lösungen
  • –    Auswahl der besten Sensoren für den gegebenen Anwendungsfall,
  • –    Datenerfassungskampagnen,
  • –    Training und Optimierung von AI-Modellen und
  • –    rigoroses Testen der AI-Modelle gemäß den Industriestandards (z. B. EN50657).

In erster Linie hat Mission Embedded Know-how in der Entwicklung optimierter AI-Modelle, wobei die modernsten Techniken eingesetzt werden, die sowohl optimierungssensitives Training als auch Optimierung nach dem Training beinhalten. In einem unserer Projekte wurden z. B. AI-Modelle so optimiert, dass sie ohne signifikanten Genauigkeitsverlust um das Zwei- bis Vierfach beschleunigt wurden und die erforderliche Systemlatenz erreichten.

 

Mission Embedded ist somit in der Lage kundenspezifische AI-Modelle entwickeln, die für den jeweiligen Anwendungsfall optimiert und fein abgestimmt sind.

 

Nehmen Sie Kontakt mit uns auf:

sales@mission-embedded.com