Edge-KI-Silizium ist keine einheitliche Bauteilkategorie. Das Spektrum reicht vom eigenständigen Beschleuniger, der neben einem Host arbeitet, über Applikationsprozessoren, die eine neuronale Recheneinheit auf denselben Die integrieren, bis hinunter zu Mikrocontrollern, die klein genug sind, um den Großteil ihrer Betriebszeit im Schlafmodus zu verbringen. Auf dem Datenblatt überschneiden sich diese Bauteile, im Produkt verhalten sie sich völlig unterschiedlich. Eine Kennzahl wie TOPS, also Operationen pro Sekunde insgesamt, lässt sie auf einer Distributorenseite vergleichbar erscheinen; in einem konkreten Design beantworten sie jedoch ganz unterschiedliche Fragen. Die Auswahl beginnt beim Modell und beim Leistungsbudget, nicht bei der Kategorie, unter der ein Hersteller das Bauteil einsortiert.

Was der Chip leisten muss, grenzt die Auswahl rasch ein. Eine Kamera, die Objekterkennung mit dreißig Bildern pro Sekunde betreibt, braucht dauerhaften Durchsatz und einen Speicherpfad, der breit genug ist, um die Rechenwerke ohne Stocken zu versorgen. Ein batteriebetriebener Sensor, der nur einige Male pro Minute aufwacht, um ein Geräusch zu klassifizieren, braucht im Leerlauf nur wenige Mikroampere und kümmert sich überhaupt nicht um die Bildrate. Dasselbe Wort, Inferenz, deckt beide Aufgaben ab, und sonst teilen die beiden Designs praktisch nichts. Ein Bauteil, das für die eine Aufgabe ausgewählt wurde, ist für die andere meist der falsche Ausgangspunkt. Deshalb ist die folgende Übersicht danach gegliedert, wo das Bauteil im System sitzt, nicht danach, wie schnell es rechnet.

Was folgt, ist also eine Landkarte, keine Rangliste.

Wann ein dediziertes Bauteil seine Berechtigung hat

Ein Allzweckprozessor kann ein kleines Modell in Software ausführen, und für eine gelegentliche Inferenz ist das oft die richtige Antwort: kein zusätzliches Bauteil und nichts Neues, das man bevorraten muss. Die Frage ist, was er dafür aufgibt, nämlich die Rechenzyklen, die er dem Rest der Anwendung schuldet, und eine Stromaufnahme, die mit jeder ausgewerteten Schicht steigt. Die Frage, wo ein dedizierter Beschleuniger einem schnelleren Allzweckprozessor überlegen ist, hängt weit mehr vom Tastverhältnis als von der Spitzenrate ab. Ein Bauteil, das einmal pro Sekunde klassifiziert, kann meist auf seinem Host verbleiben und die Zeit zwischen den Inferenzen für echte Arbeit nutzen; eines, das ein Netz kontinuierlich ausführt, Bild für Bild, ist der Fall, der dedizierte Hardware rechtfertigt. Die Grenze zwischen diesen beiden Mustern ist der Punkt, an dem die Entscheidung fällt, und eine schnellere CPU verschiebt sie nicht, denn das Problem ist die Energie und die Zeit, die für die Arbeit aufgewendet werden, nicht die reine Geschwindigkeit einer einzelnen Ausführung. Ein niedriges Tastverhältnis rechtfertigt zudem selten die festen Kosten, die das Hinzufügen eines Chips verursacht, da die Platinenfläche und das zu beschaffende Bauteil ohnehin anfallen, ob der Beschleuniger nun einmal pro Stunde oder zehnmal pro Sekunde läuft.

Beschleuniger, die an einen Host angebunden werden

Wenn ein Host bereits feststeht und den Rest des Systems trägt, kann ein separater Beschleuniger ausschließlich die neuronale Arbeit übernehmen und alles andere dort belassen, wo es ist. Der Host behält das Betriebssystem, die Anwendung und die Schnittstellen; der Beschleuniger hält das Modell und einen schnellen Zugang dazu vor, üblicherweise über PCIe, USB oder M.2. Der Kompromiss besteht aus einem weiteren Bauteil, das platziert, geroutet und bevorratet werden muss, dem ein Host gegenübersteht, der nicht mehr bei jedem Bild stockt, das er durch das Netz schieben muss. In einem Design, das ohnehin schon aus anderen Gründen einen leistungsfähigen Prozessor trägt, ist dies oft der risikoärmste Weg, um Bildverarbeitung hinzuzufügen.

Bei der Bildverarbeitung zahlt sich die Aufteilung am stärksten aus, weil die Datenrate hoch und das Netz rechenintensiv ist. Der Hailo-8, der die Bildinferenz übernimmt, lässt neben einem konventionellen Prozessor eine Kamera-Pipeline Erkennung oder Segmentierung mit echten Bildraten ausführen, ohne diese Arbeit dem Host aufzubürden, und das innerhalb eines Leistungsbudgets, das eine GPU mit vergleichbarem Durchsatz nicht einhalten würde. Was er im Gegenzug verlangt, ist eine PCIe- oder M.2-Lane auf der Trägerplatine sowie ein thermischer Pfad, der auch dann ausreicht, wenn das Modell stundenlang unter Volllast läuft und nicht nur die wenigen Sekunden einer Labordemonstration. Der Beschleuniger ist nur so nützlich, wie der Host in der Lage ist, ihn mit Bildern zu versorgen, daher gehört die Verbindung zwischen beiden zum Design und ist kein nachträglicher Gedanke.

Prozessoren mit NPU an Bord

Der andere Weg zu neuronalem Durchsatz besteht darin, einen Prozessor zu wählen, der ihn bereits mitbringt. Ein Applikationsprozessor mit integrierter NPU führt Linux aus, steuert die Kameras und Displays an und hält das Modell auf demselben Die, sodass die Stückliste nicht wächst und keine Host-zu-Beschleuniger-Verbindung verlegt werden muss. Der Haken ist, dass die NPU genau das ist, was der Hersteller in das Bauteil eingebaut hat, und ihre Werkzeuge und unterstützten Operatoren entscheiden darüber, wie viel eines gegebenen Modells tatsächlich auf dem Beschleuniger landet, statt mit einem Bruchteil der Geschwindigkeit auf die CPU zurückzufallen. Zwei Bauteile mit denselben TOPS können sehr unterschiedlichen tatsächlichen Durchsatz liefern, sobald die nicht unterstützten Schichten mitgezählt werden.

Der RK3588 als Edge-KI-Prozessor mit integrierter NPU bringt eine hohe Kernanzahl und eine leistungsfähige neuronale Einheit für ein Gerät mit, das einige Watt aufbringen darf und viel Rechenleistung fürs Geld verlangt. Er eignet sich für ein Design mit vollwertigem Linux-Stack, das Reserven für mehrere Kameras oder ein rechenintensiveres Modell wünscht. Seine Toolchain erfordert mehr Inbetriebnahmezeit als ein Bauteil aus einer größeren Hersteller-Support-Organisation, und dieser Aufwand, nicht der Stückpreis, ist der eigentliche Preis hinter der attraktiven Schlagzeile.

Der i.MX 8M Plus, der eine NPU in den Applikationsprozessor integriert, tauscht reinen Durchsatz gegen eine langjährige industrielle Liefergarantie, einen weiten Betriebstemperaturbereich sowie die Dokumentation und Lebenszyklus-Zusagen, die diese Bauteilklasse mit sich bringt. Bei einem Produkt, das zehn Jahre lang in einen industriellen Einsatz ausgeliefert werden soll, ist die Zusage, dass der Chip weiterhin gefertigt und unterstützt wird, oft mehr wert als eine höhere Bildrate, die niemandem fehlte.

Der TDA4VM in der Edge-Inferenz für Automotive und Maschinensehen liegt eher am Ende von funktionaler Sicherheit und Multi-Sensor-Anwendungen und trägt Hardwareblöcke für das Vision-Frontend und die Signalverarbeitung, über die eine generische NPU nicht verfügt. Das macht ihn zu einer starken Wahl für ein Fahrerassistenz- oder Robotikdesign, das mehrere Kameras und ein Radar zusammenführt, und zu einer schwachen Wahl für ein Einkameraprodukt, das die Komplexität bezahlt, ohne sie zu nutzen.

Die Wahl zwischen den dreien hängt weniger von der TOPS-Kennzahl ab als davon, welcher Support, welcher Lebenszyklus, welche On-Die-Blöcke und welche Reife der Toolchain zum Produkt passen. Das Bauteil mit der größten Zahl auf der Folie schafft es selten in die Serienfertigung; dasjenige, dessen Ökosystem zum Team passt, meist schon.

Wenn der MCU die KI ist

Am unteren Ende sind das Modell und der Controller derselbe Chip. Es gibt keinen Host, kein Linux, keinen separaten Beschleuniger. Das Bauteil wacht auf, führt ein kleines Netz aus, handelt nach dem Ergebnis und kehrt in den Schlafmodus zurück, oft mit einer Knopfzelle, die jahrelang halten muss. Das Modell muss in wenige hundert Kilobyte On-Chip-Speicher passen und in Echtzeit auf einem Kern laufen, der in zehn bis niedrigen hundert Megahertz gemessen wird, was alles Rechenintensive ausschließt und Schlüsselworterkennung, einfache Gesten- und Bildaufgaben sowie Signalklassifizierung einschließt. Die Toolchains für diese Bauteile erwarten ein Modell, das von vornherein mit dieser Speichergrenze im Blick trainiert wurde, sodass die Beschränkung das Netz lange formt, bevor es den Chip erreicht.

Die Bauteile, die das leisten, sind nicht austauschbar, und was sie unterscheidet, sind Energie und Integration, nicht die rohe Geschwindigkeit. Der MAX78000 für neuronale Inferenz mit extrem niedrigem Stromverbrauch stellt einen dedizierten Faltungsbeschleuniger neben den Mikrocontroller-Kern, sodass ein kleines Netz mit einem Bruchteil der Energie läuft, die der Kern für dieselbe Multiplikations-Akkumulations-Arbeit aufwenden würde; bei einem Gerät, das tausende Male am Tag aus einer Batterie heraus inferiert, bestimmt diese Kennzahl der Energie pro Inferenz die Batterielebensdauer, und sie ist nicht die Zahl, die vorne auf dem Datenblatt steht. Der K210 als kostengünstiger RISC-V-KI-MCU bedient das Preissegment und kombiniert eine neuronale Einheit mit RISC-V-Kernen zu einem Preis, der zu einer Großserie im Consumer-Bereich passt, in der das Modell leicht ist und der Stückpreis die Stückliste dominiert; seine Werkzeuge sind dünner, und das ist der Kompromiss, der für diesen Preis eingegangen wird. Der NDP120 für stets aktive Sprach- und neuronale Entscheidungsfindung ist noch enger gefasst und dafür gebaut, auf Wake-Words und Klangereignisse zu lauschen, bei einem Leerlaufstrom, der niedrig genug ist, um dauerhaft neben einem größeren System zu sitzen, das schläft, bis das kleine Bauteil etwas hört, das ein Aufwecken wert ist; ein allgemeiner MCU, der dasselbe Modell ausführt, würde die Batterie schon allein dadurch leeren, dass er sich zum Lauschen wachhält. Der ESP32-S3, der leichte Inferenz über seine Vektorbefehle ausführt, ist der pragmatische statt der speziell konzipierte Fall: kein dedizierter KI-Chip, sondern ein vernetzter Mikrocontroller, den viele Teams ohnehin schon auf der Platine haben, mit genug Vektorrechenleistung, um ein leichtes Modell auszuführen, ohne überhaupt ein Bauteil hinzuzufügen, was ihn zur günstigsten neuronalen Inferenz im Spektrum macht, sofern das Modell klein genug ist. Wo eines dieser Bauteile zum Modell passt, nimmt es eine ganze Bauteilklasse von der Platine.

Die Beschränkung bei allen ist Speicher und Takt, und sie tritt früher ein, als die Schlagzeile vermuten lässt. Ein Modell, das im Labor auf einem Entwicklungskit mit reichlich Reserve läuft, kann für das Serienbauteil immer noch zu groß sein, sobald die realen Eingabepuffer, der Kommunikationsstack und der Rest der Firmware sich dieselben wenigen hundert Kilobyte teilen. Diese Dimensionierung früh vorzunehmen, bevor das Bauteil festgelegt ist, erspart eine schmerzhafte Neukonstruktion spät im Zeitplan.

Was die Entscheidung tatsächlich bestimmt

Das Modell und das Tastverhältnis legen die Untergrenze fest. Alles oberhalb dieser Grenze ist Versorgung und Werkzeuge, und genau dort werden die meisten dieser Entscheidungen gewonnen oder verloren, lange nachdem der Benchmark vergessen ist.

Ein Bauteil ohne Zweitquelle ist ein Single Point of Failure in der Stückliste, so gut seine Kennzahlen für sich genommen auch aussehen mögen. Bei einem Produkt mit langer Lebensdauer lautet die Frage nicht nur, ob das Bauteil jetzt seine Leistung erbringt, sondern auch, ob es in drei Jahren noch in Stückzahlen erhältlich ist und ob eine pinkompatible Alternative existiert, falls nicht. Das ist ebenso eine Beschaffungs- wie eine Ingenieursentscheidung, und sie lässt sich leichter beantworten, solange der Schaltplan noch offen ist.

Eine dünne Toolchain kostet bei der Inbetriebnahme echte Zeit. Ein Bauteil, das Handarbeit erfordert, um ein Modell auf seine NPU zu bekommen, oder das für nicht unterstützte Operatoren stillschweigend auf die CPU zurückfällt, kann den Durchsatzvorteil zunichtemachen, der es attraktiv erscheinen ließ, und nichts davon zeigt sich, bevor das Modell gewählt und der Zeitplan bereits festgelegt ist. Die Reife der Konvertierungswerkzeuge und die Größe der Community dahinter sind ebenso viel wert wie das Silizium selbst, wenn ein echter Termin im Spiel ist.

Die TOPS-Kennzahl ist das, was sich am leichtesten über Bauteile hinweg vergleichen lässt, und am wenigsten geeignet, darüber zu entscheiden, ob das Design in Serie geht. Das Bauteil, das gewinnt, ist meist jenes, dessen Leistungsaufnahme, Versorgung und Werkzeuge zum Produkt passen und das irgendwo in der Mitte des Spektrums liegt, nicht an dessen Spitze.