Ein KI-System in einem Gerät besteht aus mehr als dem Chip, der das Modell ausführt. Das Modell muss mit Daten versorgt, mit Strom gespeist und kühl gehalten werden, und es braucht saubere Eingangsdaten, mit denen es arbeiten kann. Jede dieser Aufgaben fällt einem anderen Teil der Stückliste zu. Der Beschleuniger steht im Blockschaltbild ganz oben. Ob er die auf seinem Datenblatt versprochene Durchsatzrate je erreicht, entscheiden die Bauteile rundherum.

Wer das Silizium zuerst aussucht und alles andere als bloßes Beiwerk behandelt, holt sich die Platine erfahrungsgemäß irgendwann wieder auf den Labortisch zurück. Ein Wandler, der bei einem Lastsprung einbricht, ein Flash, das zu langsam ist, um die Gewichte nachzuladen, ein dicht verschlossenes Gehäuse, das die Wärme staut, bis das Bauteil heruntertaktet: schon einer dieser Punkte hält das fertige System klar unter dem, wofür die Rechenleistung ausgelegt war, und meistens ist es die unscheinbarste Stelle der Platine.

In einer TOPS-Zahl taucht davon nichts auf.

Wo die Arbeit läuft

Zuerst ist zu klären, was das Modell ausführt. Ein dedizierter Beschleuniger oder ein Stück Edge-KI-Silizium verdient sich seinen Platz, sobald die Bildrate oder das Leistungsbudget die Aufgabe außer Reichweite eines Universalprozessors rückt. Unterhalb dieser Schwelle ist der zusätzliche Chip nur Kosten und Platinenfläche, die nichts einbringen, und wo die Schwelle liegt, ergibt sich aus dem Modell und dem Lastprofil, nicht aus der Spitzenangabe auf der ersten Seite. Die Bauform des Beschleunigers wiegt dabei genauso schwer wie sein Datenblattwert; ein Baustein, der auf Faltung ausgelegt ist, kann an den Attention-Blöcken eines transformer ins Stocken geraten, also gehört die Passung zwischen Silizium und der Form des Modells mit zur Entscheidung.

Ein großer Teil der Aufgaben braucht überhaupt kein eigenes Bauteil. Ein einzelner MCU mit einem kleinen neuronalen Block kann das Modell selbst ausführen, eine Schlüsselworterkennung oder eine Schwingungsüberwachung etwa, und nebenbei noch die übrigen Aufgaben erledigen, die das Produkt verlangt. Viele dieser MCUs ergänzen eine kleine Vektor- oder DSP-Erweiterung, die den Rechendurchsatz ohne zweiten Chip anhebt, und der On-Chip-RAM, oft nur ein paar hundert Kilobyte, wird am Ende zur Wand, an die das Modell zuerst stößt.

Ein dritter Fall tritt auf, wenn das Netz noch nicht festliegt. Die Flexibilität eines FPGA hält den Datenpfad veränderbar, auch wenn die Platine schon existiert, und das ist die reale Leistungsaufnahme und die Entwicklungsstunden wert, wenn die Alternative darin besteht, die Hardware auf eine Architektur festzulegen, die das Jahr womöglich nicht übersteht.

Speicher, der das Modell versorgt

Ein Modell läuft so schnell, wie seine Gewichte eintreffen, nicht so schnell, wie sich die Arithmetik ausführen lässt. Jede Schicht liest einen Block Parameter, multipliziert sie mit den eingehenden Aktivierungen und schreibt das Ergebnis weg, damit die nächste Schicht es aufgreifen kann. Bei allem jenseits eines winzigen Netzes passen die Parameter nicht vollständig in den On-Chip-SRAM, also liegen sie im externen Speicher und werden im Lauf jeder Schicht nachgeladen, und mit welcher Rate sie nachfließen, gibt die Speicherschnittstelle vor. Diese Rate, weit häufiger als die Zahl der Multiplikationen, bestimmt die auf dem Labortisch gemessene Bildrate. Sie ist der Grund, warum zwei Bausteine mit derselben plakativen TOPS-Zahl ganz unterschiedlichen realen Durchsatz liefern, sobald ein Modell geladen ist: Der mit dem breiteren oder schnelleren Speicherbus hält seine Arithmetik beschäftigt, während der andere viel Zeit mit dem Warten auf den nächsten Block Gewichte verbringt. Ein Modell auf Acht-Bit-Ganzzahlen zu quantisieren hilft hier aus einem Grund, der mit Genauigkeit wenig zu tun hat. Es senkt die pro Inferenz bewegten Bytes gegenüber einer Gleitkomma-Variante um etwa die Hälfte bis drei Viertel, und bei einem speichergebundenen Entwurf schlägt sich dieser geringere Datenverkehr unmittelbar in einer höheren Bildrate nieder. Derselbe Druck prägt, wie ein Modell aufgebaut wird. Eine breite Schicht in Kacheln zu zerlegen, die in die On-Chip-Puffer passen, Aktivierungen auf dem Chip zu halten, statt sie zurückzuschreiben, die nächste Kachel zu laden, während die aktuelle rechnet: das sind die Hebel, die Durchsatz zurückholen, den kein Datenblatt je zugesagt hat. Auf den kleinsten Bausteinen teilen sich das Modell und sein Arbeitsspeicher dieselben paar hundert Kilobyte, also wird das Netz um den Speicher herum entworfen, in dem es laufen wird. Am anderen Ende des Ablaufs steckt zudem ein stillerer Kostenpunkt. Das Modell muss vor der ersten Inferenz aus dem nichtflüchtigen Speicher in den Arbeitsspeicher kopiert werden, und auf einem Baustein, der ein großes Netz aus einem langsamen seriellen Flash bootet, kann dieses Kopieren eine spürbare Verzögerung beim Einschalten verursachen, was bei einem Gerät ins Gewicht fällt, das aufwachen, rechnen und zum Sparen der Batterie wieder schlafen soll. Sich durchzuarbeiten, wie die Speicherbandbreite die reale Inferenzgeschwindigkeit deckelt, ist der Schritt, der entscheidet, ob der Durchsatz aus dem Datenblatt standhält, sobald ein echtes Modell im Baustein sitzt.

Bandbreite ist die eine Frage. Wo Code und Modell tatsächlich liegen, ist die andere. Ein kleines Gerät bootet seine Firmware aus einem seriellen NOR-Flash. Das Modell und sämtliche protokollierten Daten landen in dichterem NAND oder eMMC, und der Baustein arbeitet aus einem SDRAM oder LPDDR, das auf den Arbeitsdatensatz dimensioniert ist. Die Boot- und Datenspeicherbauteile auszuwählen läuft auf Dichte, Schnittstelle und die Zahl der Schreibzyklen hinaus, die das Datenmuster über die Lebensdauer des Produkts sehen wird.

Strom, der den Lastsprung übersteht

Eine Inferenzlast ist stoßartig. Der Kern liegt nahe am Leerlauf, zieht innerhalb weniger Mikrosekunden einen großen Strom, sobald eine Schicht feuert, und fällt dann wieder zurück. Eine Versorgung, die auf den mittleren Strom ausgelegt ist, lässt die Schiene bei diesem Sprung absacken, und ein tiefes genug Absacken liest sich für den Chip wie ein Brownout, auf den er reagieren muss.

Die Schiene unter diesem Sprung stabil zu halten ist Aufgabe eines Wandlers, der auf den real auftretenden Transienten ausgelegt ist und dessen Regelschleife schnell genug ist, die Flanke einzufangen. Bei einem Kern mit hohem Strom bedeutet das meist einen mehrphasigen Entwurf oder ein dichtes Power-Modul, das die Drossel im eigenen Gehäuse direkt neben die Last setzt. Eine Platine mit mehreren Schienen muss diese zudem in der richtigen Reihenfolge hochfahren, und genau da tritt ein Power-Management-IC mit sequenzierten Ausgängen an die Stelle einer Handvoll diskreter Regler.

Der Wandler schafft das nicht allein. Bulk-Kapazität deckt die ersten Mikrosekunden ab, bevor die Schleife nachzieht, Keramikkondensatoren an den Pins fangen die schnelle Flanke ab, und eine Ferritperle hält das Schaltrauschen von der Analogversorgung fern. Die Power-Integrität mit den passenden Passivbauteilen sauber hinzubekommen ist das, was eine saubere Schiene unter einem Chip aufrechterhält, der zwischen Leerlauf und Volllast in deutlich unter einer Mikrosekunde um zig Ampere springen kann.

Die Kennwerte, die das alles bestimmen, sind die Höhe des Stromsprungs und wie schnell er eintrifft. Beide stehen in der Dokumentation des Beschleunigers, in dem Abschnitt, den kaum jemand liest, bis die Schiene anfängt, sich danebenzubenehmen.

Die thermische Obergrenze

Wärme setzt eine Obergrenze, die sich verschiebt. Ein Baustein, der bei Raumtemperatur den vollen Takt hält, nimmt diesen Takt zurück, sobald sich die Sperrschicht erwärmt, und die Inferenzrate fällt mit ihm, also sind die Zahl auf dem offenen Labortisch und die Zahl nach einer Stunde im geschlossenen Gehäuse nicht dieselbe Zahl. Der Weg führt vom Die über das Gehäuse zu einem Spreader oder einem Kühlkörper, und das Wärmeleitmaterial in jedem Spalt trägt ebenso viel zum Budget bei wie das Metall. Silizium zu kühlen, das bei Hitze drosselt, gehört von Anfang an in die Spezifikation, ausgelegt nach der realen Leistungsaufnahme und der Stillluft-Temperatur im Gehäuseinneren, nicht nachträglich angeflanscht, nachdem ein Prototyp heiß und langsam läuft.

Von einer Platine zu etwas Lieferbarem

Das Gehäuse entscheidet über mehr, als seine Größe vermuten lässt. Eine Leistungs- und Wärmeobergrenze legt fest, ob die Box ohne Lüfter laufen kann, wie groß sie sein muss, um ihre Wärme loszuwerden, und welche Last sie Stunde um Stunde halten kann.

Ein lüfterloser Entwurf erkauft Stille und ein geschlossenes Gehäuse und bezahlt sie mit Dauerrechenleistung. Dasselbe Silizium, das auf dem offenen Labortisch eine hohe Bildrate liefert, drosselt in einer geschlossenen Box, sobald die Wärme nirgendwohin mehr kann, und so sind die Wahl der Kühlung und die Wahl des Gehäuses in Wahrheit eine Entscheidung, die zweimal getroffen wird.

Ein Entwicklungsboard belegt die Idee. Es belegt nicht das Produkt. Vom Entwicklungsboard zu einer lieferbaren Platine zu wechseln bringt die Arbeit ins Spiel, die das Eval-Kit verdeckt hat: einen echten Stromversorgungsbaum, EMC, die mechanische Passung, einen Inbetriebnahmeplan, ein Layout, das die Hochgeschwindigkeits- und Stromregeln einhält, denen das Referenzdesign stillschweigend gefolgt ist. Ein Referenzlayout, das die Prüfung auf gestrahlte Emissionen bestanden hat, tat dies mit seinem exakten Lagenaufbau und seiner exakten Platzierung, und eine neu gezeichnete Platine erarbeitet sich dieses Ergebnis erneut von Grund auf.

Ein Teil dieser Arbeit zahlt sich erst später aus, lange nach der Inbetriebnahme. Ein Bauteil, das sich in einer Prototypenserie leicht beschaffen lässt, kann dasjenige sein, das bei einer Bestellung über zehntausend Stück zwölf Monate Lieferzeit hat. Die Bauteilauswahl und die langfristige Versorgung früh festzuzurren, mit einer im BOM benannten Zweitquelle noch vor dem ersten Aufbau, ist das, was einen späteren Engpass davon abhält, die Linie zum Stillstand zu bringen.

An diesem Punkt zeigt sich die Beschaffungsseite der Arbeit. Ein Bauteil, das für ein zehnjähriges Produkt ausgewählt wird, bringt eine Versorgungsfrage mit, die wenig damit zu tun hat, ob es auf dem Labortisch läuft, und bei einem langlebigen Entwurf wird diese Frage bei der Auswahl beantwortet, noch bevor die erste Bestellung je aufgegeben wird.

Die Daten, die das Modell sieht

Ein Bildverarbeitungsmodell ist nur so gut wie die Frames, die man ihm reicht. Der Bildsensor und die Optik davor legen den Dynamikbereich und das Verhalten bei wenig Licht fest. Sie entscheiden auch, ob ein schnell bewegtes Objekt scharf landet oder von einem Rolling Shutter verschmiert ankommt. Die angegebene Bildrate setzt eine Lane-Zahl und einen Takt voraus, die der Host auch wirklich liefern muss, und ein Sensor, dem MIPI-Lanes fehlen, läuft unter seinem Datenblattwert. Keine Netztiefe holt Details zurück, die der Sensor nie erfasst hat.

Bewegungs- und Robotikaufgaben sitzen zwischen dem Modell und der Mechanik. Die Antriebs- und Rückführungsbauteile sind das, was ein Modell ein Gelenk ansteuern und zurücklesen lässt, wohin sich das Gelenk tatsächlich bewegt hat, und die Güte dieser Rückführung begrenzt, wie eng eine darüber liegende Regelschleife schließen kann.

Sprache beginnt am Mikrofon. Ein sauberes Audio-Frontend nimmt das digitale Ausgangssignal eines MEMS-Mikrofons und reicht dem Modell ein Signal, das seine leisen Worte nicht schon im Rauschen verloren hat. Bei einem Fernfeld-Weckwortsystem ist das der größte Teil der Schlacht.

Zwischen den Sensoren und der Rechenleistung steht die schlichte Aufgabe, die Daten schnell genug zu bewegen. Der Videoausgang und die Hochgeschwindigkeits-Lanes tragen einen Kamerastrom in den Beschleuniger oder ein aufbereitetes Frame hinaus zu einem Display, über Schnittstellen wie MIPI, HDMI und PCIe, die ihre eigenen Signalintegritätsregeln gleich mitbringen.

Manche Geräte müssen Audio nicht nur abhören, sondern auch abspielen. Eine gesprochene Ansage oder ein hinterlegter Clip braucht die Bauteile, die Audio decodieren und wandeln, einen DAC oder einen codec, ausgelegt auf den Lautsprecher, den er treibt, und die Leistung, die er verbrauchen darf.

Keiner dieser Blöcke ist für sich allein das KI-System. Das System ist die Gesamtheit dieser Blöcke, gegeneinander abgewogen, und bei vielen Entwürfen ist das Bauteil, das am Ende die Obergrenze setzt, die Stromschiene, das Flash oder das Gehäuse. Der Beschleuniger, der zuerst ausgewählt wurde, ist nur selten das, was es ausbremst.