Rechenleistung ist nur so schnell wie die Daten, die sie erreichen. Ein Beschleuniger oder ein MCU, der ein Modell ausführt, verbringt einen Großteil seiner Zeit damit, Gewichte zu lesen und Aktivierungen zu schreiben, und wo diese Bytes liegen und wie schnell sie eintreffen, bestimmt die Geschwindigkeit, die das System erreicht. Speicher auf einem Edge-Gerät ist nicht eine einzige Sache. Er ist eine kleine Hierarchie, in der jede Ebene eine andere Art von Daten mit einem anderen Zugriffsmuster vorhält, und die Auswahl der Bausteine für jede Ebene ist ein eigener Teil des Entwurfs, kein nachträglicher Gedanke zum Silizium, das die Rechenarbeit erledigt.

Die Ebenen teilen sich nach Aufgabe auf. Das Boot-Image und die Firmware liegen im nichtflüchtigen Speicher, den der Baustein beim Start liest. Die Modellgewichte liegen dort, wo die Rechenlogik sie während der Inferenz schnell genug streamen kann. Die laufenden Aktivierungen liegen im schnellen On-Chip- oder externen RAM. Kalibrierung und Konfiguration, klein und selten geändert, liegen in einem winzigen, eigenen Speicher. Ein Baustein, der für eine dieser Ebenen gewählt wurde, ist der falsche für eine andere, und ein Entwurf, der Speicher als eine einzige Zeile im Schaltplan behandelt, entdeckt den Unterschied meist zu spät.

Die langsamste Ebene im Pfad gibt das Tempo vor.

Die Bandbreite, die das Tempo bestimmt

Die Größe hinter all dem ist die Bandbreite. Wie die Speicherbandbreite die reale Inferenzgeschwindigkeit begrenzt ist die ausführliche Geschichte, und ihre Kurzform steht im Zentrum jeder Entscheidung auf dieser Seite: Ein Modell läuft mit der Rate, mit der seine Gewichte eintreffen, und ein schneller Prozessor, dem es an Speicherbandbreite fehlt, dreht Leerlauf, während er auf den nächsten Block wartet. Die Speicherebenen existieren, um diese Rate zu speisen. Der Baustein, der sie drosselt, ist derjenige, der die Bildrate festlegt, ganz gleich, was die dahinterstehende Rechenlogik auf dem Papier verspricht, und deshalb steht die Dimensionierung des Speicherpfads vor dem Vertrauen in die plakative Zahl auf dem Prozessor.

Der Grund, warum die Bandbreite beißt, ist, dass ein neuronales Netz mehr liest, als es berechnet. Jede Schicht zieht ihren vollständigen Satz Gewichte über den Bus, um einen Satz Aktivierungen zu erzeugen, sodass ein Modell mit Millionen von Parametern Millionen von Bytes pro Inferenz bewegt, egal wie raffiniert die Recheneinheit ist. Dieses Verhältnis, die bewegten Bytes gegen die ausgeführten Operationen, entscheidet darüber, ob ein Entwurf durch seine Rechenlogik oder durch seinen Speicher ausgebremst wird, und beim typischen Baustein, der am Edge ein reales Modell ausführt, ist es der Speicher. Ein Prozessor, der bei einem Benchmark, das in den Cache passt, mit hohem Durchsatz angegeben ist, kann auf einen Bruchteil dieser Zahl abfallen, sobald das Modell groß genug ist, um in externem Flash oder RAM zu liegen, und die Lücke zwischen den beiden Zahlen ist die Bandbreite des Pfads, der ihn speist.

Wo Boot-Image und Code liegen

Die erste Ebene, die ein Gerät berührt, ist der nichtflüchtige Speicher, von dem es bootet. Bei vielen Edge-Entwürfen ist das ein serieller NOR-Flash: dicht genug, um die Firmware und oft auch das Modell zu fassen, günstig und einfach über wenige Pins anzubinden. Der Baustein speist entweder Code bei Bedarf an den Prozessor, oder er hält ein Image, das beim Start in den RAM kopiert und von dort ausgeführt wird, und was von beidem er tut, prägt sowohl die Bootzeit als auch den Baustein, der zur Aufgabe passt.

W25Q128JV als Speicher für Boot-Image und Modell auf einem Edge-Gerät ist eine verbreitete Wahl für diese Ebene, ein 128-Megabit-SPI-NOR mit der Dichte, ein Firmware-Image und ein quantisiertes Modell nebeneinander zu tragen, sodass der Prozessor das Modell vor der ersten Inferenz in den Arbeitsspeicher kopieren muss. Das Kopieren ist nicht kostenlos: Ein großes Modell, das beim Booten aus einem seriellen Flash ausgelesen wird, fügt der Einschaltzeit eine sichtbare Verzögerung hinzu, und auf einem Gerät, das aufwacht, eine Inferenz durchführt und zum Stromsparen wieder schläft, ist diese Verzögerung Teil des Energiebudgets statt einer einmaligen Kostenposition. IS25LP128 als Code-Speicher für Edge-KI liegt in derselben Ebene mit dem Schwerpunkt, Code zu halten, ein pinkompatibler SPI-NOR, auf den ein Entwurf für Execute-in-Place oder für das Firmware-Image setzen kann, und eine zweite Quelle dieser Art in derselben Dichte zu haben, ist der Unterschied zwischen einer Knappheit als Ärgernis und einer Knappheit als Neuentwurf. Die Schnittstelle zählt ebenso wie die Kapazität. Ein über eine einzelne SPI-Leitung gelesenes Boot-Image kommt langsam genug zurück, dass ein großes Modell der Einschaltzeit Sekunden hinzufügt, während derselbe Baustein im Quad-Modus gelesen das auf einen Bruchteil reduziert, sodass die Pinzahl, die der Entwurf für den Flash erübrigen kann, direkt darauf zurückwirkt, wie lange der Nutzer beim Einschalten wartet. Dichte und Geschwindigkeit handeln ebenso gegen Gehäuse und Temperatur: Ein Baustein in einem kleinen Gehäuse für eine dichte Platine trägt unter Umständen nicht die Grade-Einstufung eines größeren, und ein Flash, der sein Image auf dem Labortisch hält, kann am oberen Ende eines Industriebereichs an Datenerhalt verlieren, sodass die Betriebsumgebung neben der Megabit-Zahl in dieser Wahl steckt. Beide Bausteine beantworten am Ende dieselbe Frage: Wie viel muss einen Stromzyklus überstehen, und wie schnell muss es zurück sein, wenn der Strom wiederkehrt. Die Dichte mit Reserve für eine über die Produktlebensdauer wachsende Firmware richtig zu treffen und die Lesegeschwindigkeit für die Bootzeit richtig zu treffen, die das Produkt verträgt, ist die Arbeit, die diese Ebene verlangt, und es ist die Art von Arbeit, die auf dem Schaltplan trivial aussieht und teuer wird, sobald der Baustein bereits platziert ist und das Image nicht mehr passt.

Die Versuchung ist, diesen Speicher für das heutige Image zu dimensionieren. Die Firmware eines ausgelieferten Produkts wächst mit jedem Update, sodass der Baustein, der beim Marktstart passte, zwei Jahre später keinen Platz mehr hat, und der günstige Zeitpunkt, Reserve einzuplanen, ist, solange die Platine noch auf dem Labortisch liegt.

Wie der Code aus dieser Ebene ausgeführt wird, ist eine eigene Entscheidung. Ein Baustein, der Execute-in-Place beherrscht, speist Befehle direkt aus dem Flash an den Prozessor und spart den RAM, den eine Kopie bräuchte, bindet aber die Ausführungsgeschwindigkeit an die Flash-Schnittstelle; ein Baustein, der ein komprimiertes Image hält, übergibt es beim Booten einmal an den RAM und läuft danach schnell, zum Preis der Kopierzeit und des RAM, in dem es landen muss. Viele Edge-Entwürfe machen von beidem etwas, führen den heißen Pfad aus dem RAM aus und lassen kalten Code im Flash, und früh zu benennen, was was ist, hält das RAM-Budget ehrlich.

Auch die Zuverlässigkeit wohnt hier. Ein Gerät, das sich im Feld selbst aktualisiert, braucht einen Boot-Speicher, der einen Stromausfall mitten in einem Schreibvorgang übersteht, was meist bedeutet, zwei Images vorzuhalten und auf das bekannte gute zurückzufallen, falls sich das neue Image nicht verifizieren lässt. Diese Redundanz verdoppelt den Platz, den die Ebene bereitstellen muss, und ein Entwurf, der sie weglässt, entdeckt den Bedarf erst, wenn ein Update zum ersten Mal eine Einheit im Feld unbrauchbar macht, nicht auf dem Labortisch.

Gewichte schnell genug streamen

Das Modell zu halten ist die eine Aufgabe; es der Rechenlogik schnell genug zuzuführen ist die andere, und hier hört die Bandbreite auf, abstrakt zu sein. Ein Modell, das bitweise über einfaches SPI gelesen wird, lässt einen leistungsfähigen Beschleuniger verhungern. MT25QL128 zur Versorgung mit Gewichten über QSPI beantwortet das mit einer seriellen Schnittstelle in Quad-Breite oder höher, die die Bytes pro Takt vervielfacht, sodass die Gewichte mit einer Rate eintreffen, die die Rechenlogik nutzen kann, statt auf sie zu warten.

Die Wahl hier wird von der Lücke getrieben zwischen dem, wie schnell der Baustein lesen kann, und dem, wie schnell das Modell seine Gewichte braucht. Ein kleines Modell, das auf den Chip passt, berührt diese Ebene nie; ein größeres, das aus externem Flash gestreamt wird, steht und fällt mit ihr. Schnittstellenbreite und Takt auf den Bedarf des Modells abzustimmen statt auf eine Zahl im Datenblatt, ist es, was den Beschleuniger beschäftigt hält statt ihn anzuhalten.

On-Chip-Speicher verändert die Rechnung. Ein Baustein mit genug internem SRAM, um den Arbeitssatz zu halten, liest jedes Gewicht einmal und hält die Aktivierungen nah, sodass die externe Ebene nur die anfängliche Last trägt; ein Baustein, dem es daran fehlt, lagert mitten in der Inferenz in externen RAM aus und zahlt bei jeder Schicht die Bandbreitenstrafe. Die Größe dieses internen Speichers, nicht der Takt des Kerns, ist oft das, was einen Baustein, der seine Bildrate erreicht, von einem trennt, der es nicht tut, und es ist die Zahl, die man prüfen sollte, bevor man die Durchsatzangabe für bare Münze nimmt.

Wenn ein einzelner serieller Baustein nicht mithalten kann, wird der Pfad breiter. Ein Flash mit Octal-Schnittstelle, ein Baustein, der aus zwei dies zugleich streamt, oder ein Speicher höherer Bandbreite wie HyperRAM zwischen Flash und Rechenlogik kauft jeweils mehr Bytes pro Takt, zum Preis von Pins, Platinenfläche und Strom. Zu einer dieser Lösungen zu greifen, ist ein Zeichen, dass das Modell der einfachen Ebene entwachsen ist, und der ehrliche Schritt ist, zu bestätigen, dass sich das Modell nicht auf den günstigeren Pfad schrumpfen lässt, bevor man die Platine auf den breiteren festlegt.

Der kleine Speicher für die Kalibrierung

Nicht jedes Byte auf der Platine braucht Dichte oder Geschwindigkeit. Kalibrierkonstanten, eine Seriennummer, ein paar Konfigurations-Flags: klein, selten geschrieben und beim Start gelesen. AT24C256 zur Aufbewahrung von Kalibrierung und Parametern auf einem Edge-Gerät ist für diese Rolle dimensioniert, ein kleines I2C-EEPROM, das die Handvoll Werte hält, die ein Gerät sich merken muss, ohne dafür einen Flash-Baustein aufzuwenden. Es ist die stille Ebene, und sie verdient ihren Platz, indem sie die Parameter, die eine Einheit von der nächsten unterscheiden, aus dem Firmware-Image heraushält, wo sie für jede Änderung einen Neubau erzwingen würden.

Verschleiß, Lebensdauer und das lange Leben

Die Ebene, die im Feld beschrieben wird, hat eine Lebensspanne, und sie zu ignorieren ist die Art, wie ein Produkt nach einem Jahr auf eine Weise versagt, die kein Labortest erfasst hat. Flash und EEPROM verschleißen beide mit Schreibvorgängen, und ein Entwurf, der Daten protokolliert oder Parameter aktualisiert, muss die Zyklen über die gesamte Einsatzdauer gegen die spezifizierte Lebensdauer des Bausteins rechnen. Ein Speicher, der einmal im Werk beschrieben wird, sorgt sich um Datenerhalt, also darum, seinen Inhalt jahrelang ohne Strom zu halten; ein Speicher, der jede Stunde beschrieben wird, sorgt sich um Lebensdauer, also darum, die Schreibzahl zu überstehen. Die beiden Anliegen ziehen zu unterschiedlichen Bausteinen, und zu benennen, welchem von beiden eine Ebene gegenübersteht, ist der Anfang der Auswahl für sie.

Die Temperatur zieht in dieselbe Richtung. Ein für einen milden Innenraumbereich spezifizierter Baustein kann bei den Temperaturen, die ein Gerät im Freien oder in der Industrie sieht, an Datenerhalt verlieren, sodass die Umgebung neben Dichte und Geschwindigkeit in die Wahl gehört.

Wo Schreibvorgänge häufig sind, liegt die Lösung oft darin, wie der Entwurf den Baustein nutzt, statt im Baustein selbst. Schreibvorgänge über das Array zu verteilen, sodass keine einzelne Zelle als Erste verschleißt, kleine Aktualisierungen zu einem größeren Schreibvorgang zu bündeln und einen Zähler vorzuhalten, den die Firmware lesen kann, um zu wissen, wie viel Leben verbleibt, jedes davon streckt dasselbe Silizium weiter. Eine Ebene, die nur für Kapazität dimensioniert ist, ohne Gedanken daran, wie oft sie beschrieben wird, ist diejenige, die ein Produkt spät überrascht, und die Überraschung ist immer eine Einheit, die aufgehört hat, sich zu merken, was ihr gesagt wurde.

Was es entscheidet

Die Ebenen kommen zuerst. Ein Entwurf, der benannt hat, was in jeder lebt, das Boot-Image, die gestreamten Gewichte, der Arbeitssatz, die kleinen Parameter, hat den schwierigen Teil bereits erledigt, denn jede Ebene verlangt dann nach einem Baustein, der gegen ihr eigenes Zugriffsmuster gewählt wurde, statt nach einem einzigen Kompromiss, der keiner von ihnen gut dient.

Bandbreite entscheidet über die Ebene, die die Rechenlogik speist. Lebensdauer und Datenerhalt entscheiden über die Ebenen, die im Feld beschrieben werden. Dichte entscheidet, ob die Firmware Raum zum Wachsen hat. Keine davon ist die plakative Kapazitätszahl, und der Baustein, der passt, ist der, der auf die Aufgabe seiner Ebene abgestimmt ist.

Die Verfügbarkeit schließt es ab, genau wie überall sonst auf der Platine. Ein Speicherbaustein, der für ein Produkt gewählt wird, das über Jahre ausgeliefert wird, muss einer sein, der über diese Zeitspanne kaufbar bleibt, mit einer zweiten Quelle in derselben Dichte und Pinbelegung, die vor dem ersten Bau benannt wird, statt nach der ersten Knappheit gesucht zu werden.