Wie Speicherbandbreite die reale Inferenzgeschwindigkeit begrenzt

Reale Inferenzgeschwindigkeit scheitert oft am Datenpfad, bevor die Recheneinheit ausgelastet ist.

Die Prüfung beginnt bei Modellverkehr, Arbeitspeicher, Busbreite, Layoutkorridor und Versorgungsspitzen, nicht bei einem Spitzenwert des Prozessors.

Beim Datenpfad beginnen

Gewichte, Eingabe, Aktivierungen, Zwischenpuffer und Ausgabe müssen einem Speicherort zugeordnet werden.

Takt und Busbreite ergeben erst nach Bursts, Arbitration, Cache-Fehlern und Zugriffsmuster eine nutzbare Bandbreite.

Spitzenleistung von Dauerbetrieb trennen

Jede Schicht kann den Speicher anders belasten, und eine langsame Schicht bestimmt die Produkterfahrung.

Messwerte brauchen Modellversion, Genauigkeit, Cache-Einstellung, externen Speicher und Compileroption.

Die Modellform ändert den Datenverkehr

Ähnliche Parameterzahlen bedeuten nicht ähnliche Bewegungen von Feature-Maps und Zwischenpuffern.

Quantisierung hilft nur dann vollständig, wenn Datenformat, Speicherplan und Host-Grenze zusammenpassen.

Layout und Stromversorgung prüfen

Speicher gehört nahe an das Bauteil, das die Daten verbraucht. Der Buskorridor braucht klare Rückstrompfade.

Entkopplung, Kupferfläche und Stromspitzen beeinflussen den Dauerlauf, nicht nur den Start.

Flash, Arbeitsspeicher und SRAM trennen

Boot-Flash kann Image und Modell halten, ist aber nicht automatisch der richtige Ort für laufende Layer-Zugriffe.

Interner SRAM ist knapp, kann aber durch Tiling, Doppelbuffer und Wiederverwendung externen Verkehr senken.

Abschließende Prüfung

Vor Freigabe zählen Modellverkehr, Arbeitspeicherort, Speicherrolle, Busbreite, Controller, Layout, Entkopplung, Versorgung, Temperatur, Zähler und Ersatzteilgrenze.

Erst wenn der genehmigte Modelllauf unter Produktbedingungen mit Daten versorgt wird, ist reale Inferenzgeschwindigkeit belegt.