AWS meldet 40 Prozent mehr Rollout-Durchsatz mit DeepEP und EFA
Ein dokumentierter Versuch beschleunigt die Erzeugung von Trainingsbeispielen für ein MoE-Modell. Die Kennzahl gilt für die getestete Clusterkonfiguration.
Kommunikation zwischen Rechenknoten im Fokus
AWS hat am 25. September eine Architektur für das Nachtraining von Mixture-of-Experts-Modellen auf Amazon EKS beschrieben. Sie kombiniert die Netzwerkfunktion Elastic Fabric Adapter mit DeepEP, um den Datenaustausch zwischen verteilten Modellkomponenten effizienter zu gestalten.
Im veröffentlichten Versuch mit 48 P5en-Instanzen stieg der gesamte Durchsatz bei der Rollout-Erzeugung laut AWS um 40 Prozent. Dabei waren 16 Instanzen für Training und 32 für Inferenz vorgesehen. Rollouts liefern die Beispiele, mit denen das Modell weiterlernt.
Kein pauschaler Geschwindigkeitsgewinn für jedes Training
Die Kennzahl beschreibt die Rollout-Phase der dokumentierten Konfiguration. Sie bedeutet nicht automatisch, dass ein vollständiger Trainingslauf 40 Prozent schneller endet oder entsprechend weniger kostet. Andere Arbeitsschritte können den Gesamtfortschritt begrenzen.
Einordnung: Den gesamten Ablauf messen
Für einen eigenen Vergleich wäre interessant, wie viel Zeit zwischen dem Start und einem nutzbaren Modellstand vergeht. Dazu gehören auch Vorbereitung, Zwischenstände und mögliche Wartezeiten. Ein schnellerer Abschnitt kann seinen Vorteil verlieren, wenn nachgelagerte Schritte nicht mithalten.
Ebenso sollte die Qualität des erzielten Modellstands im Vergleich erhalten bleiben. Ein hoher Durchsatz ist ein Betriebswert, keine Aussage über bessere Antworten. Für eine belastbare Entscheidung wären daher identische Aufgaben, dokumentierte Einstellungen und eine Auswertung des gesamten Laufs aussagekräftiger als ein einzelner Spitzenwert.
Kommentare