Infografik zur DeepSeek V3 vs. V4 Architektur

{ "type": "Infografik zum Vergleich von KI-Architekturen", "style": "Einfache technische Diagramme, weißer Hintergrund, dünne schwarze Umrandung, abgerundete Rechtecke, gestrichelte Beschriftungsfelder, farbcodierte Hervorhebungen, Präsentationsstil, Vektorinfografiken.", "canvas": { "aspect_ratio": "2:1", "resolution": "Horizontale Breite" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 Milliarden Parameter)", "right_title": "DeepSeek V4 (1,2 Billionen Parameter)", "left_title_color": "Leuchtendes Orange-Rot", "right_title_color": "Leuchtendes Blau" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 Milliarden Parameter)", "position": "linke Hälfte", "count": 9, "labels": [ "Vokabulargröße 129k", "FeedForward (SwiGLU)-Modul", "Die Zwischenschicht hat eine Dimension von 2.048.", "MoE-Schicht", "Unterstützt eine Token-Kontextlänge von 128k", "Die ersten drei Blöcke verwenden ein dichtes FFN mit einer verborgenen Größe von 18.432 anstelle von MoE.", "Beispieltexteingabe", "Einbettungsdimension 7.168", "128 Aufmerksamkeitsköpfe" ] }, { "title": "DeepSeek V4 (1,2 Billionen Parameter)", "position": "rechte Hälfte", "count": 9, "labels": [ "Vokabulargröße 160k", "FeedForward (SwiGLU)-Modul", "Die Zwischenschicht hat eine Dimension von 3.072.", "MoE-Schicht", "Unterstützt eine Token-Kontextlänge von 256k", "Die ersten drei Blöcke verwenden ein dichtes FFN mit einer verborgenen Größe von 24.576 anstelle von MoE.", "Beispieltexteingabe", "Einbettung dimension 8,192", "128 attention heads" ] }, { "title": "Untere Vergleichstabelle", "position": "Untere volle Breite", "count": 10, "labels": [ "Gesamtzahl der Parameter", "Anzahl der aktiven Parameter pro Token", "Größe der versteckten Schicht", "Beispieldimension", "DeepSeek V3/R1", "Zwischenschicht (FF)", "Aufmerksamkeit", "Kontextlänge", "Eingebettete Dimension", "Vokabulargröße" ] } ] }, "left_panel": { "background": "Hellgraues abgerundetes Rechteck", "main_stack": { "count": 8, "blocks": [ "Tokenisierter Text", "Token Embedding Layer", "RMSNorm 1", "Multi-head potential attention (MLA)", "RMSNorm 2", "MoE", "Ultimately, RMSNorm", "Lineare Ausgabeschicht" ] }, "side_module": "RoPE connects zum Aufmerksamkeitsblock auf der linken Seite.", "attention_block": { "label": "Multi-head potential attention (MLA)", "accent": "Das Wort "Latent" wird in orange-roter Schrift angezeigt." }, "feedforward_inset": { "title": "FeedForward (SwiGLU)-Modul", "count": 4, "blocks": [ "linear layer", "SiLU activation function", "linear layer", "linear layer" ], "diagram": "Multipliziere die beiden Zweige und projiziere sie anschließend." }, "moe_inset": { "title": "MoE-Schicht", "count": 5, "blocks": [ "Top composite node", "Feedforward network", "Feedforward network", "routing", "Expert Counting Badge 256" ], "details": "Ein kleines schwarzes Quadrat mit einem ausgewählten Experten, einem Pfeil, der auf den Experten zeigt, und einer gestrichelten Trennlinie." }, "annotations": { "vocab": "Vokabulargröße 129k", "ff_dim": "Die Zwischenschicht hat eine Dimension von 2.048.", "context": "Unterstützt eine Token-Kontextlänge von 128k", "dense_first_blocks": "Die ersten drei Blöcke verwenden ein dichtes FFN mit einer verborgenen Größe von 18.432 anstelle von MoE.", "resource_savings": "Ressourceneinsparungen: Die Modellgröße beträgt 671 Bytes, aber jedes Token aktiviert nur 1 (gemeinsamen) + 8 Experten; nur 37 Bytes an Parametern werden pro Inferenzschritt aktiviert." }, "bottom_stats": { "count": 10, "items": [ "Gesamtzahl der Parameter: 671 B", "Aktivitätsparameter pro Token: 37 B (1 + 8 Experten)", "Größe der versteckten Schicht: 7.128", "Beispieldimension: 28.432", "Zwischenschicht (FF): 2.048", "Aufmerksamkeit: 128", "Kontextlänge: 128k", "Einbettungsdimension: die ersten 3 Blöcke", "Kontextlänge: 22G7", "Vokabulargröße: 129k" ] } }, "right_panel": { "background": "Hellblaues abgerundetes Rechteck", "main_stack": { "count": 8, "blocks": [ "Tokenisierter Text", "Token-Einbettungsschicht", "RMSNorm 1", "Multi-Head Potential Attention (MLA)", "RMSNorm 2", "MoE", "Letztendlich RMSNorm", "Lineare Ausgabeschicht" ] }, "side_module": "RoPE verbindet sich mit dem Aufmerksamkeitsblock auf der linken Seite.", "attention_block": { "label": "Multi-Head Potential Attention (MLA)", "accent": "Das Wort "Latent" ist blau dargestellt." }, "feedforward_inset": { "title": "FeedForward (SwiGLU) Modul", "count": 4, "blocks": [ "lineare Schicht", "SiLU-Aktivierungsfunktion", "lineare Schicht", "lineare Schicht" ], "diagram": "Gleiche Struktur wie im linken Bereich" }, "moe_inset": { "title": "MoE-Schicht", "count": 5, "blocks": [ "Oberster zusammengesetzter Knoten", "Feedforward-Netzwerk", "Feedforward-Netzwerk", "Routing", "Experten-Zähl-Badge 384" ], "details": "Ein kleines schwarzes Quadrat mit einem ausgewählten Experten, einem Pfeil, der auf den Experten zeigt, einer gestrichelten Trennlinie und einem blauen Rahmen zur Hervorhebung." }, "annotations": { "vocab": "Vokabulargröße 160k", "ff_dim": "Die Zwischenschicht hat eine Dimension von 3.072.", "context": "Unterstützt eine Token-Kontextlänge von 256k", "dense_first_blocks": "Die ersten drei Blöcke verwenden ein dichtes FFN mit einer verborgenen Größe von 24.576 anstelle von MoE.", "resource_savings": "Ressourceneinsparungen: Die Modellgröße beträgt 1,2 T, aber jedes Token aktiviert nur 1 (gemeinsam genutzten) + 8 Experten; nur 52 Milliarden Parameter werden pro Inferenzschritt aktiviert." }, "bottom_stats": { "count": 10, "items": [ "Gesamtparameter: 1,2 T", "Aktivitätsparameter pro Token: 52 B (1 + 8 Experten)", "Größe der versteckten Ebene: 7,2 B", "Beispieldimension: 28.432", "Zwischenebene (FF): 3.072", "Aufmerksamkeit: 128", "Kontextlänge: 256 k", "Einbettungsdimension: die ersten 3 Blöcke", "Kontextlänge: 22G7", "Vokabulargröße: 160 k" ] } }, "global_notes": "Erstellen Sie ein detailliertes Vergleichsdiagramm der Transformer-Architektur mit gespiegeltem Layout. Jede Hälfte enthält ein großes Modellstapeldiagramm und zwei Illustrationen: ein Feedforward-Modul und eine MoE-Ebene. Verwenden Sie Pfeile zwischen den Blöcken, fügen Sie kleine technische Beschriftungen hinzu und verbinden Sie die Beschriftungen mit den zugehörigen Komponenten. Achten Sie auf eine kompakte und präsentationsähnliche Typografie. Orangerot für alle V3/R1 und blau für alle V4. Fügen Sie unten eine kompakte Metriktabelle über die gesamte Breite ein. Behalten Sie den leicht unperfekten, handgezeichneten Infografikstil mit kleiner Schrift und dichten Anmerkungen bei.