DeepSeek V3 versus V4 Architectuur Infographic

{ "type": "Infographic met een vergelijking van AI-architecturen naast elkaar", "style": "Eenvoudige technische grafieken, witte achtergrond, dunne zwarte omlijning, afgeronde rechthoeken, gestippelde annotatievakken, kleurgecodeerde markeringen, presentatiestijl, vectorinfographics.", "canvas": { "aspect_ratio": "2:1", "resolution": "Horizontale breedte" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 miljard parameters)", "right_title": "DeepSeek V4 (1,2 biljoen parameters)", "left_title_color": "Fel oranje-rood", "right_title_color": "Fel blauw" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 miljard parameters)", "position": "linkerhelft", "count": 9, "labels": [ "Woordenschatgrootte 129k", "FeedForward (SwiGLU) module", "De tussenliggende verborgen laag heeft een dimensie van 2.048.", "MoE-laag", "Ondersteunt een tokencontextlengte van 128k", "De eerste drie blokken gebruiken een dicht FFN met een verborgen grootte van 18.432 in plaats van MoE.", "Voorbeeldtekstinvoer", "Embeddingdimensie 7.168", "128 aandachtskoppen" ] }, { "title": "DeepSeek V4 (1,2 biljoen parameters)", "position": "rechterhelft", "count": 9, "labels": [ "Woordenschatgrootte 160k", "FeedForward (SwiGLU) module", "De tussenliggende verborgen laag heeft een dimensie van 3.072.", "MoE-laag", "Ondersteunt een tokencontextlengte van 256k", "De eerste drie blokken gebruiken een dicht FFN met een verborgen grootte van 24.576 in plaats van MoE.", "Voorbeeldtekstinvoer", "Inbeddingsdimensie 8.192", "128 aandachtskoppen" ] }, { "titel": "Onderste vergelijkingstabel", "positie": "Onderste volledige breedte", "aantal": 10, "labels": [ "Totaal aantal parameters", "Aantal actieve parameters per token", "Grootte verborgen laag", "Voorbeelddimensie", "DeepSeek V3/R1", "Tussenliggende laag (FF)", "Aandacht", "Contextlengte", "Inbeddingsdimensie", "Woordenschatgrootte" ] } ] }, "linkerpaneel": { "achtergrond": "Lichtgrijze afgeronde rechthoek", "hoofdstapel": { "aantal": 8, "blokken": [ "Getokeniseerde tekst", "Token-inbeddingslaag", "RMSNorm 1", "Potentiële aandacht met meerdere koppen (MLA)", "RMSNorm 2", "MoE", "Uiteindelijk RMSNorm", "Lineaire uitvoerlaag" ] }, "side_module": "RoPE verbindt met het aandachtblok aan de linkerkant.", "attention_block": { "label": "Multi-head potential attention (MLA)", "accent": "Het woord 'Latent' wordt weergegeven in oranje-rode letters." }, "feedforward_inset": { "title": "FeedForward (SwiGLU) module", "count": 4, "blocks": [ "lineaire laag", "SiLU-activeringsfunctie", "lineaire laag", "lineaire laag" ], "diagram": "Vermenigvuldig de twee takken en projecteer ze vervolgens." }, "moe_inset": { "title": "MoE-laag", "count": 5, "blocks": [ "Top composite node", "Feedforward network", "Feedforward network", "routing", "Expert Counting Badge 256" ], "details": "Een klein zwart vierkantje met één geselecteerde expert, een pijl die naar de expert wijst en een stippellijn als scheidingslijn." }, "annotaties": { "vocab": "Woordenschatgrootte 129k", "ff_dim": "De tussenliggende verborgen laag heeft een dimensie van 2.048.", "context": "Ondersteunt een tokencontextlengte van 128k", "dense_first_blocks": "De eerste drie blokken gebruiken een dense FFN met een verborgen grootte van 18.432 in plaats van MoE.", "resource_savings": "Resourcebesparing: De modelgrootte is 671 bytes, maar elk token activeert slechts 1 (gedeelde) + 8 experts; slechts 37 bytes aan parameters worden per inferentiestap geactiveerd." }, "bottom_stats": { "count": 10, "items": [ "Totaal aantal parameters: 671B", "Activiteitsparameters per token: 37B (1 + 8 experts)", "Grootte verborgen laag: 7.128", "Voorbeelddimensie: 28.432", "Tussenliggende laag (FF): 2.048", "Aandacht: 128", "Contextlengte: 128k", "Embeddingdimensie: de eerste 3 blokken", "Contextlengte: 22G7", "Woordenschatgrootte: 129k" ] } }, "right_panel": { "background": "Lichtblauwe afgeronde rechthoek", "main_stack": { "count": 8, "blocks": [ "Getokeniseerde tekst", "Token Embedding Layer", "RMSNorm 1", "Multi-head potential attention (MLA)", "RMSNorm 2", "MoE", "Uiteindelijk RMSNorm", "Lineaire uitvoerlaag" ] }, "side_module": "RoPE verbindt met het aandachtblok aan de linkerkant.", "attention_block": { "label": "Potentiële aandacht voor meerdere koppen (MLA)", "accent": "Het woord 'Latent' staat in blauwe tekst." }, "feedforward_inset": { "title": "FeedForward (SwiGLU) module", "count": 4, "blocks": [ "lineaire laag", "SiLU-activeringsfunctie", "lineaire laag", "lineaire laag" ], "diagram": "Dezelfde structuur als het linkerpaneel" }, "moe_inset": { "title": "MoE-laag", "count": 5, "blocks": [ "Bovenste samengestelde knooppunt", "Feedforward-netwerk", "Feedforward-netwerk", "routing", "Expert Counting Badge 384" ], "details": "Een klein zwart vierkantje met één geselecteerde expert, een pijl die naar de expert wijst, een stippellijn als scheidingslijn en een blauwe rand ter benadrukking." }, "annotaties": { "vocab": "Woordenschatgrootte 160k", "ff_dim": "De tussenliggende verborgen laag heeft een dimensie van 3.072.", "context": "Ondersteunt een tokencontextlengte van 256k", "dense_first_blocks": "De eerste drie blokken gebruiken een dense FFN met een verborgen grootte van 24.576 in plaats van MoE.", "resource_savings": "Resourcebesparing: De modelgrootte is 1,2 TB, maar elk token activeert slechts 1 (gedeeld) + 8 experts; er worden slechts 52 miljard parameters per inferentiestap geactiveerd." }, "bottom_stats": { "count": 10, "items": [ "Totaal aantal parameters: 1,2T", "Activiteitsparameters per token: 52B (1 + 8 experts)", "Grootte verborgen laag: 7,2B", "Voorbeeldafmeting: 28.432", "Tussenliggende laag (FF): 3.072", "Aandacht: 128", "Contextlengte: 256k", "Inbeddingsafmeting: de eerste 3 blokken", "Contextlengte: 22G7", "Woordenschatgrootte: 160k" ] } }, "global_notes": "Maak een zeer gedetailleerd vergelijkingsdiagram van de Transformer-architectuur met behulp van een gespiegelde lay-out. Elke helft bevat een groot diagram van de modelstack en twee illustraties: een feedforward-module en een MoE-laag. Gebruik pijlen tussen blokken, voeg kleine technische labels toe en gebruik verbindingslijnen om de labels te koppelen aan gerelateerde componenten. Houd de typografie compact en presentatie-achtig, met behulp van Oranje-rood voor alle V3/R1 en blauw voor alle V4. Voeg een compacte tabel met statistieken toe die de volledige breedte beslaat onderaan. Behoud de ietwat imperfecte, handgetekende infographic-stijl, met kleine tekst en dichte annotaties.