Infografik om DeepSeek V3 vs. V4-arkitektur

{ "type": "Infografik med side-om-side sammenligning af AI-arkitektur", "style": "Enkle tekniske diagrammer, hvid baggrund, tynd sort omrids, afrundede rektangler, stiplede annotationsbokse, farvekodede fremhævninger, præsentationsstil, vektorinfografik.", "canvas": { "aspect_ratio": "2:1", "resolution": "Horisontal bredde" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 milliarder parametre)", "right_title": "DeepSeek V4 (1,2 billioner parametre)", "left_title_color": "Klar orange-rød", "right_title_color": "Klar blå" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 milliarder parametre)", "position": "venstre halvdel", "count": 9, "labels": [ "Ordforrådsstørrelse 129k", "FeedForward" "(SwiGLU) modul", "Det mellemliggende skjulte lag har en dimension på 2.048.", "MoE-lag", "Understøtter 128k token-kontekstlængde", "De første tre blokke bruger en tæt FFN med en skjult størrelse på 18.432 i stedet for MoE.", "Eksempel på tekstinput", "Indlejringsdimension 7.168", "128 opmærksomhedshoveder" ] }, { "title": "DeepSeek V4 (1,2 billioner parametre)", "position": "højre halvdel", "count": 9, "labels": [ "Vokabulærstørrelse 160k", "FeedForward (SwiGLU) modul", "Det mellemliggende skjulte lag har en dimension på 3.072.", "MoE-lag", "Understøtter 256k token-kontekstlængde", "De første tre blokke bruger en tæt FFN med en skjult størrelse på 24.576 i stedet for MoE.", "Eksempel på tekstinput", "Indlejringsdimension 8.192", "128 opmærksomhedshoveder" ] }, { "title": "Nederste sammenligningstabel", "position": "Nederste fuld bredde", "count": 10, "labels": [ "Samlet antal parametre", "Antal aktive parametre pr. token", "Skjult lagstørrelse", "Eksempeldimension", "DeepSeek V3/R1", "Mellemlag (FF)", "Opmærksomhed", "Kontekstlængde", "Indlejret dimension", "Vokabulærstørrelse" ] } ] }, "left_panel": { "background": "Lysegrå afrundet rektangel", "main_stack": { "count": 8, "blocks": [ "Tokeniseret tekst", "Token-indlejringslag", "RMSNorm 1", "Multi-head potentiel opmærksomhed (MLA)", "RMSNorm 2", "MoE", "I sidste ende, RMSNorm", "Lineært outputlag" ] }, "side_module": "RoPE forbinder til opmærksomheden blok til venstre.", "attention_block": { "label": "Multi-head potentiel opmærksomhed (MLA)", "accent": "Ordet "Latent" vises med orange-rød skrift." }, "feedforward_inset": { "title": "FeedForward (SwiGLU) modul", "count": 4, "blocks": [ "linear layer", "SiLU aktiveringsfunktion", "linear layer", "linear layer" ], "diagram": "Multiplicér de to grene, og projicer dem derefter." }, "moe_inset": { "title": "MoE-lag", "count": 5, "blocks": [ "Øverste sammensatte node", "Feedforward netværk", "Feedforward netværk", "routing", "Eksperttællingsbadge 256" ], "details": "En lille sort firkant med én valgt ekspert, en pil, der peger på eksperten, og en stiplet linjeseparator." }, "annotations": { "vocab": "Vokabulærstørrelse 129k", "ff_dim": "Det mellemliggende skjulte lag har en dimension på 2.048.", "context": "Understøtter en tokenkontekstlængde på 128k", "dense_first_blocks": "De første tre blokke bruger en tæt FFN med en skjult størrelse på 18.432 i stedet for MoE.", "resource_savings": "Ressourcebesparelser: Modellens størrelse er 671 bytes, men hvert token aktiverer kun 1 (delt) + 8 eksperter; kun 37 bytes parametre aktiveres pr. inferenstrin." }, "bottom_stats": { "count": 10, "items": [ "Samlet antal parametre: 671B", "Aktivitetsparametre pr. token: 37B (1 + 8 eksperter)", "Skjult lagstørrelse: 7.128", "Eksempeldimension: 28.432", "Mellemliggende lag (FF): 2.048", "Opmærksomhed: 128", "Kontekstlængde: 128k", "Indlejringdimension: de første 3 blokke", "Kontekstlængde: 22G7", "Vokabulærstørrelse: 129k" ] } }, "right_panel": { "background": "Lyseblå afrundet rektangel", "main_stack": { "count": 8, "blocks": [ "Tokeniseret tekst", "Tokenindlejringslag", "RMSNorm 1", "Multi-head potentiel opmærksomhed (MLA)", "RMSNorm 2", "MoE", "I sidste ende, "RMSNorm", "Lineært outputlag" ] }, "side_module": "RoPE forbinder til opmærksomhedsblokken til venstre.", "attention_block": { "label": "Multi-head potentiel opmærksomhed (MLA)", "accent": "Ordet "Latent" er i blå tekst." }, "feedforward_inset": { "title": "FeedForward (SwiGLU) modul", "count": 4, "blocks": [ "lineært lag", "SiLU aktiveringsfunktion", "lineært lag", "lineært lag" ], "diagram": "Samme struktur som venstre panel" }, "moe_inset": { "title": "MoE-lag", "count": 5, "blocks": [ "Øverste sammensatte node", "Feedforward netværk", "Feedforward netværk", "routing", "Eksperttællingsbadge 384" ], "details": "En lille sort firkant med én valgt ekspert, en pil, der peger på eksperten, en stiplet separator og en blå kant for fremhævelse." }, "annotations": { "vocab": "Vokabulærstørrelse 160k", "ff_dim": "Det mellemliggende skjulte lag har en dimension på 3.072.", "context": "Understøtter en token-kontekstlængde på 256k", "dense_first_blocks": "De første tre blokke bruger en tæt FFN med en skjult størrelse på 24.576 i stedet for MoE.", "resource_savings": "Ressourcebesparelser: Modelstørrelsen er 1,2T, men hver token aktiverer kun 1 (delt) + 8 eksperter; kun 52B parametre aktiveres pr. inferenstrin." }, "bottom_stats": { "count": 10, "items": [ "Samlede parametre: 1,2T", "Aktivitetsparametre pr. token: 52B (1 + 8 eksperter)", "Skjult lagstørrelse: 7,2B", "Eksempeldimension: 28.432", "Mellemlag (FF): 3.072", "Opmærksomhed: 128", "Kontekstlængde: 256k", "Indlejringsdimension: de første 3 blokke", "Kontekstlængde: 22G7", "Vokabulærstørrelse: 160k" ] } }, "global_notes": "Opret et meget detaljeret Transformer-arkitektursammenligningsdiagram ved hjælp af et spejlet layout. Hver halvdel indeholder et stort modelstakdiagram og to illustrationer: et feedforward-modul og et MoE-lag. Brug pile mellem blokkene, tilføj små tekniske etiketter, og brug forbindelseslinjer til at forbinde etiketterne til relaterede komponenter. Hold typografien kompakt og præsentationsagtig, og brug orange-rød til alle V3/R1 og blå for alle V4. Inkluder en kompakt metrikstabel, der spænder over fuld bredde i bunden. Behold den lidt uperfekte håndtegnede infografikstil med lille tekst og tætte annotationer.