Infografikk for DeepSeek V3 vs. V4-arkitektur

{ "type": "Infografikk for sammenligning av side-om-side AI-arkitektur", "style": "Enkle tekniske diagrammer, hvit bakgrunn, tynn svart omriss, avrundede rektangler, stiplede annotasjonsbokser, fargekodede uthevinger, presentasjonsstil, vektorinfografikk.", "canvas": { "aspect_ratio": "2:1", "resolution": "Horisontal bredde" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 milliarder parametere)", "right_title": "DeepSeek V4 (1,2 billioner parametere)", "left_title_color": "Klar oransjerød", "right_title_color": "Klar blå" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 milliarder parametere)", "position": "venstre halvdel", "count": 9, "labels": [ "Vokabulærstørrelse 129k", "FeedForward" "(SwiGLU)-modul", "Det mellomliggende skjulte laget har en dimensjon på 2048.", "MoE-lag", "Støtter 128k token-kontekstlengde", "De tre første blokkene bruker et tett FFN med en skjult størrelse på 18 432 i stedet for MoE.", "Eksempel på tekstinndata", "Innebyggingsdimensjon 7168", "128 oppmerksomhetshoder" ] }, { "tittel": "DeepSeek V4 (1,2 billioner parametere)", "posisjon": "høyre halvdel", "antall": 9, "etiketter": [ "Vokabularstørrelse 160k", "FeedForward (SwiGLU)-modul", "Det mellomliggende skjulte laget har en dimensjon på 3072.", "MoE-lag", "Støtter 256k token-kontekstlengde", "De tre første blokkene bruker et tett FFN med en skjult størrelse på 24 576 i stedet for MoE.", "Eksempel på tekstinndata", "Innebyggingsdimensjon 8 192", "128 oppmerksomhetshoder" ] }, { "title": "Nederste sammenligningstabell", "position": "Nederste full bredde", "count": 10, "labels": [ "Totalt antall parametere", "Antall aktive parametere per token", "Skjult lagstørrelse", "Eksempeldimensjon", "DeepSeek V3/R1", "Mellomlag (FF)", "Oppmerksomhet", "Kontekstlengde", "Innebygd dimensjon", "Vokabularstørrelse" ] } ] }, "left_panel": { "background": "Lysegrått avrundet rektangel", "main_stack": { "count": 8, "blocks": [ "Tokenisert tekst", "Token-innbyggingslag", "RMSNorm 1", "Multi-head potensiell oppmerksomhet (MLA)", "RMSNorm 2", "MoE", "Til syvende og sist, RMSNorm", "Lineært utgangslag" ] }, "side_module": "RoPE kobles til oppmerksomheten blokk til venstre.", "attention_block": { "label": "Multi-head potential attention (MLA)", "accent": "Ordet «Latent» vises med oransjerød skrift." }, "feedforward_inset": { "title": "FeedForward (SwiGLU)-modul", "count": 4, "blocks": [ "lineært lag", "SiLU-aktiveringsfunksjon", "lineært lag", "lineært lag" ], "diagram": "Multipliser de to grenene, og projiser dem deretter." }, "moe_inset": { "title": "MoE-lag", "count": 5, "blocks": [ "Øverste sammensatte node", "Feedforward-nettverk", "Feedforward-nettverk", "routing", "Eksperttellingsmerke 256" ], "details": "En liten svart firkant med én valgt ekspert, en pil som peker mot eksperten og en stiplet linjeskiller." }, "annotations": { "vocab": "Vokabularstørrelse 129k", "ff_dim": "Det mellomliggende skjulte laget har en dimensjon på 2048.", "context": "Støtter 128k tokenkontekstlengde", "dense_first_blocks": "De tre første blokkene bruker en tett FFN med en skjult størrelse på 18 432 i stedet for MoE.", "resource_savings": "Ressursbesparelser: Modellstørrelsen er 671 byte, men hver token aktiverer bare 1 (delt) + 8 eksperter; bare 37 byte med parametere aktiveres per inferensstrinn." }, "bottom_stats": { "count": 10, "items": [ "Totalt antall parametere: 671B", "Aktivitetsparametere per token: 37B (1 + 8 eksperter)", "Skjult lagstørrelse: 7128", "Eksempeldimensjon: 28432", "Mellomlag (FF): 2048", "Oppmerksomhet: 128", "Kontekstlengde: 128k", "Innebyggingsdimensjon: de første 3 blokkene", "Kontekstlengde: 22G7", "Vokabularstørrelse: 129k" ] } }, "right_panel": { "background": "Lyseblått avrundet rektangel", "main_stack": { "count": 8, "blocks": [ "Tokenisert tekst", "Token-innbyggingslag", "RMSNorm 1", "Multi-head potensiell oppmerksomhet (MLA)", "RMSNorm 2", "MoE", "Til syvende og sist, "RMSNorm", "Lineært utgangslag" ] }, "side_module": "RoPE kobles til oppmerksomhetsblokken til venstre.", "attention_block": { "label": "Multi-head potential attention (MLA)", "accent": "Ordet «Latent» er i blå tekst." }, "feedforward_inset": { "title": "FeedForward (SwiGLU)-modul", "count": 4, "blocks": [ "lineært lag", "SiLU-aktiveringsfunksjon", "lineært lag", "lineært lag" ], "diagram": "Samme struktur som venstre panel" }, "moe_inset": { "title": "MoE-lag", "count": 5, "blocks": [ "Øverste sammensatte node", "Feedforward-nettverk", "Feedforward-nettverk", "routing", "Eksperttellingsmerke 384" ], "details": "En liten svart firkant med én valgt ekspert, en pil som peker mot eksperten, en stiplet skillelinje og en blå kant for utheving." }, "annotations": { "vocab": "Vokabularstørrelse 160k", "ff_dim": "Det mellomliggende skjulte laget har en dimensjon på 3072.", "context": "Støtter 256k tokenkontekstlengde", "dense_first_blocks": "De tre første blokkene bruker en tett FFN med en skjult størrelse på 24 576 i stedet for MoE.", "resource_savings": "Ressursbesparelser: Modellstørrelsen er 1,2T, men hver token aktiverer bare 1 (delt) + 8 eksperter; bare 52B parametere aktiveres per inferensstrinn." }, "bottom_stats": { "count": 10, "items": [ "Totalt antall parametere: 1,2T", "Aktivitetsparametere per token: 52B (1 + 8 eksperter)", "Skjult lagstørrelse: 7,2B", "Eksempeldimensjon: 28 432", "Mellomlag (FF): 3 072", "Oppmerksomhet: 128", "Kontekstlengde: 256k", "Innebyggingsdimensjon: de første 3 blokkene", "Kontekstlengde: 22G7", "Vokabularstørrelse: 160k" ] } }, "global_notes": "Lag et svært detaljert sammenligningsdiagram for Transformer-arkitekturen ved hjelp av et speilet layout. Hver halvdel inneholder et stort modellstabeldiagram og to illustrasjoner: én feedforward-modul og ett MoE-lag. Bruk piler mellom blokkene, legg til små tekniske etiketter og bruk forbindelseslinjer for å koble etikettene til relaterte komponenter. Hold typografien kompakt og presentasjonslignende, og bruk oransjerød for alle V3/R1 og blå for alle V4. Inkluder en kompakt metrikktabell som strekker seg over full bredde nederst. Behold den litt uperfekte håndtegnede infografikkstilen, med liten tekst og tette merknader.