Infografica sull'architettura di DeepSeek V3 vs V4

{ "type": "Infografica comparativa di architetture AI affiancate", "style": "Grafici tecnici semplici, sfondo bianco, contorno nero sottile, rettangoli arrotondati, caselle di annotazione tratteggiate, evidenziazioni con codice colore, stile di presentazione, infografiche vettoriali.", "canvas": { "aspect_ratio": "2:1", "resolution": "Larghezza orizzontale" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 miliardi di parametri)", "right_title": "DeepSeek V4 (1,2 trilioni di parametri)", "left_title_color": "Arancione-rosso brillante", "right_title_color": "Blu brillante" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 miliardi di parametri)", "position": "metà sinistra", "count": 9, "labels": [ "Dimensione del vocabolario 129k", "FeedForward (SwiGLU) modulo", "Lo strato nascosto intermedio ha una dimensione di 2.048.", "Strato MoE", "Supporta una lunghezza del contesto del token di 128k", "I primi tre blocchi utilizzano una FFN densa con una dimensione nascosta di 18.432 invece di MoE.", "Input di testo di esempio", "Dimensione di embedding 7.168", "128 teste di attenzione" ] }, { "titolo": "DeepSeek V4 (1,2 trilioni di parametri)", "posizione": "metà destra", "conteggio": 9, "etichette": [ "Dimensione del vocabolario 160k", "Modulo FeedForward (SwiGLU)", "Lo strato nascosto intermedio ha una dimensione di 3.072.", "Strato MoE", "Supporta una lunghezza del contesto del token di 256k", "I primi tre blocchi utilizzano una FFN densa con una dimensione nascosta di 24.576 invece di MoE.", "Input di testo di esempio", "Dimensione di embedding 8.192", "128 teste di attenzione" ] }, { "titolo": "Tabella di confronto inferiore", "posizione": "Larghezza intera inferiore", "conteggio": 10, "etichette": [ "Numero totale di parametri", "Numero di parametri attivi per token", "Dimensione dello strato nascosto", "Dimensione di esempio", "DeepSeek V3/R1", "Strato intermedio (FF)", "Attenzione", "Lunghezza del contesto", "Dimensione incorporata", "Dimensione del vocabolario" ] } ] }, "pannello sinistro": { "sfondo": "Rettangolo arrotondato grigio chiaro", "stack principale": { "conteggio": 8, "blocchi": [ "Testo tokenizzato", "Strato di incorporamento dei token", "RMSNorm 1", "Attenzione potenziale multi-testa (MLA)", "RMSNorm 2", "MoE", "In definitiva, RMSNorm", "Strato di output lineare" ] }, "modulo laterale": "RoPE si collega al blocco di attenzione a sinistra.", "attention_block": { "label": "Attenzione potenziale multi-testa (MLA)", "accent": "La parola 'Latent' viene visualizzata in lettere arancioni-rosse." }, "feedforward_inset": { "title": "Modulo FeedForward (SwiGLU)", "count": 4, "blocks": [ "strato lineare", "funzione di attivazione SiLU", "strato lineare", "strato lineare" ], "diagram": "Moltiplica i due rami, quindi proiettali." }, "moe_inset": { "title": "Strato MoE", "count": 5, "blocks": [ "Nodo composito superiore", "Rete Feedforward", "Rete Feedforward", "routing", "Expert Counting Badge 256" ], "details": "Un piccolo quadrato nero con un esperto selezionato, una freccia che punta all'esperto e un separatore a linea tratteggiata." }, "annotazioni": { "vocab": "Dimensione del vocabolario 129k", "ff_dim": "Lo strato nascosto intermedio ha una dimensione di 2.048.", "context": "Supporta una lunghezza del contesto del token di 128k", "dense_first_blocks": "I primi tre blocchi utilizzano una FFN densa con una dimensione nascosta di 18.432 invece di MoE.", "resource_savings": "Risparmio di risorse: la dimensione del modello è di 671 byte, ma ogni token attiva solo 1 (condiviso) + 8 esperti; solo 37 byte di parametri vengono attivati ​​per ogni passo di inferenza." }, "bottom_stats": { "count": 10, "items": [ "Numero totale di parametri: 671B", "Parametri di attività per token: 37B (1 + 8 esperti)", "Dimensione dello strato nascosto: 7.128", "Dimensione dell'esempio: 28.432", "Strato intermedio (FF): 2.048", "Attenzione: 128", "Lunghezza del contesto: 128k", "Dimensione dell'embedding: i primi 3 blocchi", "Lunghezza del contesto: 22G7", "Dimensione del vocabolario: 129k" ] } }, "right_panel": { "background": "Rettangolo arrotondato azzurro chiaro", "main_stack": { "count": 8, "blocks": [ "Testo tokenizzato", "Strato di embedding del token", "RMSNorm 1", "Attenzione potenziale multi-testa (MLA)", "RMSNorm 2", "MoE", "In definitiva, RMSNorm", "Livello di output lineare" ] }, "side_module": "RoPE si collega al blocco di attenzione a sinistra.", "attention_block": { "label": "Attenzione potenziale multi-testa (MLA)", "accent": "La parola 'Latent' è in testo blu." }, "feedforward_inset": { "title": "Modulo FeedForward (SwiGLU)", "count": 4, "blocks": [ "strato lineare", "funzione di attivazione SiLU", "strato lineare", "strato lineare" ], "diagram": "Stessa struttura del pannello di sinistra" }, "moe_inset": { "title": "Strato MoE", "count": 5, "blocks": [ "Nodo composito superiore", "Rete Feedforward", "Rete Feedforward", "routing", "Expert Counting Badge 384" ], "details": "Un piccolo quadrato nero con un esperto selezionato, una freccia che punta all'esperto, un separatore tratteggiato e un bordo blu per enfatizzare." }, "annotazioni": { "vocab": "Dimensione del vocabolario 160k", "ff_dim": "Lo strato nascosto intermedio ha una dimensione di 3.072.", "context": "Supporta una lunghezza del contesto del token di 256k", "dense_first_blocks": "I primi tre blocchi utilizzano una FFN densa con una dimensione nascosta di 24.576 invece di MoE.", "resource_savings": "Risparmio di risorse: la dimensione del modello è di 1,2 T, ma ogni token attiva solo 1 (condiviso) + 8 esperti; vengono attivati ​​solo 52 B parametri per ogni fase di inferenza." }, "bottom_stats": { "count": 10, "items": [ "Parametri totali: 1,2T", "Parametri di attività per token: 52B (1 + 8 esperti)", "Dimensione strato nascosto: 7,2B", "Dimensione esempio: 28.432", "Strato intermedio (FF): 3.072", "Attenzione: 128", "Lunghezza contesto: 256k", "Dimensione embedding: i primi 3 blocchi", "Lunghezza contesto: 22G7", "Dimensione vocabolario: 160k" ] } }, "global_notes": "Crea un diagramma di confronto dell'architettura Transformer altamente dettagliato utilizzando un layout speculare. Ogni metà contiene un grande diagramma dello stack del modello e due illustrazioni: un modulo feedforward e uno strato MoE. Usa frecce tra i blocchi, aggiungi piccole etichette tecniche e usa linee di collegamento per collegare le etichette ai componenti correlati. Mantieni la tipografia compatta e simile a una presentazione, usando l'arancione-rosso per tutti V3/R1 e blu per tutte le versioni V4. Includere una tabella di metriche compatta a tutta larghezza in basso. Mantenere lo stile infografico leggermente imperfetto disegnato a mano, con testo piccolo e annotazioni dense.