Infographie sur l'architecture DeepSeek V3 vs V4

{ "type": "Infographie comparative d'architectures d'IA côte à côte", "style": "Graphiques techniques simples, fond blanc, contour noir fin, rectangles arrondis, encadrés d'annotations en pointillés, surlignages colorés, style de présentation, infographie vectorielle.", "canvas": { "aspect_ratio": "2:1", "resolution": "Largeur horizontale" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 milliards de paramètres)", "right_title": "DeepSeek V4 (1,2 billion de paramètres)", "left_title_color": "Orange-rouge vif", "right_title_color": "Bleu vif" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 milliards de paramètres)", "position": "moitié gauche", "count": 9, "labels": [ "Taille du vocabulaire : 129 000", "FeedForward" } (SwiGLU) module", "La couche cachée intermédiaire a une dimension de 2 048.", "Couche MoE", "Prend en charge une longueur de contexte de jeton de 128 000", "Les trois premiers blocs utilisent un FFN dense avec une taille cachée de 18 432 au lieu de MoE.", "Exemple d'entrée de texte", "Dimension d'embedding 7 168", "128 têtes d'attention" ] }, { "title": "DeepSeek V4 (1,2 billion de paramètres)", "position": "moitié droite", "count": 9, "labels": [ "Taille du vocabulaire 160 000", "Module FeedForward (SwiGLU)", "La couche cachée intermédiaire a une dimension de 3 072.", "Couche MoE", "Prend en charge une longueur de contexte de jeton de 256 000", "Les trois premiers blocs utilisent un FFN dense avec une taille cachée de 24 576 au lieu de MoE.", "Exemple d'entrée de texte", "Dimension d'embedding 8,192", "128 têtes d'attention" ] }, { "title": "Tableau de comparaison inférieur", "position": "Largeur maximale inférieure", "count": 10, "labels": [ "Nombre total de paramètres", "Nombre de paramètres actifs par jeton", "Taille de la couche cachée", "Dimension de l'exemple", "DeepSeek V3/R1", "Couche intermédiaire (FF)", "Attention", "Longueur du contexte", "Dimension intégrée", "Taille du vocabulaire" ] } ] }, "left_panel": { "background": "Rectangle arrondi gris clair", "main_stack": { "count": 8, "blocks": [ "Texte tokenisé", "Couche d'intégration de jetons", "RMSNorm 1", "Attention potentielle multi-têtes (MLA)", "RMSNorm 2", "MoE", "RMSNorm final", "Couche de sortie linéaire" ] }, "side_module": "RoPE se connecte au bloc d'attention à gauche.", "attention_block": { "label": "Attention potentielle multi-têtes (MLA)", "accent": "Le mot \"Latent\" est affiché en caractères orange-rouge." }, "feedforward_inset": { "title": "Module FeedForward (SwiGLU)", "count": 4, "blocks": [ "couche linéaire", "Fonction d'activation SiLU", "couche linéaire", "couche linéaire" ], "diagram": "Multiplier les deux branches, puis les projeter." }, "moe_inset": { "title": "Couche MoE", "count": 5, "blocks": [ "Nœud composite supérieur", "Réseau Feedforward", "Réseau Feedforward", "routing", "Indice de comptage d'experts 256" ], "details": "Un petit carré noir avec un expert sélectionné, une flèche pointant vers l'expert et une ligne pointillée de séparation." }, "annotations": { "vocab": "Taille du vocabulaire : 129 000", "ff_dim": "La couche cachée intermédiaire a une dimension de 2 048.", "context": "Prend en charge une longueur de contexte de 128 000 jetons", "dense_first_blocks": "Les trois premiers blocs utilisent un FFN dense avec une taille cachée de 18 432 au lieu de MoE.", "resource_savings": "Économies de ressources : la taille du modèle est de 671 octets, mais chaque jeton n'active que 1 expert (partagé) + 8 experts ; seuls 37 octets de paramètres sont activés par étape d'inférence." }, "bottom_stats": { "count": 10, "items": [ "Nombre total de paramètres : 671 octets", "Paramètres d'activité par jeton : 37 octets (1 + 8 experts)", "Taille de la couche cachée : 7 128", "Dimension de l'exemple : 28 432", "Couche intermédiaire (FF) : 2 048", "Attention : 128", "Longueur du contexte : 128 ko", "Dimension d'intégration : les 3 premiers blocs", "Longueur du contexte : 22 Go,7", "Taille du vocabulaire : 129 ko" ] } }, "right_panel": { "background": "Rectangle arrondi bleu clair", "main_stack": { "count": 8, "blocks": [ "Texte tokenisé", "Couche d'intégration des jetons", "RMSNorm 1", "Attention potentielle multi-têtes (MLA)", "RMSNorm 2", "MoE", "En fin de compte, RMSNorm", "Couche de sortie linéaire" ] }, "side_module": "RoPE se connecte au bloc d'attention à gauche.", "attention_block": { "label": "Attention potentielle multi-têtes (MLA)", "accent": "Le mot \"Latent\" est en bleu." }, "feedforward_inset": { "title": "Module FeedForward (SwiGLU)", "count": 4, "blocks": [ "couche linéaire", "Fonction d'activation SiLU", "couche linéaire", "couche linéaire" ], "diagram": "Même structure que le panneau de gauche" }, "moe_inset": { "title": "Couche MoE", "count": 5, "blocks": [ "Nœud composite supérieur", "Réseau Feedforward", "Réseau Feedforward", "routage", "Indice de comptage d'experts 384" ], "details": "Un petit carré noir avec un expert sélectionné, une flèche pointant vers l'expert, un séparateur en pointillés et une bordure bleue pour la mise en évidence." }, "annotations": { "vocab": "Taille du vocabulaire : 160 000", "ff_dim": "La couche cachée intermédiaire a une dimension de 3 072.", "context": "Prend en charge une longueur de contexte de token de 256 000", "dense_first_blocks": "Les trois premiers blocs utilisent un FFN dense avec une taille cachée de 24 576 au lieu de MoE.", "resource_savings": "Économies de ressources : La taille du modèle est de 1,2 T, mais chaque token n'active qu'1 expert (partagé) + 8 experts ; seulement 52 milliards de paramètres sont activés par étape d'inférence." }, "bottom_stats": { "count": 10, "items": [ "Total parameters: 1.2T", "Activity parameters per token: 52B (1 + 8 experts)", "Hidden layer size: 7.2B", "Example dimension: 28,432", "Intermediate layer (FF): 3,072", "Attention: 128", "Context length: 256k", "Embedding dimension: the first 3 blocks", "Context length: 22G7", "Vocabulary size: 160k" ] } }, "global_notes": "Créez un diagramme comparatif d'architecture Transformer très détaillé en utilisant une disposition en miroir. Chaque moitié contient un grand diagramme de pile de modèles et deux illustrations : un module feedforward et une couche MoE. Utilisez des flèches entre les blocs, ajoutez de petites étiquettes techniques et utilisez des lignes de connexion pour relier les étiquettes aux composants associés. Gardez une typographie compacte et de type présentation, en utilisant l'orange-rouge pour tous les V3/R1 et bleu pour toutes les V4. Inclure un tableau de métriques compact occupant toute la largeur en bas. Conserver le style infographique dessiné à la main, légèrement imparfait, avec un texte petit et des annotations denses.