Infografía sobre la arquitectura de DeepSeek V3 frente a V4

{ "type": "Infografía comparativa de arquitecturas de IA lado a lado", "style": "Gráficos técnicos simples, fondo blanco, contorno negro fino, rectángulos redondeados, cuadros de anotación punteados, resaltados codificados por colores, estilo de presentación, infografía vectorial.", "canvas": { "aspect_ratio": "2:1", "resolution": "Ancho horizontal" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 mil millones de parámetros)", "right_title": "DeepSeek V4 (1,2 billones de parámetros)", "left_title_color": "Naranja rojizo brillante", "right_title_color": "Azul brillante" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 mil millones de parámetros)", "position": "mitad izquierda", "count": 9, "labels": [ "Tamaño del vocabulario 129k", "FeedForward (SwiGLU) módulo", "La capa oculta intermedia tiene una dimensión de 2048.", "Capa MoE", "Admite una longitud de contexto de token de 128k", "Los tres primeros bloques utilizan una FFN densa con un tamaño oculto de 18432 en lugar de MoE.", "Entrada de texto de ejemplo", "Dimensión de incrustación 7168", "128 cabezas de atención" ] }, { "título": "DeepSeek V4 (1,2 billones de parámetros)", "posición": "mitad derecha", "conteo": 9, "etiquetas": [ "Tamaño de vocabulario 160k", "Módulo FeedForward (SwiGLU)", "La capa oculta intermedia tiene una dimensión de 3072.", "Capa MoE", "Admite una longitud de contexto de token de 256k", "Los tres primeros bloques utilizan una FFN densa con un tamaño oculto de 24576 en lugar de MoE.", "Entrada de texto de ejemplo", "Dimensión de incrustación 8,192", "128 cabezas de atención" ] }, { "título": "Tabla de comparación inferior", "posición": "Ancho completo inferior", "conteo": 10, "etiquetas": [ "Número total de parámetros", "Número de parámetros activos por token", "Tamaño de la capa oculta", "Dimensión de ejemplo", "DeepSeek V3/R1", "Capa intermedia (FF)", "Atención", "Longitud del contexto", "Dimensión incrustada", "Tamaño del vocabulario" ] } ] }, "panel_izquierdo": { "fondo": "Rectángulo redondeado gris claro", "pila_principal": { "conteo": 8, "bloques": [ "Texto tokenizado", "Capa de incrustación de tokens", "RMSNorm 1", "Atención potencial de múltiples cabezas (MLA)", "RMSNorm 2", "MoE", "En última instancia, RMSNorm", "Capa de salida lineal" ] }, "side_module": "RoPE se conecta al bloque de atención de la izquierda.", "attention_block": { "label": "Atención potencial multicabeza (MLA)", "accent": "La palabra \"Latent\" se muestra en letras naranja-rojas." }, "feedforward_inset": { "title": "Módulo FeedForward (SwiGLU)", "count": 4, "blocks": [ "linear layer", "SiLU activation function", "linear layer", "linear layer" ], "diagram": "Multiplica las dos ramas y luego proyéctalas." }, "moe_inset": { "title": "Capa MoE", "count": 5, "blocks": [ "Top composite node", "Feedforward network", "Feedforward network", "routing", "Expert Counting Badge 256" ], "details": "Un pequeño cuadrado negro con un experto seleccionado, una flecha que apunta al experto y un separador de línea discontinua." }, "anotaciones": { "vocabulario": "Tamaño del vocabulario 129k", "ff_dim": "La capa oculta intermedia tiene una dimensión de 2048.", "contexto": "Admite una longitud de contexto de token de 128k", "primeros_bloques_densos": "Los tres primeros bloques utilizan una FFN densa con un tamaño oculto de 18432 en lugar de MoE.", "ahorro_de_recursos": "Ahorro de recursos: El tamaño del modelo es de 671 bytes, pero cada token activa solo 1 (compartido) + 8 expertos; solo se activan 37 bytes de parámetros por paso de inferencia." }, "bottom_stats": { "count": 10, "items": [ "Número total de parámetros: 671B", "Parámetros de actividad por token: 37B (1 + 8 expertos)", "Tamaño de la capa oculta: 7128", "Dimensión de ejemplo: 28432", "Capa intermedia (FF): 2048", "Atención: 128", "Longitud del contexto: 128k", "Dimensión de incrustación: los primeros 3 bloques", "Longitud del contexto: 22G7", "Tamaño del vocabulario: 129k" ] } }, "right_panel": { "background": "Rectángulo redondeado azul claro", "main_stack": { "count": 8, "blocks": [ "Texto tokenizado", "Capa de incrustación de tokens", "RMSNorm 1", "Atención potencial de múltiples cabezas (MLA)", "RMSNorm 2", "MoE", "En última instancia, RMSNorm", "Capa de salida lineal" ] }, "side_module": "RoPE se conecta al bloque de atención de la izquierda.", "attention_block": { "label": "Atención potencial multicabeza (MLA)", "accent": "La palabra \"Latente\" está en texto azul." }, "feedforward_inset": { "title": "Módulo FeedForward (SwiGLU)", "count": 4, "blocks": [ "capa lineal", "función de activación SiLU", "capa lineal", "capa lineal" ], "diagram": "Misma estructura que el panel izquierdo" }, "moe_inset": { "title": "Capa MoE", "count": 5, "blocks": [ "Nodo compuesto superior", "Red Feedforward", "Red Feedforward", "routing", "Insignia de conteo de expertos 384" ], "details": "Un pequeño cuadrado negro con un experto seleccionado, una flecha que apunta al experto, un separador punteado y un borde azul para enfatizar." }, "anotaciones": { "vocabulario": "Tamaño del vocabulario 160k", "ff_dim": "La capa oculta intermedia tiene una dimensión de 3072.", "contexto": "Admite una longitud de contexto de token de 256k", "primeros_bloques_densos": "Los tres primeros bloques utilizan una FFN densa con un tamaño oculto de 24576 en lugar de MoE.", "ahorro_de_recursos": "Ahorro de recursos: El tamaño del modelo es de 1,2T, pero cada token solo activa 1 (compartido) + 8 expertos; solo se activan 52B parámetros por paso de inferencia." }, "bottom_stats": { "count": 10, "items": [ "Parámetros totales: 1.2T", "Parámetros de actividad por token: 52B (1 + 8 expertos)", "Tamaño de la capa oculta: 7.2B", "Dimensión de ejemplo: 28,432", "Capa intermedia (FF): 3,072", "Atención: 128", "Longitud del contexto: 256k", "Dimensión de incrustación: los primeros 3 bloques", "Longitud del contexto: 22G7", "Tamaño del vocabulario: 160k" ] } }, "global_notes": "Crea un diagrama de comparación de arquitectura Transformer altamente detallado utilizando un diseño reflejado. Cada mitad contiene un diagrama de pila de modelo grande y dos ilustraciones: un módulo de alimentación directa y una capa MoE. Usa flechas entre los bloques, agrega pequeñas etiquetas técnicas y usa líneas de conexión para vincular las etiquetas con los componentes relacionados. Mantén la tipografía compacta y similar a una presentación, usando rojo anaranjado. para todas las versiones V3/R1 y azul para todas las versiones V4. Incluir una tabla de métricas compacta que ocupe todo el ancho en la parte inferior. Conservar el estilo infográfico dibujado a mano, ligeramente imperfecto, con texto pequeño y anotaciones densas." }