Инфографика об архитектуре DeepSeek V3 против V4

{ "type": "Инфографика сравнения архитектур ИИ", "style": "Простые технические диаграммы, белый фон, тонкая черная обводка, закругленные прямоугольники, пунктирные рамки аннотаций, цветовое кодирование выделений, стиль презентации, векторная инфографика."", "canvas": { "aspect_ratio": "2:1", "resolution": "Горизонтальная ширина" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 миллиард параметров)", "right_title": "DeepSeek V4 (1,2 триллиона параметров)", "left_title_color": "Ярко-оранжево-красный", "right_title_color": "Ярко-синий" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 миллиард параметров)", "position": "левая половина", "count": 9, "labels": [ "Размер словаря 129 тыс.", "Модуль FeedForward (SwiGLU)", "Промежуточный скрытый слой имеет размерность 2048."", "Слой MoE", "Поддерживает длину контекста токенов 128 тыс.", "Первые три блока используют плотный FFN с размером скрытого слоя 18432 вместо MoE."", "Пример ввода текста", "Размерность встраивания 7168", "128 элементов внимания" ] }, { "title": "DeepSeek V4 (1,2 триллиона параметров)", "position": "правая половина", "count": 9, "labels": [ "Размер словаря 160 тыс.", "Модуль FeedForward (SwiGLU)", "Промежуточный скрытый слой имеет размерность 3072."", "Слой MoE", "Поддерживает длину контекста токенов 256 тыс.", "Первые три блока используют плотный FFN с размером скрытого слоя 24576 вместо MoE."", "Пример текстовый ввод", "Размер встраивания 8192", "128 элементов внимания" ] }, { "title": "Таблица сравнения снизу", "position": "Полная ширина снизу", "count": 10, "labels": [ "Общее количество параметров", "Количество активных параметров на токен", "Размер скрытого слоя", "Размер примера", "DeepSeek V3/R1", "Промежуточный слой (FF)", "Внимание", "Длина контекста", "Размер встраивания", "Размер словаря" ] } ] }, "left_panel": { "background": "Светло-серый закругленный прямоугольник", "main_stack": { "count": 8, "blocks": [ "Токенизированный текст", "Слой встраивания токенов", "RMSNorm 1", "Многоголовое потенциальное внимание (MLA)", "RMSNorm 2", "MoE", "В конечном итоге, RMSNorm", "Линейный выходной слой" ] }, "side_module": "RoPE подключается к блоку внимания слева."", "attention_block": { "label": "Многоголовое потенциальное внимание (MLA)", "accent": "Слово \"Latent\" отображается оранжево-красными буквами." }, "feedforward_inset": { "title": "Модуль FeedForward (SwiGLU)", "count": 4, "blocks": [ "линейный слой", "функция активации SiLU", "линейный слой", "линейный слой" ], "diagram": "Умножьте две ветви, затем спроецируйте их." }, "moe_inset": { "title": "Слой MoE", "count": 5, "blocks": [ "Верхний составной узел", "Сеть прямого распространения", "Сеть прямого распространения", "маршрутизация", "Значок эксперта по подсчету 256" ], "details": "Небольшой черный квадрат с одним выбранным экспертом, стрелкой, указывающей на эксперта, и пунктирной линией-разделителем." }, "annotations": { "vocab": "Размер словаря 129k", "ff_dim": "Промежуточный скрытый слой имеет размерность 2048."", "context": "Поддерживает длину контекста токенов 128k", "dense_first_blocks": "Первые три блока используют плотную FFN с размером скрытого слоя 18432 вместо MoE."", "resource_savings": "Экономия ресурсов: размер модели составляет 671 байт, но каждый токен активирует только 1 (общий) + 8 экспертов; на каждом шаге вывода активируется только 37 байт параметров." }, "bottom_stats": { "count": 10, "items": [ "Общее количество параметров: 671B", "Параметры активности на токен: 37B (1 + 8 экспертов)", "Размер скрытого слоя: 7128", "Размерность примера: 28432", "Промежуточный слой (FF): 2048", "Внимание: 128", "Длина контекста: 128k", "Размерность встраивания: первые 3 блока", "Длина контекста: 22G7", "Размер словаря: 129k" ] } }, "right_panel": { "background": "Светло-голубой закругленный прямоугольник", "main_stack": { "count": 8, "blocks": [ "Токенизированный текст", "Слой встраивания токенов", "RMSNorm 1", "Многоголовое потенциальное внимание (MLA)", "RMSNorm 2", "MoE", "В конечном итоге, RMSNorm", "Линейный выходной слой" ] }, "side_module": "RoPE подключается к блоку внимания слева."", "attention_block": { "label": "Многоголовое потенциальное внимание (MLA)", "accent": "Слово \"Latent\" выделено синим текстом." }, "feedforward_inset": { "title": "Модуль FeedForward (SwiGLU)", "count": 4, "blocks": [ "линейный слой", "функция активации SiLU", "линейный слой", "линейный слой" ], "diagram": "Та же структура, что и на левой панели" }, "moe_inset": { "title": "Слой MoE", "count": 5, "blocks": [ "Верхний составной узел", "Сеть прямого распространения", "Сеть прямого распространения", "маршрутизация", "Значок эксперта 384" ], "details": "Небольшой черный квадрат с одним выбранным экспертом, стрелкой, указывающей на эксперта, пунктирным разделителем и синей рамкой для выделения." }, "annotations": { "vocab": "Размер словаря 160 тыс.", "ff_dim": "Промежуточный скрытый слой имеет размерность 3072."", "context": "Поддерживает длину контекста токенов 256 тыс.", "dense_first_blocks": "Первые три блока используют плотную FFN с размером скрытого слоя 24576 вместо MoE."", "resource_savings": "Экономия ресурсов: размер модели составляет 1,2 ТБ, но каждый токен активирует только 1 (общий) + 8 экспертов; на каждом шаге вывода активируется только 52 млрд параметров." }, "bottom_stats": { "count": 10, "items": [ "Всего параметров: 1,2 Т", "Параметры активности на токен: 52 Б (1 + 8 экспертов)", "Размер скрытого слоя: 7,2 Б", "Размерность примера: 28432", "Промежуточный слой (FF): 3072", "Внимание: 128", "Длина контекста: 256 тыс.", "Размерность встраивания: первые 3 блока", "Длина контекста: 22G7", "Размер словаря: 160 тыс." ] } }, "global_notes": "Создайте подробную диаграмму сравнения архитектуры Transformer, используя зеркальное отображение. Каждая половина содержит большую диаграмму стека моделей и две иллюстрации: один модуль прямого распространения и один слой MoE. Используйте стрелки между блоками, добавьте крошечные технические метки и соединительные линии для связи меток с соответствующими компонентами. Сохраняйте типографику компактной и В стиле презентации, с использованием оранжево-красного цвета для всех версий V3/R1 и синего для всех версий V4. Внизу должна быть компактная таблица метрик, занимающая всю ширину страницы. Сохраните слегка несовершенный стиль инфографики, нарисованной от руки, с мелким текстом и подробными аннотациями.