DeepSeek V3とV4のアーキテクチャ比較インフォグラフィック

{ "type": "AIアーキテクチャ比較インフォグラフィック", "style": "シンプルな技術チャート、白背景、細い黒の輪郭、角丸長方形、破線の注釈ボックス、色分けされたハイライト、プレゼンテーションスタイル、ベクターインフォグラフィック。", "canvas": { "aspect_ratio": "2:1", "resolution": "水平幅" }, "title_row": { "left_title": "DeepSeek V3/R1 (6710億パラメータ)", "right_title": "DeepSeek V4 (1.2兆パラメータ)", "left_title_color": "鮮やかなオレンジレッド", "right_title_color": "鮮やかな青" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (6710億パラメータ)", "position": "左半分", "count": 9, "labels": [ "語彙サイズ 129k", "FeedForward （SwiGLU）モジュール」、「中間隠れ層の次元は2,048です。」、「MoEレイヤー」、「128kトークンコンテキスト長をサポート」、「最初の3つのブロックは、MoEの代わりに隠れサイズ18,432の密なFFNを使用します。」、「テキスト入力例」、「埋め込み次元7,168」、「128アテンションヘッド」] }、{ "title": "DeepSeek V4（1.2兆パラメータ）」、「position": "右半分」、「count": 9、「labels": [ "語彙サイズ160k」、「フィードフォワード（SwiGLU）モジュール」、「中間隠れ層の次元は3,072です。」、「MoEレイヤー」、「256kトークンコンテキスト長をサポート」、「最初の3つのブロックは、MoEの代わりに隠れサイズ24,576の密なFFNを使用します。」、「テキスト入力例」、「埋め込み次元8,192、 「128 アテンション ヘッド」 ] }, { "title": "下部比較表", "position": "下部全幅", "count": 10, "labels": [ "パラメータの総数", "トークンあたりのアクティブ パラメータ数", "隠れ層のサイズ", "例の次元", "DeepSeek V3/R1", "中間層 (FF)", "アテンション", "コンテキストの長さ", "埋め込み次元", "語彙サイズ" ] } ] }, "left_panel": { "background": "薄い灰色の角丸長方形", "main_stack": { "count": 8, "blocks": [ "トークン化されたテキスト", "トークン埋め込み層", "RMSNorm 1", "マルチヘッド潜在アテンション (MLA)", "RMSNorm 2", "MoE", "最終的に、RMSNorm", "線形出力層" ] }, "side_module": "RoPE は、左。, "attention_block": { "label": "マルチヘッド潜在的注意 (MLA)", "accent": "「Latent」という単語がオレンジレッドの文字で表示されます。" }, "feedforward_inset": { "title": "フィードフォワード (SwiGLU) モジュール", "count": 4, "blocks": [ "linear layer", "SiLU 活性化関数", "linear layer", "linear layer" ], "diagram": "2 つのブランチを乗算し、投影します。" }, "moe_inset": { "title": "MoE レイヤー", "count": 5, "blocks": [ "トップ複合ノード", "フィードフォワード ネットワーク", "フィードフォワード ネットワーク", "routing", "Expert Counting Badge 256" ], "details": "選択されたエキスパートが 1 つ表示された小さな黒い四角、エキスパートを指す矢印、および破線の区切り線。" }, "annotations": { "vocab": "語彙サイズ 129k", "ff_dim": "中間隠れ層の次元は 2,048 です。", "context": "128k トークンのコンテキスト長をサポートします", "dense_first_blocks": "最初の 3 つのブロックでは、MoE の代わりに隠れ層サイズ 18,432 の高密度 FFN を使用します。", "resource_savings": "リソース節約: モデルサイズは 671 バイトですが、各トークンは 1 (共有) + 8 個のエキスパートのみをアクティブ化します。推論ステップごとにアクティブ化されるパラメータは 37 バイトのみです。" }, "bottom_stats": { "count": 10, "items": [ "パラメータの総数: 671B", "トークンあたりのアクティビティパラメータ: 37B (1 + 8 エキスパート)", "隠れ層のサイズ: 7,128", "例の次元: 28,432", "中間層 (FF): 2,048", "アテンション: 128", "コンテキストの長さ: 128k", "埋め込み次元: 最初の 3 ブロック", "コンテキストの長さ: 22G7", "語彙サイズ: 129k" ] } }, "right_panel": { "background": "水色の角丸長方形", "main_stack": { "count": 8, "blocks": [ "トークン化されたテキスト", "トークン埋め込み層", "RMSNorm 1", "マルチヘッド潜在的アテンション (MLA)", "RMSNorm 2", "MoE", "最終的に、 RMSNorm", "線形出力層" ] }, "side_module": "RoPEは左側のアテンションブロックに接続します。", "attention_block": { "label": "マルチヘッドポテンシャルアテンション（MLA）", "accent": "「Latent」という単語は青色のテキストです。" }, "feedforward_inset": { "title": "フィードフォワード（SwiGLU）モジュール", "count": 4, "blocks": [ "線形層", "SiLU活性化関数", "線形層", "線形層" ], "diagram": "左パネルと同じ構造" }, "moe_inset": { "title": "MoE層", "count": 5, "blocks": [ "最上位複合ノード", "フィードフォワードネットワーク", "フィードフォワードネットワーク", "ルーティング", "エキスパートカウントバッジ384" ], "details": "選択されたエキスパートが1人いる小さな黒い四角、エキスパートを指す矢印、破線の区切り線、強調のための青い枠線。" }, "annotations": { "vocab": "語彙サイズ 160k", "ff_dim": "中間隠れ層の次元は 3,072 です。", "context": "トークンコンテキスト長 256k をサポートします", "dense_first_blocks": "最初の 3 つのブロックでは、MoE の代わりに隠れ層サイズ 24,576 の高密度 FFN を使用します。", "resource_savings": "リソース節約: モデルサイズは 1.2T ですが、各トークンは 1 (共有) + 8 個のエキスパートのみをアクティブ化します。推論ステップごとにアクティブ化されるパラメータは 52B 個のみです。" }, "bottom_stats": { "count": 10, "items": [ "Total parameters: 1.2T", "Activity parameters per token: 52B (1 + 8 experts)", "Hidden layer size: 7.2B", "Example dimension: 28,432", "Intermediate layer (FF): 3,072", "Attention: 128", "Context length: 256k", "Embedding dimension: the first 3 blocks", "Context length: 22G7", "Vocabulary size: 160k" ] } }, "global_notes": "ミラーレイアウトを使用して、非常に詳細なTransformerアーキテクチャ比較図を作成します。各半分には、大きなモデルスタック図と2つの図（フィードフォワードモジュール1つとMoEレイヤー1つ）が含まれます。ブロック間に矢印を使用し、小さな技術ラベルを追加し、接続線を使用してラベルを関連コンポーネントにリンクします。すべての文字にオレンジレッドを使用し、タイポグラフィはコンパクトでプレゼンテーションのような印象に保ちます。 V3/R1と、V4全ページを青色にする。下部に全幅にわたるコンパクトな指標表を含める。小さな文字と密集した注釈を備えた、やや不完全な手描きのインフォグラフィックのスタイルを維持する。