DeepSeek V3 ve V4 Mimari Karşılaştırması Bilgilendirme Grafiği

{ "type": "Yan yana yapay zeka mimarisi karşılaştırma infografiği", "style": "Basit teknik grafikler, beyaz arka plan, ince siyah çerçeve, yuvarlak dikdörtgenler, kesik çizgili açıklama kutuları, renk kodlu vurgular, sunum stili, vektör infografikler.", "canvas": { "aspect_ratio": "2:1", "resolution": "Yatay genişlik" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 milyar parametre)", "right_title": "DeepSeek V4 (1,2 trilyon parametre)", "left_title_color": "Parlak turuncu-kırmızı", "right_title_color": "Parlak mavi" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 milyar parametre)", "position": "sol yarım", "count": 9, "etiketler": [ "Sözlük boyutu 129k", "İleri Besleme (SwiGLU) modülü", "Ara gizli katmanın boyutu 2.048'dir.", "MoE Katmanı", "128k belirteç bağlam uzunluğunu destekler", "İlk üç blok, MoE yerine 18.432 gizli boyuta sahip yoğun bir FFN kullanır.", "Örnek metin girişi", "Gömme boyutu 7.168", "128 dikkat başlığı" ] }, { "başlık": "DeepSeek V4 (1,2 trilyon parametre)", "konum": "sağ yarım", "sayı": 9, "etiketler": [ "Sözlük boyutu 160k", "İleri Besleme (SwiGLU) modülü", "Ara gizli katmanın boyutu 3.072'dir.", "MoE Katmanı", "256k belirteci destekler" ] }, { "başlık": "Alt Karşılaştırma Tablosu", "konum": "Alt tam genişlik", "sayı": 10, "etiketler": [ "Toplam parametre sayısı", "Belirteç başına aktif parametre sayısı", "Gizli katman boyutu", "Örnek Boyut", "DeepSeek V3/R1", "Ara katman (FF)", "Dikkat", "Bağlam uzunluğu", "Gömülü Boyut", "Sözlük boyutu" ] } ] }, "sol_panel": { "arka plan": "Açık gri yuvarlak dikdörtgen", "ana_yığın": { "sayı": 8, "bloklar": [ "Tokenleştirilmiş metin", "Token Gömme Katmanı", "RMSNorm 1", "Çok başlı potansiyel dikkat (MLA)", "RMSNorm 2", "MoE", "Sonuç olarak, RMSNorm", "Doğrusal çıktı katmanı" ] }, "yan_modül": "RoPE soldaki dikkat bloğuna bağlanır.", "dikkat_bloğu": { "etiket": "Çok başlı potansiyel dikkat (MLA)", "vurgu": ""Latent" kelimesi turuncu-kırmızı harflerle görüntülenir." }, "ileri_besleme_eklemesi": { "başlık": "İleri Besleme (SwiGLU) modülü", "sayı": 4, "bloklar": [ "doğrusal katman", "SiLU aktivasyon fonksiyonu", "doğrusal katman", "doğrusal katman" ], "diyagram": "İki dalı çarpın, sonra bunları yansıtın." }, "moe_inset": { "title": "MoE Katmanı", "count": 5, "blocks": [ "En üstteki bileşik düğüm", "İleri besleme ağı", "İleri besleme ağı", "routing", "Uzman Sayma Rozeti 256" ], "details": "Seçilen bir uzmanın bulunduğu küçük siyah bir kare, uzmana işaret eden bir ok ve kesikli bir çizgi ayırıcı." }, "annotations": { "vocab": "Sözlük boyutu 129k", "ff_dim": "Ara gizli katmanın boyutu 2.048'dir.", "context": "128k token bağlam uzunluğunu destekler", "dense_first_blocks": "İlk üç blok, MoE yerine 18.432 gizli boyuta sahip yoğun bir FFN kullanır.", "resource_savings": "Kaynak tasarrufu: Model boyutu 671 bayttır, ancak her token yalnızca 1 (paylaşımlı) + 8 uzmanı etkinleştirir; çıkarım adımında yalnızca 37 bayt parametre etkinleştirilir." }, "bottom_stats": { "count": 10, "items": [ "Toplam parametre sayısı: 671B", "Token başına etkinlik parametreleri: 37B (1 + 8 uzman)", "Gizli katman boyutu: 7.128", "Örnek boyutu: 28.432", "Ara katman (FF): 2.048", "Dikkat: 128", "Bağlam uzunluğu: 128k", "Gömme boyutu: ilk 3 blok", "Bağlam uzunluğu: 22G7", "Sözlük boyutu: 129k" ] } }, "right_panel": { "background": "Açık mavi yuvarlak dikdörtgen", "main_stack": { "count": 8, "blocks": [ "Tokenleştirilmiş metin", "Token Gömme Katmanı", "RMSNorm" ] } } 1", "Çok başlı potansiyel dikkat (MLA)", "RMSNorm 2", "MoE", "Sonuç olarak, RMSNorm", "Doğrusal çıktı katmanı" ] }, "yan_modül": "RoPE, soldaki dikkat bloğuna bağlanır.", "dikkat_bloğu": { "etiket": "Çok başlı potansiyel dikkat (MLA)", "vurgu": "\"Latent\" kelimesi mavi renkte yazılmıştır." }, "feedforward_inset": { "title": "İleri Besleme (SwiGLU) modülü", "count": 4, "blocks": [ "doğrusal katman", "SiLU aktivasyon fonksiyonu", "doğrusal katman", "doğrusal katman" ], "diagram": "Sol panel ile aynı yapı" }, "moe_inset": { "title": "MoE Katmanı", "count": 5, "blocks": [ "Üst bileşik düğüm", "İleri besleme ağı", "İleri besleme ağı", "yönlendirme", "Uzman Sayma Rozeti 384" ], "details": "Seçilen bir uzmanın bulunduğu küçük siyah bir kare, uzmana işaret eden bir ok, kesik çizgili bir ayırıcı ve vurgu için mavi bir kenarlık." }, "annotations": { "vocab": "Sözlük boyutu 160k", "ff_dim": "Ara gizli katmanın boyutu 3.072'dir.", "context": "256k token bağlam uzunluğunu destekler", "dense_first_blocks": "İlk üç blok, MoE yerine 24.576 gizli boyuta sahip yoğun bir FFN kullanır.", "resource_savings": "Kaynak tasarrufu: Model boyutu 1,2T'dir, ancak her token yalnızca 1 (paylaşımlı) + 8 uzmanı etkinleştirir; çıkarım adımında yalnızca 52B parametre etkinleştirilir." }, "bottom_stats": { "count": 10, "items": [ "Toplam parametre: 1.2T", "Token başına aktivite parametresi: 52B (1 + 8 uzman)", "Gizli katman boyutu: 7.2B", "Örnek boyutu: 28.432", "Ara katman (FF): 3.072", "Dikkat: 128", "Bağlam uzunluğu: 256k", "Gömme boyutu: ilk 3 blok", "Bağlam uzunluğu: 22G7", "Sözlük boyutu: 160k" ] } }, "global_notes": "Aynalı bir düzen kullanarak son derece ayrıntılı bir Transformer mimarisi karşılaştırma diyagramı oluşturun. Her yarım, büyük bir model yığın diyagramı ve iki illüstrasyon içerir: bir ileri besleme modülü ve bir MoE katmanı. Bloklar arasında oklar kullanın, küçük teknik etiketler ekleyin ve etiketleri birbirine bağlamak için bağlantı çizgileri kullanın." İlgili bileşenler. Tipografiyi kompakt ve sunuma uygun tutun; V3/R1 için turuncu-kırmızı, V4 için ise mavi kullanın. Altta tam genişlikte kompakt bir ölçüm tablosu ekleyin. Küçük metin ve yoğun açıklamalarla, hafif kusurlu el çizimi infografik stilini koruyun.