人工智慧基礎設施資訊圖海報

目標：製作精美的垂直版教育資訊圖，標題為「…」{argument name="headline text" default="AI infrastructure"}，副標題為{argument name="subtitle text" default="How Modern AI Systems Work"}。本文檔深入分析了現代人工智慧基礎設施，涵蓋資料管道、GPU訓練叢集、推理服務、批次和鍵值快取等各個方面。畫布：豎版海報，4:5寬高比，採用深藍色未來主義資料中心風格。背景為藍紫色發光網格，並配上山脈、伺服器機架、GPU晶片、霓虹電路、纖細圓潤的面板、白色和青色字體以及橙色小號數字標識等插圖。整體效果應類似高端技術海報，內容豐富且易於閱讀。版面：左上角為主標題，下方為副標題和標語，右上角為裝飾用的伺服器機架和GPU晶片。內容分為八個編號的主要章節，右側為「關鍵概念」部分，底部為流程圖。使用了精確的面板邊框、圖示、箭頭、圖表、表格和微型標籤。章節及所需內容：1. 資料管道：展示五個由箭頭連接的管道階段：原始資料來源、資料攝取與清洗、標註/組織、分詞/分塊以及分片與儲存。原始資料來源包含五個關鍵元素：網頁、文件、程式碼、圖像和日誌。資料攝取和清洗包含三個關鍵元素：過濾、去重和標準化。標註/組織包含三個關鍵元素：品質檢查、手動/啟發式方法和資料集組裝。分詞/分塊包含三個關鍵元素：轉換為詞元、分塊到文件以及新增特殊詞元。分片和儲存包含三個關鍵元素：分片、均衡分區以及平行讀取最佳化。添加說明文字，指出資料已進行清洗、去重、整理、標記化處理，並以分片形式存儲，以便多個工作節點高效讀取。 2. 儲存和編排層：包含 3 個垂直卡片：物件儲存（帶有雲端到資料庫圖標，標籤為「S3 / GCS / Azure Blob 或本地物件儲存」）；元資料/實驗追蹤（帶有儀表板圖標，關鍵元素包括：「運行和指標」、「超參數」、「血緣關係和「工件」）；新增頁尾說明：控制層負責協調運算任務、追蹤實驗、儲存檢查點以及監控利用率、故障和成本。 3. 訓練叢集架構：一個中心的大型架構圖，標題為「訓練叢集架構」。圖中顯示了四個 GPU/加速器節點，它們排列成 2x2 的網格，並透過標有「高速網路 InfiniBand / RoCE」的發光高速網路連接。每個節點包含一個 CPU 主機（多核心）、記憶體、GPU（例如，8 個 H100）和一個 NVMe 本地 SSD。虛線連接各個節點。下方是三個較小的面板：節點內部結構、資料並行和分散式訓練並行（圖例）。 「節點內部結構」面板應顯示 CPU 透過 PCIe/NVLink/NVSwitch 線連接到多個 GPU。 「分散式訓練並行」圖例應顯示四個階段，分別標記為階段 1、階段 2、階段 3 和階段 4。4. 訓練步驟：建立一個從左到右的訓練流程，包含六個階段：輸入標記、前向傳播、損失計算、反向傳播、梯度計算和優化器更新。包含一系列檢查點圖示、「模型準確率」方塊（顯示 FP32、FP16/BF16 和 FP8）以及「最佳化器狀態」方塊。它顯示梯度累積箭頭，並附有說明：在訓練過程中，模型預測輸出、計算損失、反向傳播梯度並更新權重；此過程重複數十億次。 5. 推理服務管道：建立一個簡潔的服務流程圖，頂部包含 6 個階段：使用者請求、API 閘道、分詞器、調度器/路由器、模型伺服器（GPU）和串流輸出。此面板包含動態批次（3 行請求）、模型伺服器框（顯示預填和解碼循環）、GPU 記憶體中的鍵值快取、可選適配器以及連接 3 個模型副本（分別標記為模型副本 1、模型副本 2 和模型副本 N）的負載平衡器。 6. 維運、可靠性和安全性：包含 6 張帶有圖示的維運卡：自動伸縮/伸縮、遙測/可觀測性、速率限制和配額、安全過濾器/防護措施、版本控制/回滾和成本監控。新增註解：生產級 AI 系統需要強大的運維工具來維護可靠性、安全性和成本效益。 7. 訓練與推理比較：增加一個包含 6 行的比較表：目標、主要瓶頸、記憶體問題、典型指標、伸縮模式和彈性需求。將兩列分別標記為「訓練」和「推理（服務）」。訓練部分應描述如何從資料中學習模型權重、分散式計算和資料傳輸頻寬、激活值/梯度/優化器狀態、每秒令牌數或收斂速度、大批量長時間任務的處理以及檢查點/容錯機制。推理過程應描述使用者產生的有效回應、延遲和吞吐量、模型權重加上鍵值快取、延遲和每秒令牌數、大量短請求以及高可用性/優雅降級。 8. 右側「關鍵概念」側邊欄：建立一個名為「關鍵概念」的右側邊欄，包含 5 張卡片，分別用字母表示：A. 批次大小，B. 序列長度/上下文窗口，C. 鍵值緩存，D. 吞吐量和延遲，E. 參數/權重/激活值。卡 A 應定義批次大小，並顯示小批次和大批處理之間的比較（令牌/人物圖示）。卡片 B 應顯示提示字令牌和長上下文（標記為 T1、T2、T3、T4、…、Tn 的令牌塊）。卡片 C 應顯示提示詞令牌輸入到紫色圓柱形鍵值快取中，然後從快取中讀取新令牌。卡 D 應顯示兩個儀錶板：吞吐量和延遲。卡片 E 應顯示權重和活化值（藍色和紫色網格透過乘法連接）。在側邊欄底部加入「預填與解碼」提示，解釋預填過程會完成提示詞，而解碼則使用 KV 快取逐一產生標記。頁腳：新增一個底部導覽欄，順序為“資料 → 訓練 → 推理 → 值”，左側有一個小的圓形火箭/指南針圖標，以及一句結束語。 {argument name="footer quote" default="利用數據、計算能力和卓越的工程技術驅動智能係統。"} 視覺風格：密集的企業資訊圖表、簡潔的向量和半 3D 圖標、發光的青色輪廓、柔和的漸變、立體光照、小型示意圖、微型圖表以及現代的襯線標籤標題以及現代無襯線字體。配色方案應為 {argument name="color palette" default="深海軍藍、電光藍、青色、紫色、白色，以及少量琥珀色點綴"}。限制條件：使用 8 個編號的主模組、5 張關鍵概念卡、4 個 GPU 節點、6 個訓練階段、6 個推理階段、6 張維護卡，以及 6 行訓練與推理比較表。所有可見文字應為英文，避免使用浮水印和品牌標識，並在緊湊的佈局中保持高可讀性。