深入 DeepSeek V4.1 全新開放推論工具包

同一週更新的三個 DeepSeek 儲存庫，合併來看比單獨檢視更能說明問題。DeepSelect 加速狹義的 TopK 運算。DeepJIT 編譯並快取裝置核心。deepseek-recipe 將 API 形狀的對話轉換為提示詞，並將模型輸出解析回回應。它們並非完整的推論伺服器，但合力揭示了通常隱藏在單一端點背後的架構層級。

這種區別至關重要，因為「更快的推論」常被報導得像單一的旋鈕。實際上，請求可能在驗證、渲染為模型 token、排程、在加速器上執行、採樣及轉換為串流回應時損失時間。優化某一層級可能有價值，但不一定產生相同的端到端百分比改進。

DeepSelect：快速且刻意狹義的 TopK

DeepSelect 1.0 為 DeepSeek 稀疏注意力 (DSA) 和採樣實現了 TopK 核心。其 README 指出 DSA 用於 DeepSeek V3.2、V4 和 V4.1。專案報告比原生 torch.topk 快 2–20 倍，但該數字屬於支援的測試形狀，而非完整模型生成。

約束條件具體明確。Lightning Indexer 路徑接受 bfloat16、小於等於 4096 的小 topk 值，以及小型和大型批次與詞彙表。採樣路徑使用 float32，目標詞彙表約 128K，也將 topk 限制為 4096。輸入行需要特定對齊，呼叫者可能需要填充它們。

幾個選項揭示了實用速度所在。若不需要索引排序，應禁用排序輸出。若不需要值，return_value=False 可跳过該輸出；專案稱此操作快約 10%。這些是 API 層級的節省，而非神秘的模型智慧。

還有嚴格的 NaN 政策。檢查始終啟用，預設行為是在發現 NaN 時陷阱並中止。這可能適合早期捕捉損壞的計算，但推論服務需要決定如何隔離和報告工作員崩潰。

DeepJIT：編譯一次，憑證重用

DeepJIT 位於堆疊更低層。它是僅頭文件的 C++20 运行时，用於在 NVIDIA CUDA GPU 和華為 Ascend NPU 上 JIT 編譯核心。共享介面涵蓋編譯、二進制快取、載入和啟動，而核心來源和後端特定選項保持分離。

快取是其核心運營特徵。快取鍵考慮來源、追蹤的 includes、編譯器版本、有效編譯器選項和應用程式提供的依賴簽名。最後一個欄位很重要，當生成代碼依賴 include 解析器看不到的東西時。若函式庫升級了 CUTLASS 但未更改額外簽名，表面上有效的快取鍵可能對應錯誤的工件。

DeepJIT 支援記憶體和磁碟快取，包括具有 POSIX 行為的共享儲存，用於原子重命名和 fsync。多個工作員可以編譯同一條目，然後重用發布的結果。個人可寫快取也可優先於只讀共享快取。這是集群冷啟動成本的實用答案，前提是共享目錄受信任。

硬體支援並非對稱的魔法。CUDA 需要近期的 CUDA 標頭和 NVCC；Ascend 需要 Bisheng 工具鏈、CANN 標頭、ACL 和 torch_npu。統一运行时減少了重複的主機邏輯，但運算子仍維護兩個裝置生態系統。

Try DeepSeek on MidassAI

deepseek-recipe：協議層是真正的工程

在請求邊界，deepseek-recipe 提供 Rust 庫和 Python 綁定，用於將 Messages、Chat Completions 和 Responses 請求轉換為共享的 Conversation 表示。然後它可以編碼 DeepSeek V4 或 V4.1 提示詞，並將生成輸出解析為呼叫者預期的格式。

支援的內容包括文本、圖像、思考和客戶端工具呼叫。生成設置涵蓋推理努力、temperature、top-p 和輸出限制。Responses 格式可攜帶工具命名空間和 apply_patch 自定義工具。對於 V4.1 圖像，預處理通過 OpenCV 提供。

省略之處同樣有用。該庫不提供模型推論、HTTP 傳輸或工具執行。不支援伺服器端網頁搜尋。它不強制嚴格的 JSON Schema 或 regex 輸出，不通過 previous_response_id 存儲對話，也不按 ID 檢索文件。構建 OpenAI 相容端點的團隊仍需提供這些服務。

層級如何對齊

Layer	Project	Primary job	Does not provide
API and prompt	deepseek-recipe	Convert request formats; encode V4/V4.1 prompts; parse output	HTTP server, inference, tool execution
Kernel runtime	DeepJIT	Compile, cache, load, and launch CUDA/Ascend kernels	Model scheduler or model weights
Selection kernel	DeepSelect	TopK for DSA and sampling in supported shapes	End-to-end inference engine

假設的請求通過 API 服務進入。deepseek-recipe 驗證並標準化它，然後渲染正確的提示詞。推論引擎排程模型工作並使用裝置核心，其中一些可能通過 DeepJIT 編譯和快取。在稀疏注意力或採樣期間，支援的 TopK 呼叫可能使用 DeepSelect。生成的 token 然後通過 recipe 解析器返回串流 API 回應。

該圖包含重要的假設性連接環節。DeepSeek 並未声称安裝這三個儲存庫就能創建 V4.1 伺服器。排程器、分散式執行、權重、HTTP 層、認證、配額、可觀測性和實際工具運行器仍處於合併範圍之外。

誰應該關注

推論工程師可將這些專案作為具體的構建塊或可讀參考。API 平台團隊將從 deepseek-recipe 獲得最直接的價值；核心作者從 DeepJIT 和 DeepSelect 獲益。呼叫託管模型的應用程式開發者無需安裝任何它們。

對於評估者，紀律嚴明的結論是適度的：DeepSeek 正在開放更多 V4 和 V4.1 周圍的機制，介面顯示其工程師正在哪裡投入精力。DeepSelect 的基準僅在其發布的形狀內可信。DeepJIT 可減少重複編譯，而非生成 token。deepseek-recipe 改進協議一致性，而非模型準確性。

這些邊界使發布更有用，而非更少。狹義指定的組件可以被基準測試、替換和調試。有趣的更新不是一個戲劇性的速度声明；而是一個堆疊變得更容易逐層檢查。