DeepSeek V4.1: Einblick in das neue Open Inference Toolkit

Drei DeepSeek-Repositories, die in derselben Woche aktualisiert wurden, ergeben zusammen ein sinnvolleres Bild als einzeln. DeepSelect beschleunigt eine spezifische TopK-Operation. DeepJIT kompiliert und cached Device-Kernel. deepseek-recipe übersetzt API-basierte Konversationen in Prompts und wandelt Modellausgaben zurück in Responses. Keines davon ist ein vollständiger Inferenz-Server, doch gemeinsam legen sie Schichten frei, die oft hinter einem einzigen Endpunkt verborgen sind.

Die Unterscheidung ist wichtig, weil "schnellere Inferenz" oft so dargestellt wird, als wäre sie ein einzelner Regler. In Wirklichkeit kann eine Anfrage Zeit verlieren während der Validierung, des Renderns in Modell-Tokens, des Schedulings, der Ausführung auf Acceleratoren, des Samplings und der Konvertierung in eine Streaming-Response. Die Optimierung einer Schicht kann wertvoll sein, ohne die gleiche prozentuale Verbesserung End-to-End zu erzeugen.

DeepSelect: Ein schneller, gezielt schmaler TopK

DeepSelect 1.0 implementiert TopK-Kernel für DeepSeek Sparse Attention (DSA) und Sampling. Das README besagt, dass DSA in DeepSeek V3.2, V4 und V4.1 verwendet wird. Das Projekt meldet eine 2–20× Beschleunigung gegenüber Vanilla torch.topk, aber diese Zahl gilt für unterstützte Test-Shapes, nicht für die vollständige Modellgenerierung.

Die Einschränkungen sind konkret. Der Lightning Indexer Pfad akzeptiert bfloat16, kleine topk-Werte nicht größer als 4096 sowie kleine und große Batches und Vokabulare. Der Sampling-Pfad nutzt float32, zielt auf ein Vokabular von rund 128K und limitiert topk ebenfalls auf 4096. Input-Zeilen benötigen eine spezifische Ausrichtung, und Caller müssen sie gegebenenfalls padden.

Mehrere Optionen zeigen, wo praktische Geschwindigkeit gefunden wird. Wenn Indices keine Ordering benötigen, sollte sorted output deaktiviert werden. Wenn Werte unnötig sind, überspringt return_value=False diese Ausgabe; das Projekt gibt an, dies sei etwa 10% schneller für die Operation. Das sind Einsparungen auf API-Ebene, keine mysteriöse Modell-Intelligenz.

Es gibt auch eine strikte NaN-Richtlinie. Checking ist immer aktiviert, und das Standardverhalten trappt und abortet, wenn ein NaN gefunden wird. Das mag angemessen sein, um korrupte Berechnungen früh zu erkennen, aber ein Inferenz-Service muss entscheiden, wie ein Worker-Absturz isoliert und gemeldet wird.

DeepJIT: Einmal kompilieren, mit Nachweis wiederverwenden

DeepJIT sitzt tiefer im Stack. Es ist eine header-only C++20 Runtime für JIT-Kompilierung von Kerneln auf NVIDIA CUDA GPUs und Huawei Ascend NPUs. Die gemeinsame Schnittstelle deckt Kompilierung, Binary-Caching, Laden und Start ab, während der Kernel-Quellcode und backend-spezifische Optionen separat bleiben.

Caching ist sein zentrales operatives Feature. Cache-Schlüssel berücksichtigen Quelle, verfolgte Includes, Compiler-Versionen, effektive Compiler-Optionen und eine anwendungsbereitgestellte Abhängigkeitssignatur. Dieses letzte Feld ist wichtig, wenn generierter Code von etwas abhängt, das der Include-Parser nicht sehen kann. Wenn eine Bibliothek CUTLASS aktualisiert, aber die zusätzliche Signatur unverändert lässt, könnte ein oberflächlich gültiger Cache-Schlüssel das falsche Artifact darstellen.

DeepJIT unterstützt sowohl Memory- als auch Disk-Caches, einschließlich Shared Storage mit POSIX-Verhalten für atomic rename und fsync. Mehrere Worker können denselben Eintrag kompilieren und dann das veröffentlichte Ergebnis wiederverwenden. Ein persönlicher beschreibbarer Cache kann auch einem schreibgeschützten gemeinsamen Cache vorgeschaltet sein. Dies ist eine praktische Antwort auf Cold-Start-Kosten in Clustern, sofern das gemeinsame Verzeichnis vertrauenswürdig ist.

Die Hardware-Unterstützung ist keine symmetrische Magie. CUDA erfordert aktuelle CUDA-Header und NVCC; Ascend erfordert die Bisheng-Toolchain, CANN-Header, ACL und torch_npu. Die unified Runtime reduziert duplizierte Host-Logik, aber Betreiber müssen dennoch zwei Device-Ökosysteme warten.

deepseek-recipe: Die Protokollschicht ist echte Ingenieurskunst

An der Request-Grenze bietet deepseek-recipe Rust-Bibliotheken und Python-Bindings für die Konvertierung von Messages-, Chat Completions- und Responses-Requests in eine gemeinsame Conversations-Repräsentation. Es kann dann DeepSeek V4- oder V4.1-Prompts kodieren und generierte Ausgaben in das vom Caller erwartete Format parsen.

Unterstützte Inhalte umfassen Text, Bilder, Thinking und Client-Tool-Calls. Generationseinstellungen decken Reasoning-Aufwand, Temperatur, Top-P und Ausgabelimits ab. Das Responses-Format kann Tool-Namespaces und ein apply_patch Custom-Tool tragen. Für V4.1-Bilder wird Preprocessing durch OpenCV bereitgestellt.

Die Auslassungen sind genauso nützlich. Die Bibliothek bietet keine Modellinferenz, HTTP-Transport oder Tool-Ausführung. Server-seitige Websuche wird nicht unterstützt. Sie erzwingt keine strikten JSON-Schema- oder Regex-Ausgaben, speichert Conversations nicht durch previous_response_id oder ruft Dateien nach ID ab. Ein Team, das einen OpenAI-kompatiblen Endpunkt baut, muss diese Dienste noch bereitstellen.

Wie die Schichten zusammenpassen