deepseek-v4
DeepSeek V4.1: Análisis de su Nuevo Toolkit de Inferencia
DeepSeek-V4 Team · 14 de septiembre de 2026 · 6 min read
Keywords: DeepSeek V4.1, optimización inferencia, herramientas IA
Published: 14 de septiembre de 2026 Author: DeepSeek-V4 Team
Tres repositorios de DeepSeek actualizados en la misma semana cuentan una historia más útil juntos que por separado. DeepSelect acelera una operación TopK estrecha. DeepJIT compila y almacena en caché kernels de dispositivo. deepseek-recipe traduce conversaciones con formato API en prompts y analiza la salida del modelo de vuelta a respuestas. Ninguno es un servidor de inferencia completo, pero juntos exponen capas que a menudo están ocultas detrás de un solo endpoint.
La distinción importa porque “inferencia más rápida” se reporta frecuentemente como si fuera un único ajuste. En realidad, una solicitud puede perder tiempo mientras se valida, se renderiza en tokens de modelo, se programa, se ejecuta en aceleradores, se muestrea y se convierte en una respuesta en streaming. Optimizar una capa puede ser valioso sin producir la misma mejora porcentual de extremo a extremo.
DeepSelect: un TopK rápido y deliberadamente estrecho
DeepSelect 1.0 implementa kernels TopK para DeepSeek Sparse Attention (DSA) y muestreo. Su README indica que DSA se usa en DeepSeek V3.2, V4 y V4.1. El proyecto reporta una aceleración de 2–20× sobre torch.topk estándar, pero ese número pertenece a formas de prueba compatibles, no a la generación completa del modelo.
Las restricciones son concretas. La ruta Lightning Indexer acepta bfloat16, valores pequeños de topk no mayores a 4096, y tanto batches como vocabularios pequeños y grandes. La ruta de muestreo usa float32, apunta a un vocabulario de alrededor de 128K y también limita topk a 4096. Las filas de entrada necesitan una alineación específica, y los llamadores pueden necesitar rellenarlas (pad).
Varias opciones revelan dónde se encuentra la velocidad práctica. Si los índices no necesitan ordenamiento, la salida ordenada debe desactivarse. Si los valores son innecesarios, return_value=False omite esa salida; el proyecto dice que esto es aproximadamente un 10% más rápido para la operación. Estos son ahorros a nivel de API, no inteligencia de modelo misteriosa.
También hay una política NaN estricta. La verificación está siempre habilitada, y el comportamiento predeterminado atrapa y aborta cuando se encuentra un NaN. Esto puede ser apropiado para detectar computación corrupta temprano, pero un servicio de inferencia necesita decidir cómo se aísla y reporta un fallo de worker.
DeepJIT: compilar una vez, reutilizar con evidencia
DeepJIT se sitúa más abajo en la pila. Es un runtime C++20 solo de cabecera para compilar JIT kernels en GPUs NVIDIA CUDA y NPUs Huawei Ascend. La interfaz compartida cubre compilación, caché de binarios, carga y lanzamiento, mientras que el fuente del kernel y las opciones específicas del backend permanecen separadas.
El caché es su característica operativa central. Las claves de caché consideran la fuente, includes rastreados, versiones del compilador, opciones efectivas del compilador y una firma de dependencia suministrada por la aplicación. Ese último campo importa cuando el código generado depende de algo que el parser de includes no puede ver. Si una biblioteca actualiza CUTLASS pero deja la firma extra sin cambios, una clave de caché superficialmente válida podría representar el artefacto incorrecto.
DeepJIT soporta cachés de memoria y disco, incluyendo almacenamiento compartido con comportamiento POSIX para rename atómico y fsync. Múltiples workers pueden compilar la misma entrada, luego reutilizar el resultado publicado. Un caché personal escribible también puede preceder a un caché compartido de solo lectura. Esta es una respuesta práctica al coste de arranque en frío en clusters, siempre que el directorio compartido sea de confianza.
El soporte de hardware no es magia simétrica. CUDA requiere cabeceras CUDA recientes y NVCC; Ascend requiere la toolchain Bisheng, cabeceras CANN, ACL y torch_npu. El runtime unificado reduce la lógica de host duplicada, pero los operadores aún mantienen dos ecosistemas de dispositivo.
deepseek-recipe: la capa de protocolo es ingeniería real
En el límite de la solicitud, deepseek-recipe proporciona bibliotecas Rust y bindings Python para convertir solicitudes de Messages, Chat Completions y Responses en una representación de Conversación compartida. Luego puede codificar prompts de DeepSeek V4 o V4.1 y analizar la salida generada en el formato esperado por el llamador.
El contenido soportado incluye texto, imágenes, razonamiento y llamadas a herramientas del cliente. La configuración de generación cubre esfuerzo de razonamiento, temperatura, top-p y límites de salida. El formato Responses puede llevar namespaces de herramientas y una herramienta personalizada apply_patch. Para imágenes V4.1, el preprocesamiento se proporciona a través de OpenCV.
Las omisiones son igual de útiles. La biblioteca no proporciona inferencia de modelo, transporte HTTP o ejecución de herramientas. La búsqueda web del lado del servidor no está soportada. No impone JSON Schema estricto o salidas regex, ni almacena conversaciones a través de previous_response_id, ni recupera archivos por ID. Un equipo construyendo un endpoint compatible con OpenAI todavía tiene que suministrar esos servicios.
Cómo se alinean las capas
| Layer | Project | Primary job | Does not provide |
|---|---|---|---|
| API and prompt | deepseek-recipe | Convert request formats; encode V4/V4.1 prompts; parse output | HTTP server, inference, tool execution |
| Kernel runtime | DeepJIT | Compile, cache, load, and launch CUDA/Ascend kernels | Model scheduler or model weights |
| Selection kernel | DeepSelect | TopK for DSA and sampling in supported shapes | End-to-end inference engine |
Una solicitud hipotética entra a través de un servicio API. deepseek-recipe la valida y normaliza, luego renderiza el prompt correcto. Un motor de inferencia programa el trabajo del modelo y usa kernels de dispositivo, algunos de los cuales pueden ser compilados y almacenados en caché a través de DeepJIT. Durante la atención dispersa o el muestreo, una llamada TopK soportada puede usar DeepSelect. Los tokens generados luego viajan de vuelta a través del parser de recipe en una respuesta API en streaming.
Ese diagrama contiene un pegamento hipotético importante. DeepSeek no afirma que instalar estos tres repositorios crea un servidor V4.1. El planificador, ejecución distribuida, pesos, capa HTTP, autenticación, cuotas, observabilidad y el ejecutor de herramientas real permanecen fuera del alcance combinado.
A quién debería importarle
Los ingenieros de inferencia pueden usar estos proyectos como bloques de construcción concretos o referencias legibles. Los equipos de plataforma API obtendrán el valor más inmediato de deepseek-recipe; los autores de kernels de DeepJIT y DeepSelect. Los desarrolladores de aplicaciones que llaman a un modelo alojado no necesitan instalar ninguno de ellos.
Para los evaluadores, la conclusión disciplinada es modesta: DeepSeek está abriendo más de la maquinaria alrededor de V4 y V4.1, y las interfaces muestran dónde sus ingenieros están gastando esfuerzo. El benchmark de DeepSelect es creíble solo dentro de sus formas publicadas. DeepJIT puede reducir la compilación repetida, no los tokens de generación. deepseek-recipe mejora la consistencia del protocolo, no la precisión del modelo.
Esos límites hacen que los lanzamientos sean más útiles, no menos. Un componente especificado estrechamente puede ser evaluado mediante benchmarks, reemplazado y depurado. La actualización interesante no es una reclamación dramática de velocidad; es una pila que se vuelve más fácil de inspeccionar capa por capa.
Fuentes consultadas el 14 de septiembre de 2026: DeepSelect, DeepJIT, y deepseek-recipe.