El nuevo chatbot de Deepseek ha hecho olas en la industria de la IA, posicionándose como un competidor formidable. La compañía presentó su IA con el intrigante lema: "Hola, fui creado para que puedas preguntar cualquier cosa y obtener una respuesta que incluso te sorprenda". Esta audaz declaración ha resonado con los usuarios, y hoy, los avances de Deepseek han contribuido a una de las mayores caídas del precio de las acciones para NVIDIA, destacando el impacto de su tecnología.
Imagen: ensigame.com
Lo que distingue al modelo de Deepseek son sus innovadores métodos de arquitectura y capacitación. Aquí están las tecnologías clave que alimentan su IA:
Predicción múltiple (MTP): a diferencia de los modelos tradicionales que predicen una palabra a la vez, el enfoque MTP de Deepseek predice múltiples palabras simultáneamente analizando diferentes partes de una oración. Este método mejora tanto la precisión como la eficiencia del modelo.
Mezcla de expertos (MOE): esta arquitectura emplea varias redes neuronales para procesar datos de entrada. Acelera el entrenamiento de IA y mejora el rendimiento. En Deepseek V3, se utilizan 256 redes neuronales, y se activan ocho para cada tarea de procesamiento de tokens.
Atención latente de múltiples cabezas (MLA): este mecanismo se centra en las partes más significativas de una oración. MLA extrae detalles clave de los fragmentos de texto repetidamente, reduciendo la probabilidad de perder información importante. Esto asegura que la IA captura matices cruciales en los datos de entrada.
Imagen: ensigame.com
Deepseek, una prominente startup china, afirma haber desarrollado un modelo de IA competitivo con costos mínimos, afirmando que solo gastaron $ 6 millones en capacitar a la poderosa red neuronal Deepseek V3 y usaron solo 2048 procesadores gráficos. Sin embargo, los analistas del semianálisis han revelado que Deepseek opera una vasta infraestructura computacional que comprende aproximadamente 50,000 GPU de tolva nvidia, incluidas 10,000 unidades H800, 10,000 H100 más avanzados y GPU H20 adicionales. Estos recursos se distribuyen en varios centros de datos y se utilizan para capacitación, investigación y modelado financiero de IA.
La inversión total de la compañía en servidores asciende a alrededor de $ 1.6 mil millones, con gastos operativos estimados en $ 944 millones. Deepseek es una subsidiaria del Fondo de cobertura chino High-Flyer, que salió de la startup como una división separada centrada en las tecnologías de IA en 2023. A diferencia de la mayoría de las startups que alquilan el poder de la computación de los proveedores de la nube, Deepseek posee sus propios centros de datos, lo que le brinda el control total sobre la optimización del modelo de IA y que proporciona una implementación más rápida de innovaciones. La compañía sigue siendo autofinanciada, lo que afecta positivamente su flexibilidad y velocidad de toma de decisiones.
Imagen: ensigame.com
Además, algunos investigadores de Deepseek ganan más de $ 1.3 millones anuales, atrayendo al máximo talento de las principales universidades chinas (la compañía no contrata especialistas en el extranjero). Incluso teniendo en cuenta esto, el reciente reclamo de Deepseek de capacitar a su último modelo por solo $ 6 millones parece poco realista. Esta cifra se refiere solo al costo del uso de la GPU durante la pre-entrenamiento y no tiene en cuenta los gastos de investigación, el refinamiento del modelo, el procesamiento de datos o los costos generales de infraestructura.
Desde su inicio, Deepseek ha invertido más de $ 500 millones en desarrollo de IA. Sin embargo, a diferencia de las compañías más grandes cargadas por la burocracia, la estructura compacta de Deepseek le permite implementar activa y efectivamente innovaciones de IA.
Imagen: ensigame.com
El ejemplo de Deepseek demuestra que una compañía de IA independiente bien financiada puede competir con los líderes de la industria. Sin embargo, los expertos enfatizan que el éxito de la compañía se debe en gran medida a miles de millones en inversiones, avances técnicos y un equipo fuerte, mientras que las afirmaciones sobre un "presupuesto revolucionario" para desarrollar modelos de IA son algo exagerados. Aún así, los costos de los competidores siguen siendo significativamente más altos. Por ejemplo, compare el costo de la capacitación del modelo: Deepseek gastó $ 5 millones en R1, mientras que ChatGPT4O costó $ 100 millones.
