Le nouveau chatbot de Deepseek a fait des vagues dans l'industrie de l'IA, se positionnant comme un formidable concurrent. La société a présenté son IA avec le slogan intrigant: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette déclaration audacieuse a résonné auprès des utilisateurs, et aujourd'hui, les progrès de Deepseek ont contribué à l'une des plus grandes baisses de cours des actions pour NVIDIA, soulignant l'impact de sa technologie.
Image: esigame.com
Ce qui distingue le modèle de Deepseek, c'est son architecture innovante et ses méthodes de formation. Voici les technologies clés qui alimentent son AI:
Prédiction multi-token (MTP): Contrairement aux modèles traditionnels qui prédisent un mot à la fois, l'approche MTP de Deepseek prédit plusieurs mots simultanément en analysant différentes parties d'une phrase. Cette méthode améliore à la fois la précision et l'efficacité du modèle.
Mélange d'experts (MOE): Cette architecture utilise divers réseaux de neurones pour traiter les données d'entrée. Il accélère la formation d'IA et améliore les performances. Dans Deepseek V3, 256 réseaux neuronaux sont utilisés, huit étant activés pour chaque tâche de traitement de jeton.
Attention latente multi-tête (MLA): ce mécanisme se concentre sur les parties les plus importantes d'une phrase. MLA extrait les détails clés des fragments de texte à plusieurs reprises, ce qui réduit la probabilité de manquer des informations importantes. Cela garantit que l'IA capture les nuances cruciales dans les données d'entrée.
Image: esigame.com
Deepseek, une startup chinoise de premier plan, prétend avoir développé un modèle d'IA compétitif avec des coûts minimes, déclarant qu'ils ont dépensé seulement 6 millions de dollars pour la formation du puissant réseau de neurones Deepseek V3 et utilisé seulement 2048 processeurs graphiques. Cependant, les analystes de semi-analyse ont révélé que Deepseek exploite une vaste infrastructure de calcul comprenant environ 50 000 GPU de trémie NVIDIA, dont 10 000 unités H800, 10 000 H100 plus avancés et des GPU H20 supplémentaires. Ces ressources sont distribuées dans plusieurs centres de données et sont utilisées pour la formation, la recherche et la modélisation financière de l'IA.
L'investissement total de la société dans les serveurs s'élève à environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars. Deepseek est une filiale du High-Flyer de fonds spéculatifs chinois, qui a décroché la startup en tant que division distincte axée sur les technologies de l'IA en 2023. Contrairement à la plupart des startups qui louent le pouvoir de calcul des fournisseurs de cloud, Deepseek possède ses propres centres de données, ce qui lui donne un contrôle total sur l'optimisation du modèle AI et l'activation plus rapidement des innovations. La société reste autofinancée, ce qui a un impact positif sur sa flexibilité et sa vitesse de prise de décision.
Image: esigame.com
De plus, certains chercheurs de Deepseek gagnent plus de 1,3 million de dollars par an, attirant les meilleurs talents des principales universités chinoises (la société n'embauche pas de spécialistes étrangers). Même en considérant cela, la récente allégation de Deepseek de formation de son dernier modèle pour seulement 6 millions de dollars semble irréaliste. Ce chiffre se réfère uniquement au coût de l'utilisation du GPU pendant la pré-formation et ne tient pas compte des dépenses de recherche, du raffinement du modèle, du traitement des données ou des coûts d'infrastructure globale.
Depuis sa création, Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Cependant, contrairement aux grandes entreprises chargées par la bureaucratie, la structure compacte de Deepseek lui permet de mettre en œuvre activement et efficacement les innovations d'IA.
Image: esigame.com
L'exemple de Deepseek démontre qu'une entreprise d'IA indépendante bien financée peut rivaliser avec les leaders de l'industrie. Néanmoins, les experts soulignent que le succès de l'entreprise est en grande partie dû à des milliards d'investissements, à des percées techniques et à une équipe solide, tandis que les affirmations sur un "budget révolutionnaire" pour le développement de modèles d'IA sont quelque peu exagérés. Pourtant, les coûts des concurrents restent considérablement plus élevés. Par exemple, comparez le coût de la formation des modèles: Deepseek a dépensé 5 millions de dollars sur R1, tandis que le chatppt4o a coûté 100 millions de dollars.
