L'abordabilité de Deepseek est un mythe: l'IA révolutionnaire a coûté 1,6 milliard de dollars pour développer

Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un acteur majeur, provoquant même des baisses importantes du cours de l'action de Nvidia.

L'avantage concurrentiel de Deepseek réside dans son architecture innovante et ses méthodes de formation. Les technologies clés comprennent:

• Prédiction multi-token (MTP): Au lieu de prédire les mots individuellement, MTP prévoit plusieurs mots simultanément, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): Cette architecture utilise plusieurs réseaux de neurones (256 dans Deepseek V3, avec huit activés par jeton), accélérant la formation et améliorant les performances.
• Attention latente multi-tête (MLA): MLA se concentre à plusieurs reprises sur les parties clés de la phrase, minimisant le risque de négliger des informations cruciales.

La réclamation initiale de Deepseek d'un coût de formation de 6 millions de dollars de Deepseek pour Deepseek V3, utilisant seulement 2048 GPU, a été contestée. La semianalyse a révélé une infrastructure beaucoup plus étendue, englobant environ 50 000 GPU Nvidia Hopper (dont 10 000 H800, 10 000 H100 et H20S supplémentaires) répartis sur plusieurs centres de données. Cela se traduit par un investissement de serveur d'environ 1,6 milliard de dollars et les dépenses opérationnelles estimées à 944 millions de dollars.

Deepseek, une filiale de High-Flyer, un fonds spéculatif chinois, possède ses centres de données, favorisant le contrôle et l'innovation. Sa nature autofinancée permet une prise de décision rapide. En outre, la société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

Alors que la demande de coût de formation de 6 millions de dollars de Deepseek est trompeuse (ne reflétant que l'utilisation préalable du GPU, à l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures), la société a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure maigre facilite une innovation efficace.

Le succès de Deepseek démontre le potentiel d'une entreprise d'IA indépendante bien financée pour concurrencer les géants de l'industrie. Cependant, ses réalisations sont construites sur des investissements substantiels, des progrès techniques et une équipe solide, faisant du récit du "budget révolutionnaire" une simplification à l'extérieur. Malgré cela, les coûts de Deepseek restent considérablement inférieurs à ceux des concurrents. Par exemple, le modèle R1 de Deepseek a coûté 5 millions de dollars pour s'entraîner, par rapport aux 100 millions de dollars de ChatGPT4.