De betaalbaarheid van Deepseek is een mythe: de revolutionaire AI kostte eigenlijk $ 1,6 miljard om te ontwikkelen

De nieuwe Chatbot van Deepseek heeft een indrukwekkende introductie: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zelfs zou verrassen." Deze AI, een product van de Chinese startup Deepseek, is snel een belangrijke speler geworden en veroorzaakt zelfs aanzienlijke daling van de aandelenkoers van Nvidia.

Het concurrentievoordeel van Deepseek ligt in zijn innovatieve architectuur- en trainingsmethoden. Belangrijkste technologieën zijn onder meer:

• Multi-token voorspelling (MTP): in plaats van woorden afzonderlijk te voorspellen, voorspelt MTP meerdere woorden tegelijkertijd, waardoor de nauwkeurigheid en efficiëntie worden verhoogd.
• Mengsel van experts (MOE): deze architectuur maakt gebruik van meerdere neurale netwerken (256 in Deepseek V3, met acht geactiveerd per token), versnellende training en het verbeteren van de prestaties.
• Multi-head latente aandacht (MLA): MLA richt zich herhaaldelijk op belangrijke zinsdelen, waardoor het risico op het over het hoofd ziet van cruciale informatie.

De initiële claim van Deepseek van slechts $ 6 miljoen trainingskosten voor Deepseek V3, met slechts 2048 GPU's, is aangevochten. SEMIANALYSE onthulde een veel uitgebreidere infrastructuur, die ongeveer 50.000 Nvidia Hopper GPU's omvat (inclusief 10.000 H800s, 10.000 H100s en extra H20's) verspreid over meerdere datacenters. Dit vertaalt zich in een serverinvestering van ongeveer $ 1,6 miljard en operationele kosten geschat op $ 944 miljoen.

Deepseek, een dochteronderneming van high-flyer, een Chinees hedgefonds, bezit zijn datacenters, die controle en innovatie bevorderen. De zelf gefinancierde aard zorgt voor snelle besluitvorming. Bovendien trekt het bedrijf toptalent aan, waarbij sommige onderzoekers jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk van Chinese universiteiten.

Hoewel de claim van $ 6 miljoen van Deepseek misleidend is (als gevolg van alleen PRPU-gebruik voor de training, exclusief onderzoek, verfijning, gegevensverwerking en infrastructuur), heeft het bedrijf meer dan $ 500 miljoen geïnvesteerd in AI-ontwikkeling. De magere structuur vergemakkelijkt efficiënte innovatie.

Het succes van Deepseek toont het potentieel van een goed gefinancierd, onafhankelijk AI-bedrijf om te concurreren met industriële reuzen. De prestaties ervan zijn echter gebaseerd op substantiële investeringen, technische vooruitgang en een sterk team, waardoor het verhaal "revolutionaire budget" een vereenvoudiging is. Toch blijven de kosten van Deepseek aanzienlijk lager dan concurrenten. Het R1 -model van Deepseek kost bijvoorbeeld $ 5 miljoen om te trainen, vergeleken met de $ 100 miljoen van Chatgpt4.