De betaalbaarheid van Deepseek is een mythe: de revolutionaire AI kostte eigenlijk $ 1,6 miljard om te ontwikkelen

Deepseek's nieuwe chatbot heeft een verrassend capabele AI en stelt zich voor met de eenvoudige maar intrigerende verklaring: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zou kunnen verrassen."

Deze AI is snel een belangrijke speler geworden en veroorzaakt zelfs aanzienlijke daling van de aandelenkoers van Nvidia. Het succes ervan komt voort uit een unieke combinatie van architectuur- en trainingsmethoden, met verschillende innovatieve technologieën:

• Multi-token voorspelling (MTP): in tegenstelling tot traditionele voorspelling van het woord voor woord voorspelt MTP meerdere woorden tegelijkertijd, wat zowel nauwkeurigheid als efficiëntie aanzienlijk verbetert.
• Mix van experts (MOE): deze architectuur maakt gebruik van meerdere neurale netwerken om input te verwerken, training te versnellen en prestaties te stimuleren. Deepseek V3 gebruikt 256 netwerken en activeert acht voor elk token.
• Multi-head latente aandacht (MLA): MLA richt zich herhaaldelijk op belangrijke zinscomponenten, waardoor cruciale details niet worden gemist, wat leidt tot een meer genuanceerd begrip van de input.

Afbeelding: ensigame.com

Deepseek, een dochteronderneming van het Chinese hedgefonds hoogvlieger, beweerde aanvankelijk zijn krachtige Deepseek V3-neurale netwerk te hebben getraind voor slechts $ 6 miljoen met behulp van 2048 GPU's. Semianyse onthulde echter een veel meer substantiële infrastructuur: ongeveer 50.000 Nvidia Hopper GPU's, waaronder 10.000 H800s, 10.000 H100s en extra H20's, verdeeld over meerdere datacenters. Dit vertaalt zich in een serverinvestering van ongeveer $ 1,6 miljard en operationele kosten geschat op $ 944 miljoen.

Afbeelding: ensigame.com

In tegenstelling tot veel startups die afhankelijk zijn van cloud computing, bezit Deepseek zijn datacenters, waardoor meer controle en snellere innovatie -implementatie biedt. Zijn zelf gefinancierde status verbetert verder de behendigheid en besluitvorming. De toewijding van het bedrijf aan talent is ook opmerkelijk, waarbij sommige onderzoekers jaarlijks meer dan $ 1,3 miljoen verdienen en topgestudeerden trekken van toonaangevende Chinese universiteiten. Het aanvankelijke cijfer van $ 6 miljoen weerspiegelt daarom alleen pre-training GPU-kosten en ondertast de totale investering van meer dan $ 500 miljoen aanzienlijk.

Afbeelding: ensigame.com

Hoewel de magere structuur van Deepseek efficiënte innovatie mogelijk maakt in vergelijking met grotere, meer bureaucratische bedrijven, is het succes onmiskenbaar gekoppeld aan substantiële investeringen, technologische doorbraken en een zeer bekwaam team. De claim "revolutionaire begroting" heeft daarom een ​​aanzienlijke kwalificatie nodig. Desalniettemin blijven de kosten van Deepseek aanzienlijk lager dan concurrenten. Deepseek besteedde bijvoorbeeld $ 5 miljoen aan R1, vergeleken met Chatgpt's $ 100 miljoen voor Chatgpt4o.

Afbeelding: ensigame.com

Het verhaal van Deepseek benadrukt het potentieel van een goed gefinancierd, onafhankelijk AI-bedrijf om effectief te concurreren met gevestigde reuzen. Het onderstreept echter ook de realiteit dat substantiële investeringen, geavanceerde technologie en uitzonderlijk talent belangrijke ingrediënten zijn voor succes in dit snel evoluerende veld.