De nieuwe chatbot van Deepseek heeft golven gemaakt in de AI -industrie en positioneert zichzelf als een formidabele concurrent. Het bedrijf introduceerde zijn AI met de intrigerende slogan: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zou kunnen verrassen." Deze gedurfde verklaring is resoneerd met gebruikers, en vandaag hebben Deepseek's vooruitgang bijgedragen aan een van de grootste aandelenkoersdaling voor NVIDIA, wat de impact van zijn technologie benadrukt.
Afbeelding: ensigame.com
Wat het model van DeepSeek onderscheidt, zijn de innovatieve architectuur- en trainingsmethoden. Hier zijn de belangrijkste technologieën die zijn ai van stroom voorzien:
Multi-Token Prediction (MTP): in tegenstelling tot traditionele modellen die één woord tegelijk voorspellen, voorspelt Deepseek's MTP-benadering meerdere woorden tegelijkertijd door verschillende delen van een zin te analyseren. Deze methode verbetert zowel de nauwkeurigheid als de efficiëntie van het model.
Mix van experts (MOE): deze architectuur maakt gebruik van verschillende neurale netwerken om invoergegevens te verwerken. Het versnelt AI -training en verbetert de prestaties. In Deepseek V3 worden 256 neurale netwerken gebruikt, waarbij er acht worden geactiveerd voor elke tokenverwerkingstaak.
Multi-head latente aandacht (MLA): dit mechanisme richt zich op de belangrijkste delen van een zin. MLA haalt herhaaldelijk sleuteldetails uit tekstfragmenten uit, waardoor de kans op het missen van belangrijke informatie wordt verminderd. Dit zorgt ervoor dat de AI cruciale nuances vastlegt in de invoergegevens.
Afbeelding: ensigame.com
Deepseek, een prominente Chinese startup, beweert een competitief AI -model te hebben ontwikkeld met minimale kosten, waarin staat dat ze slechts $ 6 miljoen hebben uitgegeven aan het trainen van het krachtige neurale netwerk Deepseek V3 en slechts 2048 grafische processors gebruikten. Uit analisten uit de semianalysis heeft echter aangetoond dat Deepseek een enorme computationele infrastructuur heeft die ongeveer 50.000 NVIDIA -hopper GPU's omvat, waaronder 10.000 H800 -eenheden, 10.000 meer geavanceerde H100's en extra H20 GPU's. Deze middelen worden verdeeld over verschillende datacenters en worden gebruikt voor AI -training, onderzoek en financiële modellering.
De totale investering van het bedrijf in servers bedraagt ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen. Deepseek is een dochteronderneming van het Chinese hedgefonds High-Flyer, dat de startup afspelde als een afzonderlijke divisie gericht op AI-technologieën in 2023. In tegenstelling tot de meeste startups die rekenkracht huren van cloudproviders, bezit Deepseek zijn eigen datacenters, waardoor het volledige controle over AI-modeloptimalisatie heeft en faster implementatie van innovaties. Het bedrijf blijft zelf gefinancierd, wat een positieve invloed heeft op zijn flexibiliteit en besluitvormingssnelheid.
Afbeelding: ensigame.com
Bovendien verdienen sommige onderzoekers van Deepseek per jaar meer dan $ 1,3 miljoen en trekken ze toptalent aan van toonaangevende Chinese universiteiten (het bedrijf huurt geen buitenlandse specialisten in). Zelfs gezien dit, lijkt de recente claim van Deepseek om zijn nieuwste model te trainen voor slechts $ 6 miljoen onrealistisch. Dit figuur verwijst alleen naar de kosten van GPU-gebruik tijdens pre-training en houdt geen rekening met onderzoekskosten, modelverfijning, gegevensverwerking of algemene infrastructuurkosten.
Sinds de oprichting heeft Deepseek meer dan $ 500 miljoen geïnvesteerd in AI -ontwikkeling. In tegenstelling tot grotere bedrijven die worden belast door bureaucratie, stelt de compacte structuur van Deepseek echter in staat AI -innovaties actief en effectief te implementeren.
Afbeelding: ensigame.com
Het voorbeeld van Deepseek toont aan dat een goed gefinancierd onafhankelijk AI-bedrijf kan concurreren met marktleiders. Desalniettemin benadrukken experts dat het succes van het bedrijf grotendeels te wijten is aan miljarden in investeringen, technische doorbraken en een sterk team, terwijl claims over een "revolutionair budget" voor het ontwikkelen van AI -modellen enigszins overdreven zijn. Toch blijven de kosten van concurrenten aanzienlijk hoger. Vergelijk bijvoorbeeld de kosten van modelopleiding: Deepseek heeft $ 5 miljoen uitgegeven aan R1, terwijl Chatgpt4o $ 100 miljoen kostte.
