O novo chatbot de Deepseek fez ondas na indústria de IA, posicionando -se como um concorrente formidável. A empresa apresentou sua IA com o slogan intrigante: "Olá, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Esta declaração ousada ressoou com os usuários e, hoje, os avanços da Deepseek contribuíram para uma das maiores quedas de preço das ações da NVIDIA, destacando o impacto de sua tecnologia.
Imagem: Ensigame.com
O que diferencia o modelo de Deepseek é seus métodos inovadores de arquitetura e treinamento. Aqui estão as principais tecnologias que alimentam sua IA:
Previsão com vários toques (MTP): Ao contrário dos modelos tradicionais que prevêem uma palavra de cada vez, a abordagem MTP da Deepseek prevê várias palavras simultaneamente analisando diferentes partes de uma frase. Este método aprimora a precisão e a eficiência do modelo.
Mistura de especialistas (MOE): Esta arquitetura emprega várias redes neurais para processar dados de entrada. Acelera o treinamento da IA e melhora o desempenho. Em Deepseek V3, 256 redes neurais são utilizadas, com oito sendo ativados para cada tarefa de processamento de token.
Atenção latente de várias cabeças (MLA): Esse mecanismo se concentra nas partes mais significativas de uma frase. O MLA extrai os principais detalhes dos fragmentos de texto repetidamente, reduzindo a probabilidade de perder informações importantes. Isso garante que a IA capture nuances cruciais nos dados de entrada.
Imagem: Ensigame.com
A Deepseek, uma proeminente startup chinesa, afirma ter desenvolvido um modelo competitivo de IA com custos mínimos, afirmando que gastou apenas US $ 6 milhões no treinamento da poderosa rede neural Deepseek V3 e usou apenas 2048 processadores gráficos. No entanto, analistas da semiânica revelaram que a DeepSeek opera uma vasta infraestrutura computacional, compreendendo aproximadamente 50.000 GPUs NVIDIA Hopper, incluindo 10.000 unidades H800, 10.000 H100s mais avançados e GPUs H20 adicionais. Esses recursos são distribuídos em vários data centers e são utilizados para treinamento, pesquisa e modelagem financeira de IA.
O investimento total da empresa em servidores é de cerca de US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões. A Deepseek é uma subsidiária do fundo de hedge chinês High-Flyer, que saiu da startup como uma divisão separada focada nas tecnologias de IA em 2023. Ao contrário da maioria das startups que alugam o poder de computação de fornecedores de nuvem, a DeepSeek possui seus próprios data centers, oferecendo controle total sobre o otimização do modelo de IA e a implementação mais rápida de inovações. A empresa permanece auto-financiada, o que afeta positivamente sua flexibilidade e velocidade de tomada de decisão.
Imagem: Ensigame.com
Além disso, alguns pesquisadores da Deepseek ganham mais de US $ 1,3 milhão anualmente, atraindo os principais talentos das principais universidades chinesas (a empresa não contrata especialistas estrangeiros). Mesmo considerando isso, a recente reivindicação da Deepseek de treinar seu modelo mais recente por apenas US $ 6 milhões parece irrealista. Este número refere-se apenas ao custo do uso da GPU durante o pré-treinamento e não explica despesas de pesquisa, refinamento de modelos, processamento de dados ou custos gerais de infraestrutura.
Desde a sua criação, a Deepseek investiu mais de US $ 500 milhões em desenvolvimento de IA. No entanto, diferentemente das empresas maiores sobrecarregadas pela burocracia, a estrutura compacta da Deepseek permite que ela implemente ativamente e efetivamente as inovações de IA.
Imagem: Ensigame.com
O exemplo da Deepseek demonstra que uma empresa independente de IA independente pode competir com os líderes do setor. No entanto, os especialistas enfatizam que o sucesso da empresa se deve em grande parte a bilhões de investimentos, avanços técnicos e uma equipe forte, enquanto as reivindicações sobre um "orçamento revolucionário" para o desenvolvimento de modelos de IA são um pouco exageradas. Ainda assim, os custos dos concorrentes permanecem significativamente maiores. Por exemplo, compare o custo do treinamento do modelo: Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4O custou US $ 100 milhões.
