DeepSeek의 새로운 챗봇은 AI 업계에서 파도를 만들어 강력한 경쟁자로 자리 매김했습니다. 이 회사는 흥미로운 태그 라인으로 AI를 소개했습니다. "안녕하세요, 나는 당신이 무엇이든 물어보고 당신을 놀라게 할 수있는 답을 얻을 수 있도록 만들어졌습니다." 이 대담한 진술은 사용자들과 공명했으며 오늘날 DeepSeek의 발전은 Nvidia의 가장 큰 주가 하락 중 하나에 기여하여 기술의 영향을 강조했습니다.
이미지 : ensigame.com
DeepSeek의 모델을 차별화하는 것은 혁신적인 아키텍처 및 교육 방법입니다. 다음은 AI에 전원을 공급하는 주요 기술입니다.
MTP (Multi-Token Prediction) : 한 번에 한 단어를 예측하는 전통적인 모델과 달리 DeepSeek의 MTP 접근 방식은 문장의 다른 부분을 분석하여 여러 단어를 동시에 예측합니다. 이 방법은 모델의 정확도와 효율성을 모두 향상시킵니다.
전문가 (MOE)의 혼합 : 이 아키텍처는 입력 데이터를 처리하기 위해 다양한 신경망을 사용합니다. AI 교육을 가속화하고 성능을 향상시킵니다. DeepSeek V3에서는 256 개의 신경망이 사용되며 각 토큰 처리 작업마다 8 개가 활성화됩니다.
다중 헤드 잠재주의 (MLA) : 이 메커니즘은 문장의 가장 중요한 부분에 중점을 둡니다. MLA는 텍스트 조각에서 주요 세부 사항을 반복적으로 추출하여 중요한 정보가 누락 될 가능성을 줄입니다. 이를 통해 AI는 입력 데이터에서 중요한 뉘앙스를 캡처합니다.
이미지 : ensigame.com
저명한 중국 스타트 업인 Deepseek은 최소한의 비용으로 경쟁력있는 AI 모델을 개발했다고 주장하며, 강력한 신경망 DeepSeek V3를 훈련시키는 데 6 백만 달러를 소비했으며 2048 개의 그래픽 프로세서를 사용했다고 말합니다. 그러나 Semianalysis의 분석가들은 DeepSeek이 10,000 H800 단위, 10,000 개의 고급 H100 및 추가 H20 GPU를 포함하여 약 50,000 NVIDIA HOPPER GPU를 포함하는 광범위한 계산 인프라를 운영하고 있음을 밝혀 냈습니다. 이러한 리소스는 여러 데이터 센터에 배포되며 AI 교육, 연구 및 재무 모델링에 사용됩니다.
이 회사의 서버에 대한 총 투자는 약 16 억 달러에 달하며 운영비는 9 억 9,400 만 달러로 추정됩니다. DeepSeek은 중국 헤지 펀드 하이 플라이어의 자회사로, 2023 년 AI 기술에 중점을 둔 별도의 부문으로 스타트 업을 시작했습니다. 클라우드 제공 업체의 컴퓨팅 전력을 임대하는 대부분의 스타트 업과 달리 자체 데이터 센터를 소유하고있어 AI 모델 최적화를 완전히 제어하고 더 빠른 혁신 구현을 가능하게합니다. 회사는 자체 자금을 유지하고 있으며 유연성과 의사 결정 속도에 긍정적 인 영향을 미칩니다.
이미지 : ensigame.com
또한 Deepseek의 일부 연구원들은 매년 130 만 달러 이상을 벌어 중국 대학에서 최고의 인재를 유치합니다 (회사는 외국 전문가를 고용하지 않습니다). 이를 고려해도 DeepSeek의 최근 최신 모델을 6 백만 달러에 훈련 한 주장은 비현실적으로 보입니다. 이 수치는 사전 훈련 중 GPU 사용 비용만을 의미하며 연구 비용, 모델 개선, 데이터 처리 또는 전체 인프라 비용을 설명하지 않습니다.
DeepSeek은 처음부터 AI 개발에 5 억 달러 이상을 투자했습니다. 그러나 관료주의에 의해 부담이되는 대기업과 달리 DeepSeek의 소형 구조는 AI 혁신을 적극적으로 효과적으로 구현할 수있게합니다.
이미지 : ensigame.com
DeepSeek의 예는 잘 자금을 지원하는 독립 AI 회사가 업계 리더와 경쟁 할 수 있음을 보여줍니다. 그럼에도 불구하고 전문가들은 회사의 성공이 수십억의 투자, 기술 혁신 및 강력한 팀으로 인한 반면, AI 모델 개발을위한 "혁명 예산"에 대한 주장은 다소 과장되어 있다고 강조합니다. 그럼에도 불구하고 경쟁 업체의 비용은 상당히 높아집니다. 예를 들어, 모델 교육 비용 비교 : DeepSeek은 R1에 5 백만 달러를 소비 한 반면 ChatGpt4o는 1 억 달러가 들었습니다.
