30달러로 딥시크 기술 재현 – 저비용 AI 개발의 가능성

연구 개요

UC 버클리 연구진이 30달러(약 4만3750원)로 딥시크(DeepSeek)의 핵심 기술을 재현하는 실험을 진행했다고 발표했다. 이번 연구는 첨단 AI 모델을 낮은 비용으로 구현할 수 있는 가능성을 보여준 중요한 사례로 평가된다.

딥시크-R1-제로 모델 개발

모델 개요

• 연구진은 '딥시크-R1-제로(DeepSeek-R1-Zero)'라는 30억 개의 매개변수를 가진 모델을 개발하여 깃허브에 공개했다.
• 이 모델은 최근 주목받은 R1 모델의 기반이 되는 버전으로, 지도 미세조정(SFT)을 생략하는 방식으로 훈련 과정을 단순화했다.

성능 평가

• AIME 2024 수학 추론 벤치마크에서 'o1'과 비슷한 성능을 기록했다.
• 저비용으로도 AI 모델을 효과적으로 개발할 수 있는 가능성을 제시했다.

카운트다운 게임과 강화학습

강화학습 방법

• 연구진은 '카운트다운(Countdown)' 게임을 활용해 모델을 학습시켰다.
• 이 게임은 참가자들이 주어진 6개의 숫자를 이용해 목표 숫자에 가까운 값을 만드는 방식으로 진행된다.

모델 학습 과정

1. 초기에 모델은 무작위 답을 제출했지만, 학습을 거듭하며 정답을 검증하고 수정하는 능력을 발전시켰다.
2. 반복 학습을 통해 점진적으로 해결 전략을 최적화했다.
3. 강화학습을 통해 모델이 자기 평가 능력을 향상시키며 학습 효과를 극대화했다.

매개변수 실험과 성능 향상

매개변수 실험

• 연구진은 다양한 크기의 매개변수를 실험하여 최적의 성능을 확인했다.
• 초기 모델: 5억 개 매개변수를 가진 Qwen-2.5B 모델을 사용했으나, 정답을 단순히 추측하는 수준에 그쳤다.
• 매개변수 확장: 15억 개 이상으로 확장하자, 문제 해결 전략을 스스로 학습하기 시작했다.
• 최적 모델: 30억~70억 개 매개변수를 적용하자, 더 적은 단계로 정답을 도출하는 성능을 보였다.

비용 대비 성능 분석

비용 효율성

• 연구진은 실험을 단 30달러로 수행했다고 주장했다.
• 이는 저비용으로도 AI 모델을 개발할 수 있는 가능성을 보여주는 중요한 사례다.

성능 한계

• 그러나 이 모델이 실제 R1과 비슷한 성능을 갖췄다고 보기는 어렵다.
• 현재로서는 카운트다운 게임과 같은 특정 작업에서만 유의미한 성능을 보이며, 일반적인 추론 작업에는 확장성이 부족하다.
• 보다 복잡한 AI 문제 해결을 위해서는 추가적인 미세 조정과 데이터 활용이 필요할 것으로 보인다.

딥시크 개발 비용 논란

비용 주장

• 딥시크 V3의 개발 비용이 557만 달러(약 82억 원)이라는 주장에 대해 여러 전문가들은 과장되었다고 지적했다.

전문가 분석

• 세미애널리시스: 최소 5억 달러가 소요되었을 것으로 분석했다.
• 머신러닝 전문가 네이선 램버트: 비용이 5억~10억 달러에 이를 것으로 추정했다.

저비용 모델 훈련 기술의 발전

노바스카이(NovaSky)의 연구

• UC 버클리 연구실인 노바스카이는 450달러(약 66만 원)로 고급 추론 기능을 갖춘 오픈소스 모델을 개발했다.
• 이는 기존 모델로 합성 데이터를 생성하고 이를 미세조정하는 방식으로 구현되었다.

미래 전망

• AI 모델 개발에서 저비용 훈련 기술이 점점 중요해지고 있으며, 최소한의 컴퓨팅 자원으로 강력한 AI 시스템을 구축하려는 시도가 이어지고 있다.
• 향후 연구에서는 강화학습 기반의 대규모 모델 학습을 통해 다양한 AI 응용 분야에서 활용될 가능성이 높아질 것으로 예상된다.