2025년 1월 20일, 중국의 AI 연구 기업 DeepSeek에서 개발한 혁신적인 추론 모델 DeepSeek R1이 공개되었습니다. DeepSeek은 모든 모델을 오픈 소스로 공개한다는 목표를 가지고 있습니다. DeepSeek R1은 OpenAI의 o1과 같은 최첨단 추론 모델과 비교해도 손색없는 성능을 보여주면서도, 훨씬 저렴한 비용으로 개발되었다는 점에서 AI 업계에 큰 파장을 일으키고 있습니다.
1. DeepSeek R1 이란?
DeepSeek R1은 중국 AI 기업 DeepSeek에서 개발한 고급 추론 모델입니다. DeepSeek은 2015년 설립된 중국 양적 헤지 펀드 High-Flyer의 딥러닝 부서인 Fire-Flyer에서 시작된 AI 연구소입니다. High-Flyer는 금융 데이터 분석에 고급 컴퓨팅 기술을 활용하여 명성을 얻었으며, 설립자인 Liang Wenfeng은 획기적인 AI 모델을 만들기 위해 2023년부터 DeepSeek에 집중했습니다. DeepSeek R1은 수학적 계산, 일반 지식, 질의응답 등 다양한 벤치마크에서 OpenAI 및 Meta의 최고 제품과 비교해도 뛰어난 성능을 보여주고 있습니다. 특히, Chatbot Arena라는 성능 플랫폼에서 DeepSeek의 R1과 V3 모델은 모두 상위 10위 안에 들었습니다. DeepSeek R1의 출시는 미국에서 개발된 AI 모델이 주도하는 것처럼 보였던 인공지능 경쟁 구도에 큰 변화를 가져왔습니다.
일부 벤치마크에서 OpenAI 의 o1 벤치마크 점수를 넘어서고 있습니다.
2. DeepSeek R1의 목적 및 기능
DeepSeek R1의 목표는 강화 학습(RL)을 통해 대규모 언어 모델(LLM)을 훈련하고, 혁신적인 distillation (지식증류 : 큰 모델에서 작은 모델로 지식을 이전하는) 기술을 통해 소형 모델에 고급 추론 기능을 부여하여 강력한 AI 도구를 더 많은 사람들이 사용할 수 있도록 하는 것입니다.
DeepSeek R1은 다음과 같은 기능을 수행합니다.
- 논리적 추론: DeepSeek R1은 복잡한 문제를 분석하고 논리적인 결론을 도출할 수 있습니다. 예를 들어, 법률 문서를 분석하여 판례와의 유사성을 판단하거나, 과학 논문을 분석하여 연구 결과의 타당성을 평가할 수 있습니다.
- 수학적 문제 해결: DeepSeek R1은 수학 문제를 풀고 단계별 추론 과정을 제시할 수 있습니다. 예를 들어, 미적분 문제를 풀거나, 통계 분석을 수행할 수 있습니다.
- 실시간 의사 결정: DeepSeek R1은 실시간으로 정보를 분석하고 최적의 결정을 내릴 수 있습니다. 예를 들어, 자율 주행 차량에서 주변 환경을 인식하고 주행 경로를 계획하거나, 금융 시장에서 실시간으로 주식 거래를 수행할 수 있습니다.
- 코드 생성 및 디버깅: DeepSeek R1은 코드를 작성하고 오류를 수정할 수 있습니다. 예를 들어, 사용자의 요구사항에 따라 웹사이트를 제작하거나, 기존 코드의 버그를 찾아 수정할 수 있습니다.
- 창의적인 콘텐츠 생성: DeepSeek R1은 이야기, 시, 기사 등 다양한 콘텐츠를 생성할 수 있습니다. 예를 들어, 사용자의 아이디어를 바탕으로 소설을 쓰거나, 마케팅 캠페인을 위한 광고 문구를 생성할 수 있습니다.
3. DeepSeek R1 개발 배경 및 역사
DeepSeek R1은 OpenAI의 o1 모델과 경쟁하기 위해 개발되었습니다. OpenAI가 o3 모델을 출시할 계획을 발표하면서 추론 모델 경쟁이 심화되는 가운데, DeepSeek은 R1을 통해 오픈 소스 AI 모델의 가능성을 보여주고자 했습니다. DeepSeek은 2023년 설립된 이후 꾸준히 AI 모델을 개발해 왔습니다. DeepSeek R1은 이전 모델인 DeepSeek-V3를 기반으로 하며, 강화 학습과 지도 미세 조정을 결합한 혁신적인 훈련 방법을 통해 개발되었습니다.
DeepSeek R1 개발의 주요 이정표는 다음과 같습니다.
- 2023년: DeepSeek 설립, 고급 추론 기능을 갖춘 LLM 개발 목표 설정
- 강화 학습 도입: 대량의 레이블이 지정된 예제 없이 강화 학습을 통해 모델을 훈련하여 자율적인 문제 해결 능력 개발
- 콜드 스타트 데이터: 초기 단계부터 명확하고 일관된 답변 생성을 위해 콜드 스타트 미세 조정 단계 도입
- 성능 향상: 여러 번의 반복과 개선을 거쳐 기존 벤치마크를 능가하고, 자금이 풍부한 기업 AI 연구소의 모델과 경쟁
- 2024년 12월: DeepSeek-V3 출시, 6710억 개의 매개변수를 가지고 있으며, Llama 3.1 및 Qwen 2.5보다 성능이 뛰어나고 GPT-4o 및 Claude 3.5 Sonnet과 동등한 성능을 보임
- 2025년 1월: DeepSeek R1 출시, MIT 라이선스에 따라 모델 공개, 전 세계적으로 AI 혁신 가속화 및 AI 기술 민주화에 기여
4. DeepSeek R1의 주요 기술적 특징
DeepSeek R1은 다음과 같은 주요 기술적 특징을 가지고 있습니다.
- 강화 학습(RL): DeepSeek R1은 지도 미세 조정(SFT) 없이 순수 강화 학습(RL) 을 통해 훈련된 최초의 오픈 소스 모델입니다. 이는 모델이 자율적으로 복잡한 추론 기술을 학습할 수 있도록 합니다. DeepSeek R1-Zero는 RL만 사용하여 훈련되었으며, 이를 통해 자체 검증 및 CoT 추론과 같은 복잡한 추론 기술을 자율적으로 학습할 수 있습니다.
- 콜드 스타트 데이터: RL 적용 전에 사람이 큐레이션한 CoT 예제가 포함된 고품질 데이터 세트를 사용하여 초기 지도 미세 조정(SFT)을 수행합니다. 이는 출력의 명확성을 향상시키고 RL 중 모델의 수렴을 가속화합니다.
- 다단계 RL: 가독성을 미세 조정하고 언어 혼합과 같은 문제를 완화하기 위해 큐레이션된 "콜드 스타트" 데이터 세트와 다단계 RL을 사용합니다.
- GRPO: 모델이 여러 응답을 생성하고 정확성과 형식을 평가하여 최상의 결과를 강화할 수 있도록 하는 새로운 알고리즘입니다. GRPO는 별도의 평론가 모델 없이 정책 업데이트를 직접 최적화하는 비용 효율적인 RL 알고리즘입니다. GRPO는 모델이 다양한 추론 경로를 탐색하도록 장려하여 반성 및 자체 검증과 같은 행동을 자율적으로 개발할 수 있도록 합니다.
- "아하 모먼트" 및 "거부 샘플링": DeepSeek R1은 "아하 모먼트" 및 "거부 샘플링"과 같은 기술을 사용하여 훈련되었습니다. "아하 모먼트"는 모델이 문제 해결 과정에서 갑자기 깨달음을 얻는 순간을 포착하여 학습을 가속화하는 기술입니다. "거부 샘플링"은 모델이 생성한 답변 중 잘못된 답변을 걸러내어 학습 데이터의 품질을 향상시키는 기술입니다.
- MoE 아키텍처: 6,710억 개의 매개변수를 활용하지만 순방향 패스당 370억 개만 활성화되는 Mixture-of-Experts (MoE) 아키텍처를 기반으로 구축되어 계산 효율성이 높고 확장성이 뛰어납니다.
- 컨텍스트 윈도우: DeepSeek R1은 경쟁 모델과 비교하여 긴 컨텍스트를 포함한 다양한 컨텍스트 길이를 지원합니다. 이 기능을 통해 모델은 복잡한 작업을 효율적으로 처리할 수 있습니다.
- distillation: 대규모 모델의 추론 패턴을 소규모 모델로 distill하여 성능을 향상시키고 계산 요구 사항을 줄입니다. DeepSeek은 Qwen과 Llama 아키텍처를 사용하여 R1에서 다양한 distill 모델을 만들었습니다.
작년 OpenAI 의 정형원 박사는 "모델을 직접 가르치기보다 인센티브를 주고 스스로 학습하도록 유도해야 합니다." 라는 주제로 MIT 강의를 공개한 적이 있었는데, OpenAI 의 o1 시리즈나 DeepSeek R1 이 이 방식으로 학습이 이루어졌다라고 보여집니다.
5. DeepSeek 활용 사례
DeepSeek R1의 성공적인 적용 사례는 다음과 같습니다.
- 스마트폰에서 실행: DeepSeek R1 1.5B 버전은 스마트폰에서 원활하게 실행됩니다. 이는 AI 기술의 접근성을 높이고, 모바일 환경에서 AI 애플리케이션을 개발할 수 있는 가능성을 제시합니다. (출처)
아래 영상은 DeepSeek R1을 Qwen 1.5B로 정제하면 MLX swift가 설치된 내 iPhone 16에서 쉽게 실행되는 모습입니다. 4비트 모델로 약 60 tokens/초의 속도로 출력 됩니다.
- 회전하는 사각형: OpenAI o1 Pro와 DeepSeek R1을 비교한 결과, DeepSeek R1은 회전하는 사각형 안에 노란색 공을 구현하는 데 더 뛰어난 성능을 보였습니다. 이는 DeepSeek R1이 복잡한 그래픽 작업을 처리하는 데 뛰어난 능력을 가지고 있음을 보여줍니다. (출처)
프롬프트: "사각형 안에서 튀는 노란색 공에 대한 파이썬 스크립트를 작성하고 충돌 감지를 적절히 처리해야 합니다. 사각형을 천천히 회전시킵니다. 파이썬으로 구현합니다. 공이 사각형 안에 있도록 합니다."
- 브라우저에서 로컬 실행: DeepSeek R1 1.5B 버전을 웹 브라우저에서 로컬로 실행하는 데 성공했습니다. 이는 DeepSeek R1이 웹 애플리케이션 개발에 활용될 수 있음을 보여줍니다.
WebGPU 를 이용하여 DeepSeek R1 1.5B 수행 시 60 tokens/sec 로 출력
- Perplexity 클론 구축: DeepSeek AI 모델을 사용하여 단 한 시간 만에 Perplexity AI의 클론을 만들었습니다. 이는 DeepSeek R1이 대화형 검색 엔진 개발에 활용될 수 있음을 보여줍니다. (출처)
- PDF 파일과 채팅: DeepSeek R1 모델을 사용하여 컴퓨터에서 로컬로 실행할 수 있는 RAG 앱을 구축하여 PDF 파일과 채팅할 수 있습니다. 이는 DeepSeek R1이 문서 분석 및 정보 검색에 활용될 수 있음을 보여줍니다.
- AGI at Home: 7개의 M4 Pro Mac mini와 1개의 M4 Max MacBook Pro에서 DeepSeek R1을 실행하는 데 성공했습니다. 이는 DeepSeek R1이 일반적인 컴퓨팅 환경에서도 실행될 수 있음을 보여줍니다.
6. DeepSeek R1의 현재 발전 상황 및 미래 전망
DeepSeek R1은 현재 활발하게 개발 중이며, 앞으로 더욱 발전할 것으로 예상됩니다. DeepSeek은 모델의 일반적인 기능을 향상시키고, 확인된 제한 사항을 해결하며, 더 복잡한 작업과 다양한 사용 사례에 적용할 수 있도록 노력하고 있습니다.
DeepSeek R1의 미래 발전 계획은 다음과 같습니다.
- 일반 기능 향상: 컨텍스트 유지 및 논리적 일관성을 개선하여 복잡한 멀티턴 대화를 처리하는 모델을 개발합니다. API 통합 및 소프트웨어 엔지니어링 애플리케이션을 지원하기 위해 강력한 구조화된 출력 기능을 갖춘 모델을 개발합니다. 스토리텔링, 즉흥 연주 및 특수 페르소나 역할 수행과 같은 시나리오를 위해 모델의 창의성과 유연성을 확장합니다.
- 언어 혼합 문제 해결: 다국어 입력을 처리할 때 발생하는 언어 혼합 문제를 해결하기 위해 대상 언어 훈련 데이터를 통합하고 언어별 정렬 기술을 도입합니다. 다양한 언어 쿼리에서 모델이 언어 충실도를 유지하도록 합니다.
- 프롬프트 민감도 개선: 다양한 입력 형식에서 일관된 성능을 보장하기 위해 강력한 프롬프트 엔지니어링 기술을 개발합니다. 일반화를 개선하기 위해 다양한 프롬프트 스타일로 모델을 훈련합니다.
- 소프트웨어 엔지니어링 확장: 소프트웨어 엔지니어링 작업에서 긴 평가 시간은 RL 훈련의 효율성을 저해합니다. 도메인별 데이터의 가용성이 제한되어 있습니다. RL 중 비동기 평가를 구현하여 훈련 효율성을 개선합니다. 소프트웨어 엔지니어링을 위한 거부 샘플링 및 특수 데이터 세트를 사용하여 모델 개선을 가속화합니다.
- distillation 기술 확장: 소형 모델을 더욱 향상시키기 위해 distillation 파이프라인에 강화 학습을 통합합니다. 에지 장치 또는 모바일 애플리케이션과 같은 리소스 제약 환경에 맞게 distillation 기술을 최적화합니다.
- 정렬 연구 확장: 인간의 선호도와의 정렬은 여전히 핵심 초점입니다. 미묘한 인간 피드백을 더 잘 포착하도록 보상 모델을 개선합니다. 응답에서 잠재적 위험, 편견 또는 유해한 콘텐츠를 완화하기 위해 광범위한 안전 테스트를 수행합니다.
- AI 비서: DeepSeek R1은 AI 비서에서 추론 도구로 사용될 수 있습니다. 이는 기존 AI 비서의 기능을 향상시키고, 보다 복잡한 작업을 처리할 수 있도록 합니다.
- 잠재적 편견 및 투명성: DeepSeek R1의 훈련 데이터에 대한 잠재적 편견과 투명성에 대한 우려가 있습니다. DeepSeek은 이러한 우려를 해결하고 모델의 윤리적 사용을 보장하기 위해 노력해야 합니다.
DeepSeek R1은 AI 기술의 민주화를 이끌고 있으며, AI 혁신을 가속화할 잠재력이 있습니다. DeepSeek R1의 오픈 소스 특성은 전 세계 개발자들이 모델을 개선하고 혁신하는 데 기여할 수 있도록 하여 AI 기술 발전에 큰 영향을 미칠 것으로 예상됩니다. 또한, DeepSeek R1은 AI 기술의 접근성을 높여 더 많은 사람들이 AI의 혜택을 누릴 수 있도록 할 것입니다. DeepSeek R1은 지속적인 개선과 혁신을 통해 AI 기술의 미래를 형성하는 데 중요한 역할을 할 것으로 기대됩니다.
7. DeepSeek R1과 경쟁 제품 또는 기술 비교 분석
DeepSeek R1은 OpenAI의 o1, Anthropic의 Claude, Google의 Gemini 등과 경쟁하는 모델입니다. DeepSeek R1은 이러한 경쟁 모델과 비교하여 다음과 같은 차별점을 가지고 있습니다.
DeepSeek R1은 오픈 소스라는 점과 비용 효율성이 뛰어나다는 점에서 다른 경쟁 모델과 차별화됩니다. DeepSeek R1은 강화 학습과 MoE 아키텍처를 통해 높은 성능을 달성하면서도 비용을 절감했습니다. 또한, distillation을 통해 소형 모델을 제공하여 다양한 환경에서 사용할 수 있도록 했습니다. OpenAI의 o1은 높은 정확도와 다양한 작업 지원 능력이 뛰어나지만, 비용이 비싸고 오픈 소스가 아니라는 단점이 있습니다. Anthropic의 Claude는 안전성과 윤리에 중점을 두고 유해한 출력을 줄이는 데 힘쓰지만, DeepSeek R1만큼 성능이 뛰어나지는 않습니다. Google의 Gemini는 멀티모달 기능을 통해 이미지, 비디오, 오디오를 처리할 수 있지만, 아직 개발 초기 단계이며 DeepSeek R1보다 비용이 비쌉니다.
DeepSeek R1은 오픈 소스 AI 모델의 새로운 지평을 연 혁신적인 추론 모델입니다. DeepSeek R1은 뛰어난 추론 능력, 높은 정확도, 비용 효율성, 오픈 소스, 투명성, 확장성 등 다양한 장점을 제공합니다. DeepSeek R1은 교육, 소프트웨어 개발, 연구, 의료, 금융, 고객 지원 등 다양한 분야에서 활용될 수 있으며, AI 기술의 민주화를 이끌고 AI 혁신을 가속화할 잠재력이 있습니다. DeepSeek R1의 등장은 Microsoft, Nvidia, Broadcom과 같은 기술 기업의 주가 하락을 야기하며 시장에 큰 영향을 미쳤습니다.
하지만 DeepSeek R1은 아직 개선의 여지가 있습니다. 때때로 지침을 따르는 데 어려움을 겪거나 프롬프트 변형에 민감하게 반응하는 등의 제한 사항이 있습니다. 또한, 오픈 소스 모델의 잠재적인 오용 가능성과 훈련 데이터의 편향 가능성에 대한 우려도 제기되고 있습니다. DeepSeek R1의 개발자인 Liang Wenfeng은 중국 공산당과 긴밀한 관계를 맺고 있으며, 이는 AI 시스템이 중국 정부의 영향력 하에 사용될 수 있다는 우려를 불러일으키기도 합니다.
DeepSeek R1은 AI 기술 발전에 큰 영향을 미칠 것으로 예상되지만, 동시에 AI 경쟁 심화와 잠재적인 오용 가능성 등 윤리적 및 지정학적 문제도 제기하고 있습니다. 앞으로 DeepSeek R1이 어떻게 발전하고 활용될지, 그리고 그 과정에서 어떤 문제들이 발생할지 지켜보는 것이 중요합니다.
