editoy

DeepSeek-V4.1-Flash: 초저비용·고성능 멀티모달 모델의 등장

9/10/2026

토킹 포인트

  • Causal Encoder-Decoder(CED) 및 CSA2 도입을 통한 KV 캐시 효율 극대화 및 운영 비용 절감
  • 코딩 및 사이버 보안 벤치마크에서 GPT-5.6 Sol과 Opus 5를 상회하는 성능 입증
  • 100만 토큰의 컨텍스트 윈도우 지원 및 1에서 100까지 조절 가능한 추론 노력 설정 기능 제공
  • 상하이 IPO를 앞두고 하드웨어 요구 사양을 낮춘 최적화 모델 공개를 통한 시장 경쟁력 강화

시황 포커스

  • GPT-5.6 Sol 및 Opus 5 대비 코딩 및 보안 영역에서 우위를 점하며 비용 효율성을 극대화함
  • HBM 및 SSD 요구 사양을 각각 3.8배, 8배 낮춰 하드웨어 진입 장벽을 낮춘 점이 고무적임
  • 추론 비용과 정확도 사이의 관계를 사용자가 직접 조절(1~100)할 수 있게 하여 운영 유연성을 확보함
  • 상하이 IPO 전 모델 공개를 통해 기술적 리더십을 증명하고 기업 가치를 제고하려는 전략으로 분석됨
  • 에이전트 작업에 특화된 CED 구조와 KV 캐시 압축 기술이 실제 산업 적용 가능성을 높임
  • 45T 토큰의 대규모 멀티모달 코퍼스 학습을 통해 텍스트와 이미지를 동시에 처리하는 능력을 강화함
  • 기존 모델 대비 약 86배 낮은 비용으로 유사하거나 더 높은 성능을 구현하여 시장 파괴력을 가짐

트렌드 키워드

  • Mixture-of-Experts (MoE):

    전체 파라미터 중 일부 전문가 네트워크만 선택적으로 활성화하여 연산 효율을 높이는 모델 구조

    552B 백본 파라미터를 가진 멀티모달 Mixture-of-Experts 모델을 소개함
  • Causal Encoder-Decoder (CED):

    인코더의 최종 은닉 상태에서 디코더의 글로벌 KV 캐시를 투영하여 연산량을 줄이는 아키텍처

    CED를 통해 프리필 시 토큰당 8B, 디코드 시 16B 파라미터만 활성화하여 입력 중심의 에이전트 작업 비용 효율성을 대폭 개선함Causal Encoder-Decoder
  • KV Cache :

    모델이 이전 토큰의 계산 결과를 저장해 재사용함으로써 추론 속도를 높이는 메모리 영역

    글로벌 KV 캐시 footprint를 토큰당 890바이트로 줄여 DeepSeek-V4-Flash의 약 4분의 1 수준으로 낮춤KV Cache
  • FP4 (Floating Point 4):

    4비트 부동 소수점 정밀도를 사용하여 메모리 사용량을 줄이는 양자화 방식

    1 / 2
    FP4 메인 KV 캐싱을 결합하여 글로벌 KV 캐시 footprint를 감소시킴
  • 온폴리시 증류 (on-policy distillation, OPD):

    모델이 생성한 데이터 중 우수한 샘플을 다시 학습에 활용해 성능을 고도화하는 기법

    포스트 트레이닝 레시피는 알고리즘 수정 없이 표준적인 SFT, RL, 온폴리시 증류 패러다임을 따름