안드레이 카르파티가 제시하는 AI 에이전트 시대 전망과 주요 과제
10/18/2025
토킹 포인트
- AI 에이전트의 완전한 구현까지 10년 이상의 시간이 소요될 것이라는 안드레이 카르파티의 전망.
- 현재 대규모 언어 모델(LLM)의 강화 학습(RL) 한계와 '모델 붕괴' 현상으로 인한 데이터 다양성 부족 문제.
- AI 발전의 본질이 '9의 행진'과 같은 반복적인 개선 과정이며, 시연에서 상용 제품까지의 간극이 크다는 점.
- 미래 인류의 역량 강화를 위한 '유레카(Eureka)' 프로젝트를 통한 맞춤형 교육 시스템 구축 비전.
시황 포커스
- AI 에이전트 기술에 대한 신중론 확산: 현행 AI 에이전트는 과대평가되었으며, 실제 성능은 기대에 미치지 못한다는 견해 표출됨.
- 인공일반지능(AGI) 도달까지 장기간 소요 전망: AGI가 아직 약 10년 가량 남았으며, 스케일링 한계와 '마지막 단계(last mile)' 문제의 미해결이 주요 원인으로 지적됨.
- 거대언어모델(LLM)의 근본적 한계 노출: LLM이 추론, 계획, 인지 아키텍처에서 결함을 가지며, 인간과 같은 학습 방식 구현에 어려움이 있음을 강조함.
- 강화 학습(RL)의 비효율성 지적: 복잡한 작업에 있어 강화 학습이 매우 비효율적이며 '끔찍한' 방식이라는 평가가 제시됨.
- AI 발전의 연속성 관점 제시: AI를 산업혁명 이래 250년간 지속된 자동화의 연속선상으로 이해하며, 독립적인 신기술이 아닌 진화의 한 부분임을 시사함.
- 성숙 단계 AI 개발의 난이도 강조: '0.9%의 개선에도 동일한 작업량이 필요하다'는 비유를 통해, 미세한 성능 향상에 막대한 자원과 노력이 필요함을 언급함.
- 급격한 '지능 폭발' 가능성 회의론: AI 연구의 자동화를 통한 급격한 지능 폭발 가능성에 대해 회의적인 시각이 존재함.
- 시장 내 현실적인 관점의 공감대 형성: AI 분야 저명 인사의 현실적이고 균형 잡힌 시각에 대해, 업계 및 커뮤니티 전반에서 깊은 공감과 지지를 표출함.
트렌드 키워드
- AI 에이전트 (AI Agent):
사용자의 목표를 이해하고 자율적으로 작업을 수행하는 인공지능 소프트웨어
1 / 5“매우 인상적인 초기 단계의 에이전트들을 매일 사용하고 있지만, 아직 할 일이 너무 많다고 생각합니다. 저는 이 에이전트들과 10년 동안 함께 일하게 될 것이라고 생각합니다.AI 에이전트” - 모델 붕괴 (Model Collapse):
인공지능 모델, 특히 생성형 AI가 학습 데이터의 다양성과 풍부함을 잃어버리고, 제한된 범위의 출력만을 반복적으로 생성하게 되는 현상. 이는 모델이 자체 생성 데이터를 학습하거나 편향된 데이터에 노출될 때 발생할 수 있으며, 새로운 아이디어나 다양한 해결책을 제시하는 능력을 저하시키는 문제점. 결과적으로 모델의 출력이 예측 가능하고 단조로워져, 창의적이고 다양한 결과물을 기대하기 어려워지는 현상
“모델에서 얻는 모든 샘플은 '소리 없이 붕괴'됩니다. 콘텐츠에 대한 사고의 가능한 공간 중 아주 작은 부분만을 차지하고 있다는 것이 겉으로 보기에는 명확하지 않지만 말입니다.모델 붕괴” - 9의 행진 (March of Nines):
제품이나 기술의 성능, 특히 안정성이나 정확성을 나타내는 지표(예: 90%, 99%, 99.9% 등)를 한 단계씩 높여나가는 과정. 각 '9'를 추가하는 데에는 이전 단계만큼의 상당한 시간과 노력이 필요하며, 높은 수준의 신뢰도를 달성하는 것이 매우 어렵고 시간이 오래 걸린다는 의미. 이는 특히 자율주행과 같이 안전이 중요한 분야에서 시연 단계의 쉬운 '첫 9'에서 실제 제품 단계의 고도화된 '여러 9'로 나아가는 데 막대한 시간과 자원이 소요됨을 강조
“시간이 오래 걸리는 이유는 '9의 행진'과 같기 때문입니다. 각 '9'는 일정한 양의 작업입니다. 시연 단계에서 90% 작동하는 것은 첫 번째 '9'일 뿐입니다. 그 다음 두 번째, 세 번째, 네 번째, 다섯 번째 '9'가 필요합니다.” - 인지 핵심 (Cognitive Core):
대규모 언어 모델(LLM)에서 방대한 지식이나 기억 기능을 제외하고 순수한 추론, 문제 해결, 학습 알고리즘 등 지능의 본질적인 요소만을 남긴 부분. 안드레이 카르파티는 모델이 불필요한 지식에 의존하기보다, 이 '인지 핵심'을 통해 필요한 정보를 찾아보고 사고를 위한 알고리즘과 행동의 인지적 연결 고리만을 유지하는 방향으로 발전해야 한다고 제안
“인지 핵심을 이야기할 때 기억을 제거하고 싶습니다. 모델이 기억을 덜 가지고 외부 정보를 찾아보도록 하며, 오직 사고를 위한 알고리즘과 실험 아이디어, 행동의 인지적 연결 고리만을 유지하게 하는 것.” - 강화 학습 (Reinforcement Learning, RL):
에이전트가 특정 환경에서 시행착오를 겪으며 최적의 행동 정책을 학습하는 기계 학습 방식. 행동에 대한 보상(reward)을 최대화하는 방향으로 학습이 진행. 안드레이 카르파티는 현재 강화 학습 방식이 결과적인 보상 신호에만 의존하여 전체 행동 궤적을 평가하는 방식("빨대를 통해 감독을 빨아들이는 것")이 비효율적이며, 인간의 학습 방식과는 다르다고 비판