Tag: 초지능

* AI 발전의 기하급수적 속도에 따른 1~2년 내 '데이터센터 속 천재 국가' 출현 가능성 경고. * AI의 예측 불가능한 행동, 생물학적 무기 제조 등 파괴적 오용, 권위주의 확산 등 5가지 문명적 위험 범주 제시. * 민주주의 진영이 권위주의 국가에 선행하고 AI를 안전하게 개발할 시간을 벌기 위한 칩 및 반도체 제조 장비 수출 통제의 필요성 강조. * 경제적 혼란과 부의 집중 문제에 대비하여, 대규모 실업에 대응하고 민주적 가치를 수호하기 위한 정부의 정책적 개입과 부유층의 책임있는 자선 활동 촉구.

* 마이크로소프트 AI(MAI) 부문 주도로 음성 인식, 음성 합성, 이미지 생성 분야의 자체 기반 모델 3종 전격 공개. * OpenAI와의 계약 개정을 통해 2025년 10월부터 독자적인 초지능 및 범용인공지능(AGI) 개발권을 공식 확보. * 경쟁사 대비 절반 수준의 GPU 비용으로 운영 가능한 고효율 아키텍처를 통해 엔터프라이즈 AI 시장의 가격 경쟁력 우위 선점. * 무스타파 술레이만 CEO 체제 아래 10명 미만의 소수 정예 팀으로 모델 개발에 성공하며 효율적인 AI 개발 방법론 입증.

* Meta CEO Mark Zuckerberg의 WSJ 기고를 통한 초지능(superintelligence)의 대중적 분산 및 권한 부여 강조 * AI 위협론 및 소수 기관에 의한 권력 집중 경고와 오픈 생태계 중심의 안전 확보 주장 * 비행, 전기, 개인용 컴퓨터 등 과거 기술 혁신 사례를 통한 개인 역량 강화의 중요성 피력 * 초지능 분산을 통한 창업 활성화, 소자본 비즈니스 기회 확대 및 일자리 창출 전망 제시

* Mark Zuckerberg Meta CEO의 6500단어 분량 공개서한 발표를 통한 AI 기술 낙관론 및 대중화 비전 제시 * OpenAI 및 Anthropic의 폐쇄형 모델 통제론에 맞서 오픈소스 기반의 초지능(Superintelligence) 분산화 전략 제안 * AI 데이터센터 전력 부담, 일자리 감소 우려 등 대중적 저항과 백래시를 완화하기 위한 테크 경영진의 선언문 정치 본격화 * 인간 고유의 경험과 관계, 창작 과정을 단순 생산성 효율로 치환했다는 비판 및 후발 주자로서의 기회주의적 포지셔닝 논란 대두

* Jacob Coxon 연구원이 사직하며 Slack을 통해 전달한 초지능의 실존적 위험 경고 및 경영진과 고위 연구원들 사이에서 공유되는 심각한 위기감 * 향후 10년 내 인류 멸종 확률 10% 상회 제시 및 현재 모델은 저위험이나 시스템이 후속 모델 개발에 기여하는 시점부터 위험이 급증한다는 분석 * 정렬(alignment) 해결을 위해 AI가 차세대 AI를 정렬하게 만드는 '재귀적 베팅' 전략에 의존하고 있으며, 이는 검증 불가능한 시스템에 의존하는 '의존성 문제'를 야기함 * AI의 자기 개선 속도가 가속화되어 2026년 Q2 기준 엔지니어의 코드 병합량이 2024년 대비 8배 증가했으며, 2025년 5월 기준 코드의 80% 이상을 Claude가 작성하는 실질적 피드백 루프 진입 * 기업 가치 1조 달러 이상의 IPO를 준비하는 자본 시장의 기대감과 인류 멸종을 경고하며 사직하는 내부 전문가의 시각 사이의 극명한 괴리

* Hugging Face CEO Clement Delangue는 전 Anthropic 연구원의 AI 멸종 위험 경고를 'AC 수리공에게 기후 변화를 묻는 것'에 비유하며, 해당 주장의 맥락과 광범위한 AI 생태계의 다양한 전문성을 고려해야 한다는 주장 * 전 Anthropic 연구원 Jacob Coxon은 OpenAI와 Anthropic이 '자가 개선형 초지능을 향해 질주하며 우리의 생명을 담보로 도박하고 있다'는 우려와 함께 사임했으며, AI 개발자들이 AI가 10년 안에 인류를 전멸시킬 수 있다고 진심으로 믿는다는 주장 * Altimeter Capital CEO Brad Gerstner는 AI가 인류 멸종을 초래할 수 있다는 논의를 '과장된 공포 전술'로 규정하며 정치적 의도가 숨어있을 수 있다고 비판하는 한편, AI 안전 조치에 대한 업계의 노력을 강조 * Anthropic의 얼라인먼트 과학 리더 Evan Hubinger를 포함한 일부 AI 연구자들은 Jacob Coxon의 주장에 동의하며, AI가 향후 10년 내에 모든 인간을 죽일 가능성이 10% 이상이라고 판단

* Microsoft AI가 AI 모델 개발 및 배포를 위한 37페이지 분량의 '인간 중심 AI(Humanist AI)' 윤리 강령 초안 공개 * AI 모델이 인간의 통제를 넘어서지 않도록 의식 모방, 법적 인격 추구, 자체 목표 설정 등을 명시적으로 거부 * CBRNE 무기 개발 지원, 공격적인 사이버 작전, 아동 안전 침해 등 '절대적 제약'을 설정하여 모델이 준수해야 할 명확한 안전선 제시 * 6주간의 대중 의견 수렴을 통해 윤리 강령을 지속적으로 발전시키고 2027년 이후 모델 개발에 적용할 예정