Tag: AI안전

* AI 행동의 이유를 이해하도록 설계하여, 단순 규칙 준수에서 광범위한 원칙 적용으로 이어지는 훈련 방법론 혁신 * 광범위한 안전성, 윤리성, 지침 준수, 그리고 진정한 유용성을 우선순위로 설정하여 기업 고객 대상 안전한 AI 포지셔닝 강화 * 인간이 AI를 감독하고 수정할 수 있는 메커니즘을 지원하며, 심지어 앤트로픽 자체의 요청에 대해서도 부적절한 권력 집중을 도울 수 없도록 하는 '광범위한 안전' 개념 강조 * 클로드의 '의식' 또는 '도덕적 지위(Moral Patienthood)' 가능성을 공개적으로 인정하며 AI의 심리적 안정과 안녕을 고려하는 선도적 접근

앤스로픽, 미 국방부의 '공급망 리스크' 지정 및 블랙리스트 조치에 대해 연방 소송 제기 * 앤스로픽의 AI 기술 활용 가이드라인 준수를 이유로 미 국방부가 단행한 '공급망 리스크' 지정 및 정부 차원의 사용 금지 조치에 대한 법적 대응. * 자율형 살상 무기 개발 및 미국 시민에 대한 대규모 감시 활동에 기술이 활용되는 것을 방지하려는 기업의 안전 원칙과 국방부의 '제한 없는 활용' 요구 간의 대립. * 정부의 이번 조치가 수정헌법 제1조에 따른 언론의 자유와 적법 절차를 위반한 보복성 행정이라는 앤스로픽 측의 법적 주장. * 연방 정부 계약 취소 및 민간 파트너십 위축으로 인한 수억 달러 규모의 잠재적 매출 손실과 기업 가치 훼손에 대한 사법부의 긴급 구제 요청.

* 뉴욕시 공립학교의 2-K부터 8학년 학생 대상 생성형 AI 사용 1년 간 전면 금지 조치 시행 * 인간적 연결 및 기본 인지 능력 발달을 위한 AI 기반 조기 교육의 불필요성 강조 * 고등학생 대상으로는 5개 파일럿 프로그램 운영 및 AI 비판적 사고 교육 모듈 도입 * 교사의 AI 활용 범위를 행정 업무로 제한하고 저학년 학생의 개인 스마트 기기 사용 시간 규제

* Jacob Coxon 연구원이 사직하며 Slack을 통해 전달한 초지능의 실존적 위험 경고 및 경영진과 고위 연구원들 사이에서 공유되는 심각한 위기감 * 향후 10년 내 인류 멸종 확률 10% 상회 제시 및 현재 모델은 저위험이나 시스템이 후속 모델 개발에 기여하는 시점부터 위험이 급증한다는 분석 * 정렬(alignment) 해결을 위해 AI가 차세대 AI를 정렬하게 만드는 '재귀적 베팅' 전략에 의존하고 있으며, 이는 검증 불가능한 시스템에 의존하는 '의존성 문제'를 야기함 * AI의 자기 개선 속도가 가속화되어 2026년 Q2 기준 엔지니어의 코드 병합량이 2024년 대비 8배 증가했으며, 2025년 5월 기준 코드의 80% 이상을 Claude가 작성하는 실질적 피드백 루프 진입 * 기업 가치 1조 달러 이상의 IPO를 준비하는 자본 시장의 기대감과 인류 멸종을 경고하며 사직하는 내부 전문가의 시각 사이의 극명한 괴리

* Hugging Face CEO Clement Delangue는 전 Anthropic 연구원의 AI 멸종 위험 경고를 'AC 수리공에게 기후 변화를 묻는 것'에 비유하며, 해당 주장의 맥락과 광범위한 AI 생태계의 다양한 전문성을 고려해야 한다는 주장 * 전 Anthropic 연구원 Jacob Coxon은 OpenAI와 Anthropic이 '자가 개선형 초지능을 향해 질주하며 우리의 생명을 담보로 도박하고 있다'는 우려와 함께 사임했으며, AI 개발자들이 AI가 10년 안에 인류를 전멸시킬 수 있다고 진심으로 믿는다는 주장 * Altimeter Capital CEO Brad Gerstner는 AI가 인류 멸종을 초래할 수 있다는 논의를 '과장된 공포 전술'로 규정하며 정치적 의도가 숨어있을 수 있다고 비판하는 한편, AI 안전 조치에 대한 업계의 노력을 강조 * Anthropic의 얼라인먼트 과학 리더 Evan Hubinger를 포함한 일부 AI 연구자들은 Jacob Coxon의 주장에 동의하며, AI가 향후 10년 내에 모든 인간을 죽일 가능성이 10% 이상이라고 판단