전 세계 각계각층 인사, 초지능 AI 개발 중단 촉구

트렌드 키워드

• 초지능 (Superintelligence):

  인류의 모든 인지적 과업에서 인간보다 훨씬 뛰어난 성능을 발휘할 수 있는 가상의 인공지능 시스템을 의미. 현재의 챗봇이나 자동화 도구를 넘어, 자율적으로 전략적 결정을 내리고 스스로 코드를 재작성하며 인간의 감독 범위를 벗어나 작동할 수 있는 수준의 AI를 지칭

  “초지능은 모든 인지적 과업에서 모든 인간을 실질적으로 능가하는 AI 시스템으로 정의되었습니다.”
• 인공 일반 지능 (Artificial General Intelligence, AGI):

  <

  인간이 수행할 수 있는 모든 지적 과제를 성공적으로 수행할 수 있는 가상의 지능을 의미하며, 현재 특정 작업에만 특화된 인공지능(Narrow AI)의 단계를 넘어선 개념. AGI는 학습, 문제 해결, 계획 등 범용적인 인지 능력을 발휘할 수 있는 능력을 지칭하며, 구글은 프로젝트 지니와 같은 혁신적인 기술을 AGI 실현을 향한 더 큰 임무의 일부로 간주하고 기술 개발 방향을 설정

  >

  1 / 3

  “일부 AI 연구자들은 AI 시스템이 인간이 할 수 있는 것과 같은 지적 작업을 수행하는 능력인 인공 일반 지능을 곧 입증할 만큼 빠르게 발전하고 있다고 믿습니다.”
• 실존적 위험 (Existential Risk):

  인류 문명의 장기적 잠재력을 영구적으로 파괴하거나 심각하게 제한할 수 있는 위험. 인공지능 분야에서는 통제 불가능한 초지능 AI가 인류의 가치와 목표에 부합하지 않는 방식으로 발전하여 인류 전체의 생존을 위협할 수 있다는 우려를 포함하며, 핵무기, 생명공학 등 대규모 위험과 함께 논의되는 개념

  “인류의 경제적 구식화, 자유와 통제력 상실, 국가 안보 위험, 심지어 잠재적 인류 멸종에 이르는 우려가 제기되었습니다.실존적 위험”
• 정렬 문제 (Alignment Problem):

  <

  인공지능 시스템, 특히 초지능이 인간이 의도하거나 추구하는 가치, 윤리, 목표와 일치하도록(정렬되도록) 보장하는 어려운 기술적, 철학적 과제. AI의 능력이 인간을 능가하게 되었을 때, AI가 인류에게 해를 끼치지 않고 긍정적인 영향을 미치도록 통제하고 방향을 설정하는 것이 핵심이며, 앤트로픽의 헌법 AI 접근 방식은 이러한 정렬 문제를 해결하기 위한 구체적인 방법론 중 하나

  >

  1 / 2

  “이러한 우려는 AI 연구자들이 정렬 문제라고 부르는 것에 집중됩니다. 즉, 인간보다 똑똑한 시스템이 인간의 가치와 양립할 수 있는 목표를 추구하도록 보장하는 것입니다.”
• 퓨처 오브 라이프 인스티튜트 (Future of Life Institute, FLI):

  핵무기, 생명공학, 인공지능 등 대규모 위험에 대해 연구하고 인류에게 이로운 방향으로 변혁적 기술 개발을 유도하는 것을 목표로 2014년에 설립된 비영리 연구 기관. 일론 머스크(Elon Musk) 등이 초기 후원자로 참여했으며, AI 안전 및 규제와 관련된 공개 서한 캠페인 등을 주도하며 대중의 인식을 높이고 정책적 논의를 촉진하는 역할을 수행하는 단체

  “이 성명서는 대규모 위험에 대해 연구하는 비영리 단체인 퓨처 오브 라이프 인스티튜트의 산물입니다.”