프롬프트 인젝션 (Prompt Injection)

"컴퓨터 사용은 독특한 보안 및 운영 위험을 수반하며, 사용자를 대신해 행동하는 모델이 화면에서 신뢰할 수 없는 콘텐츠를 접하거나 작업 실행 과정에서 실수를 저지를 수 있습니다."

"보안 연구원들은 프롬프트 인젝션이나 악의적인 도구 호출을 통해 AI 에이전트를 조작하는 수많은 방법을 시연함."

"기업이 AI 에이전트의 관심을 끌기 위해 시장 시스템을 최적화할 경우 인간의 이익보다 기업 이익이 우선되거나 보안상의 새로운 위협이 출현할 위험이 있다."

"악의적인 행위자가 웹사이트에 지침을 숨겨 모델을 하이재킹하려는 프롬프트 인젝션 공격에 대한 저항력을 이전 모델 대비 크게 개선함."

"시스코 시스템즈의 위협 연구팀은 해당 플랫폼이 프롬프트 인젝션 공격에 취약하여 '완전한 악몽'이라고 솔직하게 언급했습니다."

"오픈클로의 '기억' 기능은 과거의 악성 명령을 재실행할 수 있는 위험을 증가시켜 프롬프트 인젝션 공격의 위협을 증폭시킵니다."

"이 공격 벡터는 AI 비서가 악성 지침을 읽고 실행하도록 요구하며, 이는 예를 들어 웹 검색 자료나 URL에 숨겨져 있을 수 있습니다."

"Anthropic은 프롬프트 인젝션과 같은 보안 취약점에 대응하기 위해 다중 보안 계층을 구축하고 있습니다."