프롬프트 인젝션 (Prompt Injection)
인공지능 모델이 사용자 또는 에이전트가 읽는 콘텐츠 내부에 숨겨진 악의적인 명령을 일반적인 지침으로 오인하고 실행하도록 유도하는 공격 기법. AI 에이전트는 메일, 웹페이지, 문서 등 외부 콘텐츠를 읽고 이를 기반으로 작업을 수행하기 때문에, 이 콘텐츠에 삽입된 악성 코드를 읽고 무단으로 민감 데이터를 유출하거나 시스템 명령을 실행할 가능성이 증대
1 / 2
용례
"이 공격 벡터는 AI 비서가 악성 지침을 읽고 실행하도록 요구하며, 이는 예를 들어 웹 검색 자료나 URL에 숨겨져 있을 수 있습니다."
"Anthropic은 프롬프트 인젝션과 같은 보안 취약점에 대응하기 위해 다중 보안 계층을 구축하고 있습니다."