프롬프트 인젝션 (Prompt Injection)
웹사이트나 문서 내에 교묘하게 숨겨진 지시어를 통해 인공지능 모델의 본래 지침을 무시하게 만들거나 악의적인 동작을 수행하게 유도하는 해킹 기법. 컴퓨터 사용 기능이 강화될수록 외부 웹페이지를 탐색하는 인공지능이 이러한 공격에 노출될 위험이 커짐
1 / 5
용례
"악의적인 행위자가 웹사이트에 지침을 숨겨 모델을 하이재킹하려는 프롬프트 인젝션 공격에 대한 저항력을 이전 모델 대비 크게 개선함."
"시스코 시스템즈의 위협 연구팀은 해당 플랫폼이 프롬프트 인젝션 공격에 취약하여 '완전한 악몽'이라고 솔직하게 언급했습니다."
"오픈클로의 '기억' 기능은 과거의 악성 명령을 재실행할 수 있는 위험을 증가시켜 프롬프트 인젝션 공격의 위협을 증폭시킵니다."
"이 공격 벡터는 AI 비서가 악성 지침을 읽고 실행하도록 요구하며, 이는 예를 들어 웹 검색 자료나 URL에 숨겨져 있을 수 있습니다."
"Anthropic은 프롬프트 인젝션과 같은 보안 취약점에 대응하기 위해 다중 보안 계층을 구축하고 있습니다."