정교한 질문은 ‘AI 챗봇’을 탈옥시킨다

[AI요약] 안전제어 없이 의도적으로 설계됐거나 ‘탈옥’을 통해 수정된 AI 모델인 ‘다크 LLM’의 위협이 증가하고 있다. 사용자의 지시를 따르는 프로그램의 주요 목표와 유해하고 편향적이며 비윤리적이거나 불법적인 답변을 생성하지 않는 부차적인 목표 사이의 긴장감을 악용하는 사례가 늘어나고 있다.

정교한 질문이 AI 챗봇을 탈옥시킬 수 있다는 연구결과가 나왔다. (이미지=링크드인)

사용자가 AI 챗봇을 의도적으로 감염시켜 이를 악용할 수 있다는 지적이 나왔다.

안전제어 기능을 우회하기 위해 ‘탈옥 된’ AI챗봇이 사용자에게 쉽게 위험한 답변을 제공할 수 있다는 연구결과에 대해 가디언 등 외신이 22일(현지시간) 보도했다.

이스라엘 네게브벤구리온대학교 연구팀에 따르면, 해킹된 AI 기반 챗봇은 프로그램이 훈련 과정에서 흡수하는 불법 정보를 대량으로 생성해 위험한 지식을 사용자가 쉽게 이용할 수 있도록 하는 것으로 나타났다.

모든 AI챗봇에는 내장된 안전제어 기능이 있으며, 이러한 제한은 프로그램이 사용자 질문에 해롭거나 편향적이거나 부적절한 답변을 제공하는 것을 방지하기 위한 것이다.

챗GPT, 제미나이, 클로드와 같은 챗봇을 구동하는 엔진, 즉 대규모 언어 모델(LLM)은 인터넷에서 방대한 양의 자료를 공급받는다.

문제는 훈련 데이터에서 유해한 텍스트를 제거하려는 다양한 노력에도 불구하고, LLM은 해킹, 자금 세탁, 내부자 거래, 폭탄 제조와 같은 불법 활동에 대한 정보를 여전히 흡수할 수 있다. 이에 보안 제어 기능은 LLM이 해당 정보를 답변에 사용하는 것을 차단하도록 설계된 것이다.

그러나 연구팀은 이번 연구를 통해 대부분의 AI 기반 챗봇을 속여 유해하고 불법적인 정보를 생성하도록 하는 것이 쉽다고 결론지었다.

해당 연구는 안전제어 없이 의도적으로 설계됐거나 탈옥을 통해 수정된 AI 모델인 ‘다크 LLM’의 위협이 증가하고 있음을 재확인한 연구로 평가받고 있다. 특히 연구팀은 일부 모델의 경우 윤리적 가드레일이 없으며, 사이버 범죄 및 사기와 같은 불법 행위를 기꺼이 지원한다고 지적했다.

‘탈옥’은 정교하게 제작된 메시지를 사용해 챗봇을 속여 일반적으로 금지된 응답을 생성하도록 하는 경향이 있다.

사용자의 지시를 따르는 프로그램의 주요 목표와 유해하고 편향적이며 비윤리적이거나 불법적인 답변을 생성하지 않는 부차적인 목표 사이의 긴장감을 악용하는 것이다. 이러한 프롬프트는 프로그램이 안전 제약보다 유용성을 우선시하는 상황을 만들어내는 것으로 나타났다.

연구팀은 이러한 문제를 입증하기 위해 여러 주요 챗봇을 감염시키는 보편적 탈옥을 개발해 일반적으로 거부돼야 하는 질문에도 답변할 수 있도록 했다. 보고서에 따르면, 일단 감염되면 LLM은 거의 모든 질의에 대해 지속적으로 답변을 생성했다.

컴퓨터 네트워크를 해킹하거나 마약을 제조하는 방법, 기타 범죄 활동에 대한 단계별 지침 등을 그 예로 들 수 있다.

연구팀이 주요 LLM 제공업체들에 연락해 보편적 탈옥에 대해 알렸지만, 해당 기업들은 적극적으로 대응하지 않은 것으로 알려졌다. 대부분 기업은 대응하지 않았고, 일부 기업들은 탈옥 공격이 소프트웨어 취약점을 지적하는 윤리적 해커에게 보상을 제공하는 현상금 프로그램의 범위를 벗어난다고 주장했다.

챗봇이 흡수한 불법 정보를 ‘잊을’ 수 있는 머신언러닝 기술의 개발 필요성이 강조된다. (이미지=IBM)

이번 연구는 기술 기업들이 훈련 데이터를 더욱 신중하게 검토하고, 위험한 질의와 응답을 차단하는 강력한 방화벽을 구축하는 동시에 챗봇이 흡수한 불법 정보를 ‘잊을’ 수 있도록 머신언러닝(Machine unlearning) 기술의 개발 필요성을 강조하고 있다.

연구팀은 “한때 국가 기관이나 조직범죄 집단에게만 국한되었던 정보를 곧 노트북이나 휴대전화만 있으면 누구나 사용할 가능성이 생겼다”며 “이 위협이 이전의 기술적 위험과 차별화되는 점은 접근성, 확장성, 적응성이 전례 없이 결합됐다는 점”이라고 지적했다.

이센 알루아니 벨파스트퀸스대학교 AI 보안 박사는 “LLM에 대한 탈옥 공격이 무기 제작에 대한 자세한 지침을 제공하는 것부터 설득력 있는 허위 정보, 소셜 엔지니어링, 자동화된 사기 등 놀라울 정도로 정교하게 실행될 수 있는 실질적인 위험을 초래할 수 있다”고 우려했다.

챗GPT를 개발한 오픈AI는 “최신 o1 모델이 자사의 안전 정책에 대한 추론 기능을 제공해 탈옥에 대한 복원력을 향상시킨다”며 “프로그램의 안정성을 강화할 방법을 지속적으로 모색하고 있다”고 언론을 통해 답했다.

류정민 기자

znryu@daum.net
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by 테크42 무단전재 및 재배포 금지

관련 기사

[현장] NHarvestX 2026…농업 혁신의 병목을 겨눈 스타트업 7, ‘현장’ 너머에서 발견한 ‘확장’

NHarvestX(엔하베스트엑스)’는 농협 계열사·관계사의 현장 수요를 스타트업 기술과 연결하는는 농식품 특화 오픈이노베이션 프로그램이다. 운영사 소풍커넥트가 농협 현업부서와 기업 간 기술실증(PoC) 설계·운영을 지원한다. 지난 10일 서울 중구 온드림 소사이어티에서 Harvest Together, Scale Beyond(함께 거둔 결실, 현장 너머의 확장)을 주제로 열린 ‘NHarvestX 2026’ 성과공유회는 약 6개월간의 실증을 점검하고 후속 사업화 가능성을 모색하는 자리였다.

모바일 게임 매출 1위, 이제는 한 달도 못 버틴다

10월 8일 정오, 카카오게임즈의 '도깨비의세계'가 앱마켓에 풀렸다. 개발사 슈퍼캣은 대중에게 낯선 이름이었고, 게임은 2.5D 화면을 쓰는 MMORPG라 화려함도 없었다.

공짜 표가 150만원, 정가 20만원 표가 500만원…암표와의 전쟁, 이번엔 다를까

2023년 12월 28일, 가수 윤하의 20주년 단독 콘서트 '스물' 예매가 열렸다. KSPO 돔 2만 석이 그날 하루 만에 나갔다. 윤하는 이튿날 자신의 사회관계망서비스(SNS)에 "체조 경기장이 매진되다니"라며 놀라워하다가, 팬들에게 이런 댓글을 남겼다. "암표가 취소되면 현장 구매가 늘어날테니 너무 걱정 마세요."

[현장] “美 VC는 세계 1등을 물었다”…실리콘밸리에서 배운 글로벌 창업 생존법

인공지능(AI)이 제품 개발의 속도를 높이면서 스타트업의 기술 구현 문턱은 낮아지고 있다. 그러나 빠르게 만든 기술이 실제 고객의 선택을 받고, 그 수요를 바탕으로 지속 가능한 사업을 구축하는 일은 여전히 쉽지 않다. 특히 글로벌 시장에서는 기술의 완성도뿐 아니라 현지 고객의 문제를 이해하는 능력, 시장 검증 속도, 투자자와의 관계 형성까지 창업의 성패를 가르는 변수로 작용한다.