글로벌 사이버보안 기업인 팔로알토 네트웍스(Palo Alto Networks)는 자사 위협 연구 기관 ‘유닛42(Unit42)’의 조사를 바탕으로 딥시크가 ‘탈옥(jailbreaking)’ 공격에 취약하며, 전문 지식이나 경험이 없는 사용자도 악성 콘텐츠를 생성할 수 있다는 결과를 17일 밝혔다.

팔로알토 네트웍스의 유닛42 연구진은 딥시크가 악성 소프트웨어 생성, 악의적인 스크립팅 등 유해한 콘텐츠를 생성할 수 있는 가능성을 우려하여 총 세 가지 탈옥 기법을 통해 취약점을 집중적으로 테스트했다.

팔로알토 네트웍스에 따르면 이번 연구는 ‘디셉티브 딜라이트(Deceptive Delight)’, ‘배드 리커트 저지(Bad Likert Judge)’, ‘크레셴도(Crescendo)’ 등의 단일 또는 다단계 탈옥 기법이 활용됐다. 이 기법은 딥시크의 가드레일을 성공적으로 우회(bypass)해 데이터 탈취 도구 개발, 키로거(keylogger) 생성, 발화 장치 제작 등과 관련된 유해한 콘텐츠를 생성했다.

탈옥은 AI 모델에 내장된 가드레일을 우회해 AI가 유해한 콘텐츠를 생성하거나 부적절한 답변 등을 출력하도록 유도하는 행위를 의미한다. 이를 통해 누구나 허위 정보 또는 조작된 콘텐츠를 확산하거나 범죄 행위 등에 악용할 수 있다.

유닛42 측은 “연구 과정에서 딥시크의 초기 응답은 대체적으로 무해했으나 정교하게 설계된 프롬프트를 단계적으로 입력했을 때 높은 우회 및 탈옥 성공률을 보이며 딥시크의 보안 취약점이 드러났다”며 “이번 연구에 활용된 세 가지 탈옥 기법이 성공적으로 작동한 것은 아직 발견되지 않은 다른 새로운 탈옥 기법들이 있을 수 있음을 시사한다”고 언급했다.

이어 “특정 LLM에 대한 모든 탈옥 기법을 완벽히 차단하는 것은 어려울 수 있지만, 기업의 LLM 활용에 있어서 적절한 가이드라인 설정 및 승인되지 않은 제3자 LLM 활용에 대한 모니터링 강화 등의 보안 대책이 필요하다”고 강조했다.

이와 관련, 팔로알토 네트웍스는 프리시전 AI(Precision AI) 기반 보안 솔루션 포트폴리오를 통해 기업이 생성형 AI 애플리케이션 사용으로 인한 위험을 차단하는 동시에 AI 혁신을 가속화할 수 있도록 지원한다. 또한, 유닛42가 제공하는 AI 보안 평가를 통해 기업은 보안을 강화하고 비즈니스 생산성을 향상시킬 수 있다.

팔로알토 네트웍스는 이번 유닛42의 연구 결과를 ‘사이버위협연합(CTA, Cyber Threat Alliance)’ 회원사들과 공유했다. 또한, 향후에도 기업들이 신속한 보안 조치를 적용하고 사이버 범죄 피해를 체계적으로 방지할 수 있도록 지원할 예정이다.

필리파 콕스웰(Philippa Cogswell) 팔로알토 네트웍스 유닛42 일본·아시아·태평양(JAPAC) 부사장 겸 매니징 파트너는 “기업들이 LLM 모델을 적극 활용하는 것과 동시에, 사이버 공격자들도 이를 악용해 공격의 속도, 규모, 정교함을 높일 가능성이 크다”며 “이미 국가 지원 해커들이 오픈AI와 제미나이를 활용해 공격을 수행하고, 피싱 기법을 정교화하며, 악성코드를 개발하는 사례가 확인됐다”고 전했다. 이어 “향후 공격자들은 AI 및 LLM 기술을 더욱 정교하게 발전시키고, 궁극적으로 AI 기반 공격 에이전트까지 개발할 것으로 예상된다”는 경고를 덧붙였다.