에임인텔리전스, AI 보안 연구 논문 ACL 2025 메인 컨퍼런스 채택

에임인텔리전스 유상윤 대표(왼쪽)과 팀원들. (사진=에임인텔리전스)

인공지능 언어모델(LLM) 보안 기업 에임인텔리전스는 자연어처리 분야 최고 권위 학술대회인 ACL 2025 메인 컨퍼런스에 논문이 채택되는 성과를 이루었다고 19일 밝혔다.

이번에 채택된 논문 ‘One-Shot is Enough: Consolidating Multi-Turn Attacks into Efficient Single-Turn Prompts for LLMs(한 번이면 충분하다: 대형 언어 모델(LLMs)을 대상으로 한 다중 턴 공격을 효율적인 단일 턴 프롬프트로 통합하기)’을 통해 에임인텔리전스는 다중 턴 공격을 단일 턴 형식으로 압축하는 'M2S(Multi-turn-to-Single-turn)' 프레임워크를 제안했다.

M2S 프레임워크는 하이픈화(Hyphenize), 숫자화(Numberize), 파이썬화(Pythonize)라는 세 가지 전략을 활용해 다중 턴 공격을 효과적으로 단일 턴으로 변환하는 방법을 체계화한 것이다.

연구 결과에 따르면, 이렇게 압축된 단일 턴 공격은 Mistral-7B 모델에서 최대 95.9%의 공격 성공률을 보였으며, GPT-4o에서는 기존 다중 턴 공격보다 최대 17.5% 더 효과적인 것으로 나타났다. 특히 다중 턴 공격에 비해 70-80% 적은 토큰을 사용하면서도 더 높은 효과를 보인 점이 주목할 만하다. 이는 반복적인 대화 없이도 잘 설계된 단일 턴 프롬프트가 동등하거나 더 강력한 공격 효과를 가질 수 있음을 시사한다.

이번 연구는 KAIST 소속 김현준 연구원이 에임인텔리전스 연구 인턴십을 수행한 결과물로, 아이디어 구상부터 실험, 그리고 까다로운 심사 과정에서의 추가 실험과 반박까지 전 과정을 공동 제1저자인 하준우와 함께 주도적으로 수행했다. 본 논문은 자연어처리 분야의 최고 권위 학술대회 ACL 2025 메인 트랙에서 발표될 예정이다.

유상윤 에임인텔리전스 대표는 "이번 연구는 현재 LLM 방어 시스템의 취약점을 명확히 보여주며, 레드팀(red teaming)과 안전장치 설계에 중요한 시사점을 제공한다"며 “ACL 2025와 같은 권위 있는 학술대회에 논문이 채택된 것은 AI 안전성 연구 역량을 국제적으로 인정받은 사례”라고 강조했다.

한편 에임인텔리전스는 최근 'SUDO(Screen-based Universal Detox2Tox Offense)' 프레임워크에 관한 연구로도 ACL 2025 인더스트리 트랙에 논문이 채택되는 성과를 거두었다. 이 연구에서는 상용 AI 에이전트의 보안 취약성을 실증하고, AI가 처음에는 명령을 거절하더라도 화면 정보와 반복적인 입력 조작을 통해 결국 해당 작업을 실행하게 된다는 점을 실험적으로 입증했다. 이 외에도 VLM 유해성 평가 체계 'ELITE'로 ICML 2025 채택에 이르는 등 국내 AI 안전성 연구의 위상을 높이고 있다.

황정호 기자

jhh@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지

관련 기사

AI 에이전트 뒤에 누가 있나… 월드, ‘인간 증명’으로 신뢰 확보 나선다

AI 에이전트가 수천 개여도 실제 이용자는 한 명… 월드 ID로 사용자 구분 영지식증명 기술로 개인정보 공개 없이 실제 사람의 요청...

아태 중소중견기업 10곳 중 9곳 사이버사고…78%는 보안 예산 늘렸다

카스퍼스키가 7일 공개한 ‘2026 SMB 위협 현황 보고서’에 따르면 국가별 사고 경험률은 베트남이 97%로 가장 높았다. 말레이시아가 95%, 인도네시아가 92%, 인도가 87%로 뒤를 이었다. 태국과 중국은 각각 82%, 67%로 아시아태평양 평균보다 낮았다. 이번 조사는 18개국 중소중견기업과 대기업의 IT 보안 전문가 총 1,800명을 대상으로 진행됐다.

AI 에이전트 ‘무슨 권한으로 무엇을 했나’ 증명한다…미스틴랩스·구글 클라우드 VAA 개발

프롬프트·모델 출력 등은 기업 내부에 보관…무결성 증명만 수이·월러스 연결 A2A 거래 분쟁 재현부터 보안사고 추적·에이전트 결제 기록까지 지원 기업 고객...

[위클리AI] GPT-6.1 솔·제미나이 4 아르곤 등판, 트럼프 'SI' 행정명령까지

지난 주 AI 업계 주요 이슈를 정리했다. 오픈AI의 GPT-6.1 아스트라 출시 철회와 GPT-6.1 솔 공개, 앤트로픽 IPO 투자설명서의 위험 경고, 구글 제미나이 4 아르곤, 트럼프의 'SI' 행정명령, 캘리포니아 AI 해고 금지법, AI 페스타 26 개막과 '모두의 AI' 베타 출시 일정을 다뤘다.