에임인텔리전스, AI 보안 연구 논문 ACL 2025 메인 컨퍼런스 채택

에임인텔리전스 유상윤 대표(왼쪽)과 팀원들. (사진=에임인텔리전스)

인공지능 언어모델(LLM) 보안 기업 에임인텔리전스는 자연어처리 분야 최고 권위 학술대회인 ACL 2025 메인 컨퍼런스에 논문이 채택되는 성과를 이루었다고 19일 밝혔다.

이번에 채택된 논문 ‘One-Shot is Enough: Consolidating Multi-Turn Attacks into Efficient Single-Turn Prompts for LLMs(한 번이면 충분하다: 대형 언어 모델(LLMs)을 대상으로 한 다중 턴 공격을 효율적인 단일 턴 프롬프트로 통합하기)’을 통해 에임인텔리전스는 다중 턴 공격을 단일 턴 형식으로 압축하는 'M2S(Multi-turn-to-Single-turn)' 프레임워크를 제안했다.

M2S 프레임워크는 하이픈화(Hyphenize), 숫자화(Numberize), 파이썬화(Pythonize)라는 세 가지 전략을 활용해 다중 턴 공격을 효과적으로 단일 턴으로 변환하는 방법을 체계화한 것이다.

연구 결과에 따르면, 이렇게 압축된 단일 턴 공격은 Mistral-7B 모델에서 최대 95.9%의 공격 성공률을 보였으며, GPT-4o에서는 기존 다중 턴 공격보다 최대 17.5% 더 효과적인 것으로 나타났다. 특히 다중 턴 공격에 비해 70-80% 적은 토큰을 사용하면서도 더 높은 효과를 보인 점이 주목할 만하다. 이는 반복적인 대화 없이도 잘 설계된 단일 턴 프롬프트가 동등하거나 더 강력한 공격 효과를 가질 수 있음을 시사한다.

이번 연구는 KAIST 소속 김현준 연구원이 에임인텔리전스 연구 인턴십을 수행한 결과물로, 아이디어 구상부터 실험, 그리고 까다로운 심사 과정에서의 추가 실험과 반박까지 전 과정을 공동 제1저자인 하준우와 함께 주도적으로 수행했다. 본 논문은 자연어처리 분야의 최고 권위 학술대회 ACL 2025 메인 트랙에서 발표될 예정이다.

유상윤 에임인텔리전스 대표는 "이번 연구는 현재 LLM 방어 시스템의 취약점을 명확히 보여주며, 레드팀(red teaming)과 안전장치 설계에 중요한 시사점을 제공한다"며 “ACL 2025와 같은 권위 있는 학술대회에 논문이 채택된 것은 AI 안전성 연구 역량을 국제적으로 인정받은 사례”라고 강조했다.

한편 에임인텔리전스는 최근 'SUDO(Screen-based Universal Detox2Tox Offense)' 프레임워크에 관한 연구로도 ACL 2025 인더스트리 트랙에 논문이 채택되는 성과를 거두었다. 이 연구에서는 상용 AI 에이전트의 보안 취약성을 실증하고, AI가 처음에는 명령을 거절하더라도 화면 정보와 반복적인 입력 조작을 통해 결국 해당 작업을 실행하게 된다는 점을 실험적으로 입증했다. 이 외에도 VLM 유해성 평가 체계 'ELITE'로 ICML 2025 채택에 이르는 등 국내 AI 안전성 연구의 위상을 높이고 있다.

황정호 기자

jhh@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지

관련 기사

"문서 지옥이 싫었다"…비전공 공무원 혼자서 쓴 공직사회 AI 혁신

광진구청 류승인 주무관이 개발한 HWP 파서 'kordoc'과 법령 검색 MCP 서버 'korean-law-mcp'가 공직사회 AI 혁신 사례로 화제다. 비전공자 공무원의 바텀업 혁신, 두 도구 모두 오픈소스 무료 공개.

채용 공고부터 추천까지 한 번에…AI로 묶은 ‘통합 채용 허브’ 등장

잡코리아가 AI 기반 통합 채용 솔루션 ‘하이어링 센터’를 공개했다. 채용 공고 등록부터 지원자 관리, 커뮤니케이션, 운영 관리까지 전 과정을 하나의 환경에서 처리할 수 있도록 설계된 것이 핵심이다.

‘링크의 시대’에서 ‘답변의 시대’로…구글 ‘서치 라이브’가 바꾸는 검색의 질서

서치 라이브는 검색 결과를 읽는 경험보다, 검색과 ‘대화하는’ 경험에 가깝다. 사용자는 구글 앱 안에서 음성으로 질문을 이어가고, 필요하면 카메라로 사물을 비추며 실시간 도움을 받을 수 있다. 이는 검색이 단발성 쿼리에서 벗어나 문맥을 유지하는 세션형 인터페이스로 이동하고 있음을 보여준다.

‘AI’를 향한 아마존의 거대한 ‘20년 승부수’

[AI요약] 20년전 생소한 개념의 클라우드 컴퓨팅 서비스인 AWS를 출시한 후, 해당 서비스를 인터넷 기반 도구에 의존하는 거의 모든 기업에게 필수불가결한...