에임인텔리전스, AI 보안 연구 논문 ACL 2025 메인 컨퍼런스 채택

에임인텔리전스 유상윤 대표(왼쪽)과 팀원들. (사진=에임인텔리전스)

인공지능 언어모델(LLM) 보안 기업 에임인텔리전스는 자연어처리 분야 최고 권위 학술대회인 ACL 2025 메인 컨퍼런스에 논문이 채택되는 성과를 이루었다고 19일 밝혔다.

이번에 채택된 논문 ‘One-Shot is Enough: Consolidating Multi-Turn Attacks into Efficient Single-Turn Prompts for LLMs(한 번이면 충분하다: 대형 언어 모델(LLMs)을 대상으로 한 다중 턴 공격을 효율적인 단일 턴 프롬프트로 통합하기)’을 통해 에임인텔리전스는 다중 턴 공격을 단일 턴 형식으로 압축하는 'M2S(Multi-turn-to-Single-turn)' 프레임워크를 제안했다.

M2S 프레임워크는 하이픈화(Hyphenize), 숫자화(Numberize), 파이썬화(Pythonize)라는 세 가지 전략을 활용해 다중 턴 공격을 효과적으로 단일 턴으로 변환하는 방법을 체계화한 것이다.

연구 결과에 따르면, 이렇게 압축된 단일 턴 공격은 Mistral-7B 모델에서 최대 95.9%의 공격 성공률을 보였으며, GPT-4o에서는 기존 다중 턴 공격보다 최대 17.5% 더 효과적인 것으로 나타났다. 특히 다중 턴 공격에 비해 70-80% 적은 토큰을 사용하면서도 더 높은 효과를 보인 점이 주목할 만하다. 이는 반복적인 대화 없이도 잘 설계된 단일 턴 프롬프트가 동등하거나 더 강력한 공격 효과를 가질 수 있음을 시사한다.

이번 연구는 KAIST 소속 김현준 연구원이 에임인텔리전스 연구 인턴십을 수행한 결과물로, 아이디어 구상부터 실험, 그리고 까다로운 심사 과정에서의 추가 실험과 반박까지 전 과정을 공동 제1저자인 하준우와 함께 주도적으로 수행했다. 본 논문은 자연어처리 분야의 최고 권위 학술대회 ACL 2025 메인 트랙에서 발표될 예정이다.

유상윤 에임인텔리전스 대표는 "이번 연구는 현재 LLM 방어 시스템의 취약점을 명확히 보여주며, 레드팀(red teaming)과 안전장치 설계에 중요한 시사점을 제공한다"며 “ACL 2025와 같은 권위 있는 학술대회에 논문이 채택된 것은 AI 안전성 연구 역량을 국제적으로 인정받은 사례”라고 강조했다.

한편 에임인텔리전스는 최근 'SUDO(Screen-based Universal Detox2Tox Offense)' 프레임워크에 관한 연구로도 ACL 2025 인더스트리 트랙에 논문이 채택되는 성과를 거두었다. 이 연구에서는 상용 AI 에이전트의 보안 취약성을 실증하고, AI가 처음에는 명령을 거절하더라도 화면 정보와 반복적인 입력 조작을 통해 결국 해당 작업을 실행하게 된다는 점을 실험적으로 입증했다. 이 외에도 VLM 유해성 평가 체계 'ELITE'로 ICML 2025 채택에 이르는 등 국내 AI 안전성 연구의 위상을 높이고 있다.

황정호 기자

jhh@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지

관련 기사

"AI 시대 경쟁력, 사용법이 아니라 사고력이다"

MIT 미디어랩의 '인지 부채' 뇌파 연구와 구글 딥마인드·앤트로픽의 철학자 채용 사례를 함께 짚었다. AI에 사고를 위탁할수록 뇌 활동은 둔해지지만, 노동시장 일각은 AI가 대신할 수 없는 인간의 비판적 사고력에 더 높은 값을 매기고 있다는 진단이다.

[현장] 위성과 AI가 재배 돕고 로봇이 수확·도축하고…‘AFPRO 2026’서 본 농업의 진화

농사를 짓다 궁금한 것이 생기면 인공지능(AI)에 묻고, 사람이 일일이 돌아보던 넓은 노지는 위성 데이터로 살핀다. AI가 크기와 형태가 제각각인 가축을 인식해 로봇이 도축 공정 일부를 수행하도록 하고, 수확과 예찰 같은 반복 농작업도 로봇으로 대체하려는 시도가 이어지고 있다. 생산된 농식품이 소비자에게 이동하는 물류 과정에서는 탄소 배출량을 데이터로 측정·관리하는 기술까지 등장했다. AI가 모니터 속 분석 도구를 넘어 농업 현장에서 직접 보고 판단하고 움직이는 단계로 확장되고 있는 셈이다.

생성형 AI, 어디를 근거로 삼나…SNS 인용 28.2%, 언론보다 높아

20일 함샤우트 글로벌 산하 AI 연구소와 AI 전문 자회사 딜라이트커뮤니케이션이 국내 30개 산업군을 대상으로 생성형 AI의 인용 출처를 분석한 결과, 정보 탐색형 질문에서는 블로그·유튜브·커뮤니티 등 소셜미디어(SNS)가 가장 큰 비중을 차지한 것으로 나타났다.

‘제2의 딥시크’로 떠오른 Kimi K3…중국 AI, 이번엔 ‘규모와 개방’으로 미국 최상위권 추격

중국에서 또 다른 모델이 미국 AI 업계의 시선을 끌고 있다. 중국 AI 스타트업 문샷AI(Moonshot AI)가 자사 AI 서비스 ‘Kimi(키미)’를 통해 선보인 최신 플래그십 모델 ‘Kimi K3(키미 K3)’다. 외신에 따르면 지난 16일 등장한 K3가 중국과 미국의 최첨단 AI 성능 격차를 좁히고 있다. 2조8000억개 파라미터를 가진 K3의 등장과 중국 AI 기업들의 빠른 추격 역시 집중 조명됐다. 기술적 추격은 시장의 투자 논리에도 곧바로 연결됐다. 한국이 17일 제헌절 연휴로 증시가 쉬는 사이 글로벌 반도체주는 K3 공개와 맞물려 흔들렸다. 개방형 전략을 앞세운 중국 모델이 폐쇄형 최상위 모델과의 성능 격차를 빠르게 좁힐 경우, 막대한 AI 인프라 투자가 계속 필요한지에 대한 의구심이 다시 커질 수 있다는 우려가 부각됐다는 분석이다.