과학기술정보통신부와 구글 딥마인드가 과학기술 AI 공동연구와 인재 양성, 책임 있는 AI 활용을 위한 협력에 나선 가운데, 국내 AI 안전·보안 전문기업 에임인텔리전스가 AI 안전성 평가와 표준화 논의에 참여했다. 생성형 AI 확산 이후 AI 안전 논의가 텍스트 기반 출력 통제에서 에이전트의 행동, 나아가 물리 세계에서 작동하는 피지컬 AI의 안전성으로 빠르게 넓어지고 있다는 점에서 이번 협력 논의의 의미가 주목된다.
에임인텔리전스는 박하언 최고기술책임자(CTO)가 서울 포시즌즈 호텔에서 열린 과기정통부와 구글 딥마인드의 양해각서(MOU) 체결식 및 전문가 간담회에 AI 안전 분야 전문가로 참석했다고 28일 밝혔다.
이번 MOU에는 배경훈 부총리 겸 과학기술정보통신부 장관과 데미스 하사비스 구글 딥마인드 CEO가 직접 서명했다. 양측은 과학기술 AI 공동연구, AI 인재 양성, 책임 있는 AI 활용을 주요 협력 분야로 삼았다. MOU 체결 직후 이어진 전문가 간담회에는 바이오·신약 분야 전문가들과 함께 박 CTO가 참석해 AI 기반 과학적 발견 가속화와 딥마인드와의 협력 과제에 대해 의견을 나눴다.
간담회에서는 알파폴드가 단백질 구조 예측 분야의 패러다임을 바꾼 것처럼, 한국 역시 연구데이터와 AI 모델, 인재를 체계적으로 연결해 AI 중심 연구 생태계로 전환해야 한다는 논의가 오간 것으로 알려졌다. 참석자들은 K-문샷과 구글 딥마인드의 역량이 결합될 경우 과학기술 분야에서 새로운 성과를 만들 수 있다는 가능성에도 주목했다.
이번 협력의 한 축은 책임 있는 AI 개발이다. MOU에는 AI 안전성 프레임워크와 AI 모델의 안전장치, 이른바 가드레일에 관한 공동연구를 추진하는 내용이 포함됐다. 특히 AI 위험에 대응하기 위한 안전성 평가와 연구를 담당하는 AI안전연구소(AISI)와 연계해 안전 프레임워크 구축, 테스트 방법론 등에 관한 논의를 이어간다는 계획도 담겼다.
박 CTO는 이 자리에서 AI 안전성 논의의 범위가 빠르게 바뀌고 있다고 짚었다. 기존에는 생성형 AI가 어떤 답변을 내놓는지, 즉 텍스트 출력의 안전성이 주요 관심사였다면 이제는 AI 에이전트가 어떤 행동을 수행하는지, 더 나아가 로봇과 물리 시스템을 통해 실제 환경에 영향을 미치는 AI를 어떻게 평가하고 통제할지가 핵심 과제로 떠오르고 있다는 설명이다.
특히 피지컬 AI 단계에서는 위험의 성격이 달라진다. 디지털 환경에서 잘못된 답변이나 부적절한 출력은 사후 수정이 가능할 수 있지만, 물리 세계에서 작동하는 AI가 잘못된 판단을 내릴 경우 피해가 되돌리기 어려운 형태로 발생할 수 있다. 이 때문에 박 CTO는 평가 체계와 안전장치의 기준 자체를 새롭게 정립해야 한다는 점을 강조했다.
박 CTO는 “에임인텔리전스는 한국 AI안전연구소(AISI)와 다양한 형태의 협력을 이어오고 있다”며 “이번 MOU가 한국이 에이전트·피지컬 AI 안전성 평가의 글로벌 표준을 만들어가는 거점이 되는 데 기여할 수 있기를 기대한다”고 말했다.
에임인텔리전스는 2024년 설립된 AI 안전·보안 전문기업이다. AI의 입출력을 실시간으로 감시·차단하고 민감 데이터를 마스킹하는 가드레일 플랫폼 ‘AIM Starfort’를 핵심 제품으로 제공하고 있다. 여기에 자동화 레드티밍 솔루션 ‘스팅어(Stinger)’를 결합해 개발 단계의 취약점 진단부터 운영 단계의 실시간 방어까지 AI 라이프사이클 전반을 아우르는 보안 체계를 지향한다.
회사는 거대언어모델(LLM)을 넘어 AI 에이전트, 멀티모달 AI, 로봇·컴퓨터 사용 에이전트(CUA) 등 피지컬 AI 영역까지 대응 범위를 넓히고 있다. 한국 AI안전연구소와는 응급의료, 항공 정비, 댐 관리 등 고위험 시나리오에서 프론티어 AI 모델의 안전성을 평가하는 글로벌 AI 레드팀 챌린지 ‘심판의 날(Judgement Day)’을 공동 주최하는 등 에이전트·피지컬 AI 안전성 평가 분야에서 협력을 이어가고 있다.
학술 연구 성과도 확대하고 있다. 박 CTO가 참여한 텍스트-투-비디오 모델의 탈옥 기법 관련 공동 연구는 ICLR 2026 메인 트랙에 채택됐다. 에임인텔리전스는 ACL, ICML, NeurIPS, ICLR 등 AI 분야 주요 학회에 다수의 안전성 연구 논문을 채택시킨 바 있다.
배경훈 부총리는 이번 MOU에 대해 “10년 전 알파고가 AI 시대의 막을 열었다면, 이제는 AI가 과학기술의 난제를 풀고 국민의 삶에 실질적인 영향을 미치는 단계로 나아가고 있다”며 “대한민국이 K-문샷을 중심으로 과학기술 분야 AI 혁신을 가속화하는 동시에, 안전하고 책임 있는 AI 연구와 모범 사례를 확산하기 위해 양 기관이 협력하는 핵심적인 계기가 될 것”이라고 말했다.
하사비스 CEO 역시 한국이 알파고 대국 이후 구글에 특별한 의미를 지닌 곳이 됐다고 언급하며, 바이오 혁신과 기상 예측 분야의 지평을 넓히는 동시에 AI가 책임감 있게 발전할 수 있도록 보호 체계를 구축하는 데 파트너로서 힘을 보태겠다고 밝혔다.
이번 논의는 AI 협력이 단순히 모델 성능이나 연구 성과 확대에 머무르지 않고, 안전성 평가와 책임 있는 활용 체계까지 함께 다뤄야 한다는 흐름을 보여준다. 특히 AI가 소프트웨어 영역을 넘어 에이전트와 피지컬 AI로 확장되는 상황에서, 한국이 안전성 평가 기준과 테스트 방법론을 구축하는 글로벌 협력 거점으로 자리 잡을 수 있을지가 향후 과제로 떠오르고 있다.
