생성형 AI가 의료, 채용, 금융 등 사회 전반으로 확산되면서 딥페이크, 환각 현상, 개인정보 침해 등 안전성과 신뢰성에 대한 우려가 커지고 있다. 전 세계적으로 AI 기술의 사회적 영향과 잠재적 피해에 대응하기 위한 규제와 거버넌스 체계 마련이 시급한 과제로 떠올랐다.
이에 한국정보통신기술협회(이하 TTA) 지난달 말 ‘AI 신뢰성 얼라이언스(이하 얼라이언스)’ 발족식을 개최하고, TTA를 중심으로 AI 신뢰성 검·인증 생태계 조성을 위한 민간 협력체계를 본격 가동한다고 밝혔다.
앞서 과기정통부와 TTA는 2021년부터 '신뢰할 수 있는 인공지능 개발안내서'를 개발하고, 의료․공공․생성AI 등 총 7개 분야별 개발안내서 보급을 통해 AI 신뢰성 확보를 위한 기술적 요구사항을 도출해왔다.
또한 AI 제품·서비스, 이를 개발·활용하는 조직의 AI 신뢰성 확보 여부를 평가하는 인공지능 신뢰성 검·인증(CAT)을 2023년 12월부터 운영 및 고도화하고 있다.
이번 출범한 얼라이언스는 ‘AI기본법’ 제30조에 따라 인공지능의 안전성과 신뢰성 확보를 위해 민간 자율 검·인증 활동을 활성화하고, 산업계 수요에 부응하는 실효적 인증체계를 마련하여 모두가 신뢰할 수 있는 AI 생태계 조성을 목표로 한다.
이날 얼라이언스 발족식에는 카카오, 네이버, KT, 포티투마루, 한국IBM, 정보통신산업진흥원(NIPA), 한국표준협회(KSA), 한국기계전기전자시험연구원(KTC), 서울대학교 인공지능연구센터, AI안전연구소 등 AI 분야 주요 산·학·연을 포함해 약 50여개 기관이 참여해 향후 계획과 문제 의식을 공유했다.
얼라이언스의 초대 의장으로는 유네스코 세계과학기술윤리위원회 부위원장을 역임한 한양대학교 이상욱 교수가 선임됐다.
얼라이언스는 운영위원회 및 ①정책·거버넌스, ②기술·표준, ③인증·교육 등 3개 분과로 구성되며, 인공지능 분야별 전문가 논의를 통해 AI 신뢰성 기반을 지속적으로 다져 나갈 예정이다.
정책·거버넌스 분과는 AI 기본법, EU AI Act 등 국내외 정책 및 법제를 분석하고, 특히 AI 기본법 및 하위법령과의 정합성을 고려한 검․인증 기준, 방법 및 절차 수립, 검·인증기관 품질관리체계 마련 등을 추진한다.
기술·표준 분과는 신뢰성 검·인증을 위한 평가기술·도구 등을 연구개발 및 배포하고, 다양한 산업 영역에서 에이전틱 AI, 피지컬 AI 등 분야별 인증 기준과 방법론을 표준화할 예정이다.
인증·교육 분과는 기업을 대상으로 인증 절차 안내 및 사전 준비를 위한 컨설팅을 지원할 예정이다. 또한 국내외 세미나 개최를 통해 AI 신뢰성에 대한 사회적 인식을 제고하고, 인증 심사원 양성 및 관리를 위한 자격제도를 개발·운영할 계획이다.
이날 개회사를 통해 이상욱 의장은 "얼라이언스가 국내 AI 기본법 상 의무사항 준수와 국제 인증체계와의 정합성 확보 및 상호인정 기반 마련을 통해 기업의 국내외 시장 진출을 지원하는 한편, 글로벌 신뢰 확보와 통용성 제고에 기여해 나갈 계획"이라며 비전을 제시했다.
이어 TTA 손승현 회장은 "인공지능 신뢰성은 AI 기본사회 구축을 위한 핵심 인프라”라며 “민간이 주도하고 정부가 지원하는 자율적이고 유기적인 생태계를 조성해 국민과 기업이 안심하고 AI를 활용할 수 있는 환경을 마련하는데 적극 노력하겠다"고 밝혔다.
카카오, 신뢰성 있는 AI 구축 위한 3대 전략 공개
이날 본행사는 김경훈 이사(카카오 AI 페스티 리더)의 기조 연설로 시작됐다. 김 이사는 '신뢰성 있는 AI를 위한 카카오의 노력'을 주제로 "모든 기술은 중립적이며, 사용하는 사람에 따라 긍정적 또는 부정적 결과가 달라진다"며 "AI 기술 역시 발전할수록 안전 사고 빈도가 증가하는 추세"라고 운을 뗐다.
이어 김 이사는 SF 작가 테드 창의 비유를 인용해 "LLM은 방대한 데이터를 압축하는 '손실 정보 압축기'"라며 환각 현상, 유해 정보 학습, 악의적 사용 용이성 등 세 가지 근본적 문제점을 지적했다.
김 이사의 발표에 따르면 카카오는 이와 같은 문제와 관련해 정책 수립, 기술 개발, 외부 협력 세 가지 축으로 대응 전략을 세웠다. 지난해 10월 선제적으로 구축한 AI 위험 관리 체계가 대표적이다. 이는 AI 윤리 원칙, 리스크 관리 사이클, 거버넌스로 구성된다.
김 이사는 “카카오는 2018년 국내 기업 최초로 알고리즘 윤리 헌장을 제정했으며, 지난해 4월에는 'AI 과도한 의존 경계'를 위한 '이용자의 주체성' 원칙을 추가해 10대 원칙으로 확대했다”고 설명했다.
이 외에도 카카오는 AI 서비스 출시 전 7단계 체크리스트를 통한 검토 프로세스를 운영 중이다. 개발 부서의 검토 신청부터 전사 리스크 관리 위원회 및 AI 위원회 안건 상정, CEO 의사결정까지 전 과정을 관리하는 방식이다.
기술 개발 측면에서는 자체 개발한 가드레일 모델 '카나나 세이프가드'가 있다. 한국어 특화 문화적 맥락을 반영한 이 모델은 세 가지로 구성된다. 우선 '세이프가드'는 증오·괴롭힘, 성적 콘텐츠, 아동 성착취 등 6개 카테고리 유해 콘텐츠를 탐지한다. 이어 '사이렌'은 컴플라이언스 이슈를, '프롬프트'는 프롬프트 인젝션 등 악의적 명령을 차단한다. 이러한 모델은 메타의 라마가드, 구글의 쉴드 제마 대비 우수한 성능을 보였으며, 아파치 라이선스로 공개해 상업적 활용이 가능하다.
발표 말미 김 이사는 "신뢰성과 안전성은 혼자서는 확보할 수 없는 영역"이라며 "다양한 이해관계자와의 협력을 통해 공동 연구를 지속적으로 확대해 나갈 것"이라고 강조했다.
50개 기관 참여…3개 분과 중심 개방형 협의체 운영
신준호 한국정보통신기술협회(TTA) 단장(AI 신뢰성센터장)은 이날 행사에서 AI 신뢰성 얼라이언스의 운영 방향을 발표했다.
신 단장은 "AI 신뢰성은 글로벌 차원의 규범으로 자리 잡았으며, 선택적 이슈가 아닌 기본 자질"이라며 "민간 주도로 실용적인 방안을 마련하기 위해 얼라이언스를 발족했다"고 밝혔다. 그러면서 "실제 필드에서 활동하는 기업, 학계, 테스팅 업체, 협단체가 체감한 진짜 필요한 검인증 제도를 만들고 생태계를 조성하는 것이 목적"이라고 강조했다.
신 단장에 따르면 얼라이언스의 목표는 모두가 신뢰할 수 있는 AI 인증 생태계 구축이다. 이를 위해 △개방형 협의체 운영 △혁신과 규제의 균형 추구 △글로벌 협력 플랫폼 구축 등 세 가지 운영 방향을 제시했다. 현재 50개 기관 70여 명의 위원이 참여하고 있으며, 정책·거버넌스, 기술·표준, 인증·교육 등 3개 분과로 구성됐다.
신 단장은 "지속 가능한 AI 기술 혁신을 위해 신뢰성 확보 노력은 멈추지 말아야 한다"며 "전 국민이 안심하고 쓸 수 있는 AI 환경을 조성하고, 대한민국의 모범 사례가 글로벌 AI 이니셔티브에서 힘을 발휘할 수 있을 것"이라고 기대감을 드러내기도 했다.
이어 신 단장은 자전거가 20~30년간 시행착오를 거쳐 안정화된 형태로 발전한 사례를 들며 "얼라이언스를 통해 신뢰하고 안전한 AI의 형태를 정의하는 중요한 장이 되기를 기대한다"고 말했다.
이어 최경진 가천대 교수는 정책·거버넌스 분과장으로써 활동 계획을 설명했다.
최 교수는 "전 세계적으로 AI 신뢰성 확보 방식은 다르지만, 공통점은 민간의 전문성과 자율성에 기반해 신뢰성을 이끌어낸다는 것"이라며 "각국이 법적 규제든 민간 자율이든 관계없이 AI를 잘 알고 신뢰성을 구현할 능력을 갖춘 민간이 스스로 하게 만드는 것이 공통 수단"이라고 강조했다.
최 교수가 언급한 정책·거버넌스 분과의 목표는 세 가지다. 첫째, 민간 전문성과 자율성 기반 검인증·평가 제도 설계 및 정부와 협업을 통한 인증 정책 수립이다. 최 교수는 "민간 협력 없이는 성공할 수 없기 때문에 정부와 함께 민간 중심으로 만들어가는 것이 중요하다"고 강조했다.
둘째, 글로벌 상호 호환성을 갖춘 체계 구축이다. 최 교수는 "한국에서만 통용되는 인증 체계는 의미가 없다"며 "글로벌로 공통적으로 워킹할 수 있는 인증 정책과 로드맵을 만들 것"이라고 밝혔다. EU AI법 등 글로벌 규제에 대한 컴플라이언스도 함께 마련한다는 계획이다.
셋째, 국내 AI 기본법과의 연계다. 최 교수는 내년 1월 22일 시행 예정인 AI 기본법의 검인증 제도를 수용해 "인증 체계를 잘 따라 한국 내 AI 컴플라이언스도 가능하고, 해외에서도 신뢰성을 확보받아 AI 서비스를 수출할 수 있는 기준을 만들겠다"고 설명했다.
미지막으로 최 교수는 "신뢰성은 지속가능한 AI 발전의 밑거름"이라며 "최종 이용자들이 신뢰할 수 있게 만들고, 글로벌 규제 컴플라이언스를 마련하며, 개발자와 사업자가 안심하고 개발·사업할 수 있는 환경을 조성해 혁신적인 AI 생태계를 만들 것"이라고 강조했다. 그러면서 최 교수는 "신뢰성은 AI 혁신의 지속 가능성을 보장하는 가장 아름다운 단어"라고도 했다.
한편 이날 최 교수의 발표에 이어 기술·표준 분과장을 맡은 이재호 서울시립대 교수, 인증·교육 분과장을 맡은 윤상민 국민대 교수가 각각 활동 계획을 연이어 소개했다.
AI 신뢰성 얼라이언스 패널토의, "신뢰가 바탕이 된 기술이 경쟁력이다"
이날 마지막 행사로 진행된 패널토의에서는 각계 전문가들의 다양한 의견이 공유되기도 했다. 이날 패널 토의에 참석한 전문가는 좌장을 맡은 이상욱 초대 의장을 비롯해 각 분과장을 맡은 윤상민 국민대 교수, 이재호 시립대 교수, 최경진 가천대 교수를 비롯해 김영문 한국정보통신기술협회 소장, AI 스타트업 포티투마루의 김동환 대표, 고환경 법무법인 광장 변호사 등이다.
좌장을 맡은 이상욱 AI 신뢰성 얼라이언스 의장은 토론에 들어가며 기술 발전의 사회적 맥락을 강조했다.
"AI 기술의 발전 방향은 단순히 기술적 우월성으로 결정되는 게 아닙니다. 다양한 이해관계자와 사회적 요인이 복합적으로 작용하죠. 자전거가 처음에는 속도 중심의 남성 스포츠용으로 발전했지만, 결국 안전성과 보편성을 중시하는 '안전자전거'가 표준이 된 것도 사회 변화가 이끈 결과입니다. AI도 마찬가지로 제도, 인증, 사회적 수요가 맞물리며 방향이 정해질 것입니다."
이 의장은 이어 "AI 신뢰성 얼라이언스가 가장 실질적인 영향을 미칠 수 있는 부분이 바로 인증 제도"라며 "회원사들에게 체감되는 변화를 주려면 인증의 실효성과 방향성을 함께 고민해야 한다"고 덧붙였다.
이어 발제에 나선 김영문 한국정보통신기술협회(TTA) 인공지능융합시험소장은 산업계 관점에서 신뢰성 검증 체계의 필요성을 구체적으로 제시했다.
"AI 신뢰성 인증의 인센티브를 명확히 해야 합니다. 다행히 내년 시행될 AI 기본법 제30조에는 '고영향 AI의 경우 신뢰성 검인증을 받은 제품을 우선 고려한다'는 조항이 포함돼 있습니다. 이를 구체적인 조달·행정 규정으로 발전시켜야 합니다."
김 소장은 또한 "우리 얼라이언스가 독자적인 벤치마크를 개발해 국내 생태계를 강화하고, 글로벌 시장에서도 통용될 수 있는 인증 기준을 세워야 한다"며 "중소기업들이 자체 검증할 수 있도록 오픈소스 기반의 테스트 도구를 보급하고, GPU 서버 등 실험 인프라도 함께 지원할 필요가 있다"고 강조했다. 이어 김 소장은 "AI 검인증 체계는 모델 수준에서 끝나선 안 됩니다. 반도체, 데이터, 애플리케이션 등 전 스펙트럼의 신뢰성을 함께 확보해야 한다"고 덧붙였다.
최경진 가천대학교 교수(정책·거버넌스 분과장)는 인증 제도의 실효성을 높이기 위해 '인센티브 설계'가 핵심이라고 지적했다.
"인증 체계가 성공하려면 '돈'보다 '효능감'이 필요합니다. 기업이 인증을 받았을 때 실제로 체감할 수 있는 보상 구조가 있어야 합니다. 개인정보보호법의 ISMS-P 인증처럼 위반 시 과징금 50% 감경 같은 강력한 인센티브가 효과적입니다."
이어 최 교수는 "AI 기본법에는 여러 제도가 도입됐지만, 인센티브 설계는 아직 미비합니다. 향후 신뢰성 인증 체계는 강력한 인센티브 제도와 결합되어야 제대로 작동할 것"이라고 강조했다.
이재호 시립대 교수(기술·표준 분과장)는 기술 표준의 중요성을 짚으며, "정책을 실현하는 수단으로서의 기술 경쟁력 확보가 핵심"이라고 말했다.
"기술은 정책을 실현하는 수단이자 경쟁력 그 자체입니다. 규제는 피할 수 없는 현실이라면, 그 안에서 기술적 경쟁력을 확보하는 게 기업의 혜택이 됩니다. 얼라이언스는 그 경쟁력을 높이는 플랫폼이 될 수 있습니다."
이 교수는 또 "표준 개발 과정에서 기업들이 직접 참여하지 못하더라도, 얼라이언스를 통해 현장의 요구사항을 전달하면 국제 표준에 반영될 수 있다"며 "이를 통해 국내 기술이 글로벌 무대에서 인정받는 길을 열 수 있다"고 말했다. 그러면서 이 교수는 "AI 인증은 '살아 있는 인증'이어야 한다"며 "기술 변화 속도가 빠른 만큼 인증도 지속적으로 갱신되고, 현장 목소리를 반영해야 한다"고 덧붙였다.
윤상민 국민대 교수(인증·교육 분과장)는 AI 신뢰성에 대한 인식 전환이 필요하다고 강조했다.
"많은 기업이 인증 절차를 '혁신의 걸림돌'로 봅니다. 그러나 신뢰성은 기술 개발의 핵심 인프라입니다. AI 신뢰성은 혁신을 방해하는 게 아니라, 혁신의 기반이 됩니다."
또한 윤 교수는 "평가 방법을 표준화해야 한다"며 "데이터나 모델 특성에 따라 기준이 달라지는 지금의 상황을 개선하고, 모두가 납득할 수 있는 표준화된 인증 체계를 마련해야 한다"고 말했다. 마지막으로 윤 교수는 "인센티브도 단편적으로 주는 게 아니라 패키지화해야 한다"며 "공공기관 조달, 수출 패스트트랙, 국제 상호인정 체계 등과 연계해 실질적인 보상을 제공해야 한다"고 제언하기도 했다.
한편 산업계 대표로 참여한 김동환 포티투마루 대표는 인증 제도의 현실성과 구체적 혜택을 강조했다.
"산업계 입장에서는 신뢰성 인증이 너무 엄격하면 부담이고, 너무 느슨하면 실효성이 없습니다. 명확한 기준이 필요합니다. 오히려 명확하게 맞고 가는 게 낫습니다."
김 대표는 "기업들은 인증에 시간과 비용, 인력을 투입해야 하므로 정부의 일부 보전이 필요하다"며 "또 인증을 받은 기업에는 실질적인 혜택이 주어져야 하는데, 예를 들어 공공조달이나 연구과제에서 가점을 주는 방식이 현실적"이라고 강조하기도 했다.
이어 김 대표는 "해외 진출을 위해서는 상호인정 체계가 중요하다"며 "한국의 인증이 미국·유럽에서도 인정받을 수 있도록 정부 차원의 조기 교류 필요성을 언급하기도 했다. 또 "신뢰성 검증은 단순한 기술 문제가 아니라 사용자 맥락을 고려한 시나리오 기반 검증이 돼야 한다"고 덧붙였다.
마지막으로 고환경 법무법인 광장 변호사는 제도적 관점에서 EU AI법과의 차이를 짚으며 국내 현실에 맞는 접근을 제시했다.
"EU AI법처럼 의무 인증을 도입하기엔 국내 산업의 성숙도가 아직 충분치 않습니다. 그렇다고 완전한 자율에 맡기면 실효성이 떨어집니다. 핵심 개발사부터 자발적으로 검인증을 받고, 그 서비스를 사용하는 기업은 컴플라이언스 이행으로 간주하는 방식이 현실적입니다."
특히 고 변호사는 "AI 법의 제재 수준이 과태료에 그치는 상황에서 인센티브는 조달 가점 등 실질적 보상 형태로 강화해야 한다"며 "인증 제도가 환각·보안사고 같은 실제 리스크를 다루지 못하면 신뢰를 잃는다"고 지적했다.
이어 "기술 전문가뿐 아니라 법·정책 전문가를 포함한 다학제적 심사위원 구성이 필요하다"며 "단계적으로, 현실성 있는 제도로 발전시켜 글로벌 상호운용성을 확보하는 것이 중요하다"고 덧붙였다.
이날 토론을 마무리하며 이상욱 의장은 "AI 인증은 100% 완벽할 수 없지만, 사회적 신뢰를 얻는 제도로 자리 잡는 게 중요하다"며 "기술·정책·산업계가 함께 노력해야만 실효성 있는 체계를 만들 수 있다"고 말했다.
그러면서 이 의장은 "이번 논의는 AI 신뢰성 인증 제도의 출발점"이라며 "기술, 정책, 산업계, 법조계가 함께하는 다학제적 접근으로 국제 경쟁 속에서도 신뢰받는 AI 생태계를 구축해 나가야 한다"고 덧붙였다.
