AI 기반 서비스면 먼저 알릴 것, 사전 고지와 표시를 구분해 정리

‘고영향’은 2단계 적용… 기본권·안전에 중대한 영향/위험 우려가 있는지에 집중

책무는 결국 ‘프로세스’, 위험관리·설명·이용자 보호·사람의 감독·문서화까지

[편집자 주]

AI 기본법 시행과 함께 공개된 5종 가이드라인(투명성·안전성·고영향 판단·고영향 사업자 책무·영향평가)은 기업의 AI 운영을 ‘기술’이 아니라 ‘책임’의 문제로 바꾸고 있다. 테크42는 이번 시리즈를 통해 각 가이드라인이 요구하는 핵심 원칙과 실무 포인트를 짚고, 서비스 설계·운영·거버넌스 관점에서 무엇이 달라지는지 정리한다. 특히 ‘고지·표시’부터 위험관리와 문서화, 그리고 기본권 영향평가까지 이어지는 연결고리를 따라가며 현장에서 바로 부딪히는 쟁점을 짚어본다.

AI 기본법 시행과 함께 공개된 5종 가이드라인(투명성·안전성·고영향 판단·고영향 사업자 책무·영향평가)은 기업이 “무엇을 해야 하는가”를 한 문장으로 압축한다. 이용자가 AI를 쓰고 있다는 사실을 알 수 있어야 하고, 기업은 그 사실을 고지·표시로 드러내며, 서비스가 ‘고영향’에 해당한다면 위험관리와 설명, 감독, 기록(문서화)까지 체계로 만들어야 한다는 것이다.

“AI로 굴러가면 먼저 알리라”…투명성은 ‘고지’와 ‘표시’로 나뉜다

투명성 확보 가이드라인은 제도의 취지를 먼저 분명히 한다. 이용자가 AI 기반 제품·서비스를 이용하고 있다는 사실, 그리고 제공되는 결과물이 AI에 의해 생성된 것임을 '명확히 인식'할 수 있어야 하며, 이는 정보 이용 과정에서의 혼동과 오인을 줄이고 사회적 신뢰를 높이기 위한 장치라는 설명이다.

여기서 핵심은 ‘알린다’는 행위를 하나로 뭉뚱그리지 않고 사전 고지(서비스 자체가 AI 기반이라는 사실)와 표시(결과물이 AI 생성물이라는 사실)로 갈라서 안내한다는 점이다. 예컨대 고영향 AI나 생성형 AI를 이용한 제품·서비스라면, 이용자가 서비스를 쓰기 전에 “AI 기반으로 운용된다”는 사실을 사전에 고지해야 한다. 반대로 생성형 AI 결과물의 경우엔 결과물이 “AI에 의해 생성되었다”는 점을 표시하도록 정리돼 있다.

이 구분은 실무에서 바로 ‘화면’ 문제로 이어진다. 사전 고지는 약관·계약서·가입 절차·화면 표시 등 다양한 방식이 가능하다고 안내하지만, 실제 서비스에서는 “어디까지가 사전 고지고, 어디부터가 표시냐”가 애매해질 수 있다.

이와 관련해 업계에서는 온보딩에서 한 번 고지하면 충분한지, 생성 결과물 화면마다 표시가 필요할지처럼 UX 기준을 어떻게 잡아야 하느냐가 초기 운영의 가장 큰 고민이 될 것이라고 본다.

누가 책임지나…“최종 제공자”가 투명성 의무의 중심으로 찍혔다

가이드라인은 의무 주체도 구체적으로 설명한다. 이용자에게 최종적으로 AI 제품·서비스를 제공하는 인공지능사업자에게 투명성 확보 의무가 부과된다는 점을 분명히 하면서, 파운데이션 모델 API를 제공하는 개발사(A)와 이를 활용해 이용자에게 서비스를 내는 사업자(B)가 분리된 경우 의무는 B사에 부여된다는 예시를 든다.

현장에서는 이 대목이 공급망 정리로 이어진다는 해석이 나온다. 모델·툴·데이터가 다층으로 얽힌 서비스일수록 ‘최종 제공자가 책임’이라는 원칙 아래, 서비스 화면의 고지/표시뿐 아니라 내부적으로 어떤 구성요소를 썼는지 정리해 두는 작업이 필요해질 수 있어서다.

이와 관련해 업계에서는 “지금까지는 기술 조합을 빠르게 만드는 데 집중했다면, 앞으로는 이용자 접점에서 ‘설명 가능한 구조’로 정리하는 비용이 늘어날 수 있다”는 반응이 나온다.

‘딥페이크’는 한 단계 더…“실제와 구분 어렵다면” 고지·표시를 강화

투명성 가이드라인이 별도로 떼어 설명하는 게 딥페이크다. AI 시스템으로 만든 결과물이 ‘실제와 구분하기 어려운 가상의 음향·이미지·영상’에 해당한다면 이용자가 명확히 인식할 수 있는 방식으로 고지 또는 표시해야 한다고 적시한다.

또 일반 생성물이라도 다운로드·공유 등 외부 반출 기능이 있으면 결과물 자체에 표시가 필요하다고 안내하는 등, 서비스 내부 UI에서 끝나지 않고 콘텐츠가 ‘서비스 밖’으로 나가는 순간을 관리 포인트로 잡는다.

이에 업계에서는 “표시를 넣는 것 자체보다, 외부로 퍼지는 콘텐츠 단에서 표시를 ‘일관되게 유지’하는 체계가 더 어렵다”는 이야기가 나온다. 공유·다운로드·캡처 등 유통 경로가 다양해지면 표시가 누락되는 순간이 생길 수 있기 때문이다.

이와 관련해 과기정통부(이하 과기부) AI 기본법 담당자는 "AI가 만든 결과물이 외부로 유통되는 단계는 AI 기본법 적용 대상이 아니"라고 밝혔다.

‘고영향’은 2단계로 본다…영역에 해당해도 “중대한 영향/위험 우려”가 관문

고영향 인공지능 판단 가이드라인은 고영향 AI를 사람의 생명·신체 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로 전제하고, 그 판단을 2단계 구조로 제시한다.

먼저 1단계는 사용되는 ‘영역’이다. 에너지·먹는물·보건의료·원자력·범죄 수사·체포·채용/대출 심사·교통·공공서비스·교육 등 일정 영역에서 사용되는 AI인지 살펴본다.

그다음 2단계에서, 1단계에 해당하는 영역에서 활용되는 AI 시스템이 생명·신체 안전 및 기본권 보호에 중대한 영향을 미치거나 위험을 초래할 우려가 있는지를 본다.

이 구조는 ‘영역’만으로 자동 분류하지 않는다는 뜻이기도 하다. 다만 이 지점에서 현장 반응이 갈린다. 업계에서는 1단계는 비교적 체크 가능하지만, 2단계의 ‘중대한 영향’이나 ‘위험 우려’는 서비스 맥락(대상·규모·의사결정 영향력)에 따라 달라질 수 있어 보수적으로 판단할 유인이 커질 수 있다고 본다.

이와 관련해 과기부 AI 기본법 담당자는 "앞서 설명회와 보도자료 등을 통해 '사람의 개입'이 중요함을 안내하고 있다"며 "중대한 영향이나 위험에 대한 우려보다 직관적인 판단이 용이하고, 또 대부분의 AI가 고영향AI에서 제외된다"고 설명했다. 즉 사람이 개입이 있는 경우라면 '고영향AI'해당되지 않는다는 것이다.

‘확인 요청’도 길을 열었다…제출 뒤 30일 내 통지, 필요하면 연장 가능

가이드라인은 고영향 여부를 사업자가 자율 검토한 뒤, 필요 시 확인 요청을 할 수 있고, 요청서 제출 이후 전문위원회 개최 여부를 검토해 30일 이내 판단 및 결과 통지를 안내한다. 복잡성·중요성 등을 고려해 30일 이내 연장도 가능하게 했다.

이 흐름은 기업 입장에서는 “애매하면 물어볼 수 있다”는 안전판이 될 수 있지만, 동시에 “애매함이 많으면 문의·검토가 쌓일 수 있다”는 우려도 낳는다. 이와 관련해 업계에서는 제품 출시 속도와 규제 확인 프로세스가 어떻게 맞물릴지를 가장 민감하게 본다.

한편으로 고영향 AI 관련 사업자 책무 가이드라인은 법 조문에 적힌 조치사항을 그대로 풀어 제시한다. 고영향 AI(또는 이를 이용한 제품·서비스)를 제공하는 인공지능사업자는 안전성과 신뢰성 확보를 위해 ▲위험관리방안 수립·운영 ▲기술적으로 가능한 범위에서 최종결과·주요 기준·학습용 데이터 개요 등에 대한 설명 방안 수립·시행 ▲이용자 보호 방안 수립·운영 ▲사람의 관리·감독 ▲조치 내용을 확인할 수 있는 문서 작성·보관 등을 이행해야 한다는 내용이다.

여기서 ‘설명’과 ‘문서’가 눈에 띈다. 단순히 내부에서 안전하게 운영하라는 수준을 넘어, 나중에 “무엇을 했는지” 확인할 수 있어야 한다는 방향이기 때문이다. 이와 관련해 업계에서는 특히 ‘학습용 데이터의 개요’처럼 문구가 남겨진 부분이 실무에선 범위 설정이 필요해질 수 있고, 결과적으로 컴플라이언스 업무가 급격히 커질 수 있다는 반응이 나온다.

이와 관련 과기부 AI 기본법 담당자는 "현재 고영향 AI에 해당하는 경우는 거의 없을 것으로 추정하고 있다"며 "설령 해당되는 경우라도 사업자 책무 가이드라인에서 제공한 문서 예시와 같이 10페이지 이내의 문서 작성을 통해 쉽게 의무 이행이 가능하다"고 답해왔다.

안전성·영향평가는 ‘운영 체계’로…수명주기 위험관리와 ‘기본권’ 점검을 연결

안전성 확보 가이드라인은 목차 단계부터 안전을 ‘한 번 점검’이 아니라 수명주기 전반의 위험관리(식별·평가·완화), 그리고 안전사고 모니터링 및 대응, 보고 및 제출로 설계한다.

영향평가 가이드라인은 고영향 AI 제품·서비스를 제공하는 경우, 사전에 사람의 기본권에 미치는 영향을 평가하는 절차를 영향평가로 정의하고, 사업자가 잠재 영향을 식별·분석해 개선방안을 마련·이행하도록 유도하는 목적을 적시하고 있다.

법 조문 인용에서는 영향평가가 ‘노력’으로 규정돼 있지만, 국가기관 등이 고영향 AI 제품·서비스를 이용하려는 경우 영향평가를 실시한 제품·서비스를 우선적으로 고려하도록 적어, 시장에 신호를 줄 수 있는 대목도 함께 제시한다.

이와 관련해 업계에서는 ‘노력 의무’라고 해도 조달·거래 관행에서 사실상 요구사항처럼 굳어질 가능성을 염두에 두고 있다. 특히 공공 부문에서 ‘우선 고려’가 어떤 방식으로 적용될지에 따라, 기업이 영향평가를 준비하는 속도도 달라질 수 있다는 관측이다.