편집자 주
AI 기본법 시행과 함께 공개된 5종 가이드라인(투명성·안전성·고영향 판단·고영향 사업자 책무·영향평가)은 기업의 AI 운영을 ‘기술’이 아니라 ‘책임’의 문제로 바꾸고 있다. 테크42는 이번 시리즈를 통해 각 가이드라인이 요구하는 핵심 원칙과 실무 포인트를 짚고, 서비스 설계·운영·거버넌스 관점에서 무엇이 달라지는지 정리한다. 특히 ‘고지·표시’부터 위험관리와 문서화, 그리고 기본권 영향평가까지 이어지는 연결고리를 따라가며 현장에서 바로 부딪히는 쟁점을 짚어본다.
고영향 AI를 둘러싼 질문은 ‘무슨 모델을 썼나’가 아니라 ‘어떻게 운영했나’가 핵심이다. 특히 고영향 AI 사업자 책무가 겨냥하는 것은 기술의 완벽함이 아니라 절차의 일관성이다. 위험을 어떻게 관리했는지, 이용자에게 무엇을 어떻게 설명했는지, 이의제기나 피해가 발생했을 때 어떤 루트로 처리했는지, 그리고 그 모든 것을 문서로 남겼는지가 결국 책임의 기준이 된다. 업계에서는 이 지점이 “AI 운영이 보안·개인정보처럼 증빙 중심 운영으로 편입된다”는 신호로 보는 시각이 적지 않다.
다만 AI 기본법 시행 이후 현 시점에서 책무 논의는 한 단계 더 구체화됐다. 과학기술정보통신부(과기정통부)가 고영향 AI 규제와 관련해 “모든 AI가 아니라 실제 위험성이 높은 AI만 규제한다”는 취지로 설명하고 있고, 이에 따라 고영향 판단은 영역·위험·사람 개입이라는 조건으로 더 직관적으로 읽히기 시작했기 때문이다.
실제로 과기정통부는 채용·대출심사·교통(자율주행) 같은 분야에서 사람의 검토·승인 없이 AI가 전적으로 결정하는 경우를 예시로 들고, 반대로 사람의 개입·통제가 있으면 고영향 AI에서 제외될 수 있다는 점도 함께 강조했다.
업계에서는 이 부분에서 ‘규제 완충장치’로 작동할 수 있다는 기대와 함께, “어느 수준의 개입이 ‘실질적 통제’로 인정되는가가 곧바로 다음 쟁점이 될 것”이라고 전망하고 있다. 형식적 승인인지, 책임 있는 승인인지, 로그·승인기록 같은 증빙이 필요한지에 따라 운영 설계가 달라지기 때문이다.
위험·설명·보호·감독·문서화… 의무는 ‘프로세스’로 내려온다
AI 기본법이 제시하는 고영향 AI 사업자 책무의 뼈대는 다섯 축이다. 위험관리방안을 수립·운영하고, 기술적으로 가능한 범위에서 최종결과·주요 기준·학습용 데이터 개요 등에 대한 설명 방안을 마련해 시행하며, 이용자 보호 방안을 갖추고, 사람의 관리·감독 체계를 세우고, 안전성·신뢰성 확보 조치를 확인할 수 있도록 문서를 작성·보관하라는 것이다. ‘AI는 기능이 아니라 거버넌스로 관리하라’는 요구가 구체화 된 셈이다.
이 가운데 실무에서 가장 빠르게 ‘처리해야 할 과제’가 되는 항목은 대체로 설명·이의제기·문서화다. 적잖은 업계 전문가들은 ‘설명 방안’이 단순 안내문을 뜻하는 것이 아니라, 분쟁이나 오류가 발생했을 때 결정 과정과 기준을 되짚을 수 있는 구조를 뜻한다고 해석한다. 여기서 ‘학습데이터 개요’ 같은 문구는 기업의 데이터·공급망 구조와 맞물리며 부담을 키울 수 있다는 우려가 더해지고 있다. 외부 모델과 외부 데이터가 섞인 서비스일수록 ‘어디까지를 우리 설명 책임으로 둘 것인가’가 곧 계약과 책임 경계로 이어지기 때문이다.
사람의 관리·감독 역시 ‘상시 감시’라기보다 필요한 순간 개입할 수 있는 권한·기준·책임 라인을 만드는 문제로 읽힌다. 과기정통부가 고영향 판단에서 ‘사람 개입’을 완충장치로 제시한 만큼, 역설적으로 기업은 ‘우리는 사람이 통제한다’를 말로만이 아니라 운영 설계로 증명해야 한다는 말이 된다. 승인 체계, 예외처리, 중단 권한, 기록 방식이 없으면 ‘개입’은 형식에 그칠 수 있기 때문이다.
또 하나 주목할 부분은 고영향 AI 책무가 ‘안전성(고성능 AI)’과 같은 단어를 공유하면서도, 적용 범위가 다르다는 점이다. 과기정통부는 고성능 AI 안전성 확보 의무는 학습누적량(연산량)·최첨단성·위험도를 모두 충족하는 AND 구조로 제시했고, 현재 그 조건을 충족하는 인공지능은 없다고 설명하고 있다.
업계에서는 이를 고성능 AI 규율은 대형 모델 개발사 영역에 가깝지만, 고영향 AI 책무는 의료·금융·채용·공공 등 ‘현장 서비스’에서 당장 체감되는 규율로 보는 해석이 지배적이다. 결국 AI 기본법이 막 도입된 올 상반기 기업의 과제는 ‘고성능 AI’보다 ‘고영향 AI 사업자 책무를 어느 수준으로 운영 체계화할 것인가’에 집중될 것으로 전망된다.
‘중대한 기능 변경’이 경계선… 책임이 이동하는 순간을 대비해야
여기서 실무를 흔드는 문구은 ‘중대한 기능 변경’이다. 법 시행령 취지에 따르면 개발사업자가 이미 위험관리·설명·이용자 보호 조치를 이행했고, 이용사업자가 AI 시스템의 중대한 기능 변경을 하지 않았다면 이용사업자는 해당 조치를 일부 또는 전부 이행한 것으로 볼 수 있다. 하지만 한편으로는 중대한 변경이 발생 시 책임이 다시 이동할 수 있다는 뜻으로 해석되기도 한다. 실제 업계 종사자들 역시 이 기준을 “API만 붙였다고 끝이 아니라, 통합과 재설계의 순간부터 책임 구조가 바뀐다”는 경고로 받아들이고 있다.
이러한 이유로 현장에서는 “무엇이 중대한 변경인가”를 구체 사례로 재해석한다. 예를 들어 범용 모델을 붙여 대출 심사 보조 기능을 만들었는데, 이를 자동 승인 추천까지 확장해 의사결정 비중을 키우면 용도·위험성·신뢰성의 성격이 함께 바뀌었다고 볼 여지가 커진다고 보고 있다. 또 고객 상담 챗봇을 운영하다가 데이터를 더 붙여 민원 분류·조치 권고까지 맡기면, 활용 맥락이 바뀌어 동일성을 주장하기 어려워질 수 있다는 우려도 있다.
이 외에도 교육 서비스에서 요약·피드백 기능을 제공하던 AI의 경우 학생 평가 점수 산정에 들어가면, 영향을 받는 대상과 기본권 리스크의 범위 자체가 달라진다. 기능 확장이 잦은 AI 서비스 특성상, 기업 내부에 ‘지금도 같은 시스템인가’를 점검하는 기준이 없으면 책임 경계가 흔들릴 수 있다는 게 목소리가 업계에서 나오고 있다.
문제는 ‘공개’와 ‘문서 보관’의 요구가 결합될 경우다. 책무 이행의 주요 내용을 홈페이지 등에 게시해야 하고(영업비밀 제외 가능), 이행 근거 문서를 전자적 보관을 포함해 일정 기간 보관해야 하는 구조는 ‘규정 준수’를 넘어 ‘분쟁 대응’의 문법으로 기업 운영에 반영될 수밖에 없다. 끌어온다. 특히 B2B·공공 도입 환경에서 고객사가 요구하는 증빙 수준이 높아질수록, 문서화는 단순 내부 관리가 아니라 거래 요건이 될 수 있다고 본다.
실제로 시행 이후 기업들의 문의 흐름을 보면, 가장 많이 쏟아진 질문은 ‘투명성(표시)’이었지만, 그 다음으로 고영향 여부 확인과 용어 정의, 사업자 책무가 뒤따랐다. 업계에서는 “처음에는 표시가 눈앞의 숙제였다면, 이제는 고영향 판단과 책무 이행이 내부 프로세스 설계 문제로 다가오고 있다”는 반응이 나온다. 지원데스크의 회신 체계가 정리되면서도, 기업들이 ‘사업자’와 ‘이용자’의 경계를 묻는 질문은 쉽게 줄지 않을 것이라는 전망도 있다.
팩트 박스 | ‘고영향 AI 사업자 책무’ 핵심 체크
>고영향 AI 책무는 기술이 아니라 위험관리·설명·이용자 보호·사람의 감독·문서화로 구성된 운영 체계다.
>과기부는 고영향 AI를 “실제 위험성이 높은 AI만 규제”하는 취지로 설명하며, 사람의 개입·통제가 있으면 제외될 수 있다는 점을 함께 강조한다.
>‘중대한 기능 변경’은 책임 경계를 바꾸는 트리거가 될 수 있어, 기능 확장·목적 변경 시 동일성 점검 기준이 필요하다.
>고성능 AI 안전성 확보 의무는 연산량·최첨단성·위험도 AND 조건이며, 과기부는 현재 해당 없음을 명시했다. 고영향 책무와 적용 범위를 구분할 필요가 있다.
