오는 22일 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(AI 기본법) 시행을 앞두고, 투명성·책임성 의무의 적용 범위와 기업 부담을 둘러싼 논쟁이 이어지고 있다.
유럽연합(EU)은 2024년 8월 발효한 AI Act(인공지능법)를 위험기반 체계로 운영하면서 생성형·범용 AI(GPAI) 규율을 별도 축으로 강화했다. 하지만 업계 반발도 적지 않았다. 이에 EU는 이러한 상황을 반영해 GPAI 모델 제공자 의무는 지난해 8월 2일부터 적용되도록 했다. 다만 집행위의 본격 집행 권한은 올해 8월 2일부터로 단계화돼 '규정 적용'과 '제재 집행'이 시차를 두고 진행된다.
반면 한국은 오는 22일 AI 기본법 시행과 관련해 시행령에서 표시·고지 방식, 고영향 AI 판단 절차, 안전성 확보 기준 등 세부 내용이 알려지며 실효성과 기업들이 치룰 컴플라이언스 비용에 대한 우려가 쟁점으로 떠오르고 있다.
업계의 목소리는 여전히 기준이 모호하고 적용 여부를 판단하기 쉽지 않다는 것이다. 또 굳이 선례가 없는 ‘세계 최초’의 부담을 감수할 이유가 없다는 입장이다. 정부와 법 도입 찬성 측은 '기업'이 아닌 '국민' 보호를 위해 시행이 불가피하다는 입장이다. 이러한 입장 차는 지난 6일 국회에서 스타트업얼라이언스와 더불어민주당 황정아 의원실이 함께 개최한 'AI 기본법 투명성·책임성 라운드테이블'에서도 재현됐다.
특히 이날 토론회는 코리아스타트업포럼, 코딧 글로벌정책실증연구원과 함께 스타트업얼라이언스가 공동 주관한 행사로, 최근 AI 기업 101곳을 대상으로 한 설문조사에서 98%가 "AI 기본법에 대해 준비되지 않았다"고 응답한 현실을 반영해 마련됐다.
최성진 대표 "고영향 AI 판단, 개인정보보호법의 악몽 재현될라"
이날 첫 순서는 최성진 스타트업성장연구소 대표의 ‘AI기본법 투명성·책임성 관련 쟁점’을 주제로한 기조발제로 시작됐다. 최 대표는 "세계 최초라는 타이틀에 집착하다 준비 없이 법을 시행하는 것 아니냐"는 직설 화법으로 우려를 숨기지 않았다.
특히 스타트업얼라이언스가 스타트업 100개 이상을 조사한 결과를 두고 "절반은 내용도 잘 모르고 준비도 안 돼 있으며, 절반은 내용은 아는데 준비를 못했다”며 “제대로 준비하고 있다는 곳은 1%에 불과하다"고 강조했다.
이어 최 대표는 고영향 AI 확인 절차에 대해 날카로운 지적을 쏟아냈다. 사업자가 스스로 고영향 AI 해당 여부를 판단해야 하는데, 중대하게 기본권에 영향을 미치는지를 판단하는 것은 매우 불명확하다는 것이다. 그러면서 최 대표는 "과기정통부에 확인을 요청해도 가이드라인에 '행정적 판단에 그치며 민·형사상 최종 판단은 법원이 한다'고 명시돼 있어, 결국 사업자가 온전히 책임을 져야 한다"고 지적했다.
이어 최 대표는 확인 절차에만 1~2개월이 걸리는 문제를 지적하며 사전 검토라는 점에서 사업자 입장에서는 신규 서비스 출시나 개편 자체를 늦춰야 하는 문제를 언급하기도 했다. 과기정통부 확인만 믿고 서비스를 론칭했다가 법원 판단이 다를 경우 누구도 책임지지 못하는 상황을 직격한 셈이다.
그러면서 최 대표는 개인정보보호법 사례를 통해 우려의 근거를 더했다. 개인정보보호법 도입 후 20년이 넘었지만, 여전히 가장 많은 분쟁은 명확한 유출 사고가 아니라 '이것이 개인정보에 해당하는가'를 쟁점으로 하는 사안들이라는 점이다. 최 대표는 "개인정보보호위원회를 믿고 서비스했던 기업들이 검찰·경찰에 의해 기소되거나 판결받는 상황이 비일비재했다”며 “난수로 발생시킨 전화번호까지도 개인정보로 판단된 사례도 있다"고 말했다.
그와 같은 사례는 고영향 AI 해당 여부도 유사한 법적 불확실성을 야기할 가능성이 크다는 것이 최 대표의 입장이다.
발표 후반, 최 대표는 생성형 AI 결과물 표시 의무에 대해서도 문제를 제기했다. "시행령은 기계가 판독할 수 있는 방법을 사용하더라도 사람이 알아볼 수 있게 1회 이상 표시하라고 한다"며 "하지만 사람이 인식할 수 있는 방법은 이미 앞에서 제시했는데, 왜 기계 판독 방법에 또 단서를 붙이느냐"고 반문했다.
그러면서 최 대표는 "화면상 표시는 악의적 목적으로 쉽게 삭제 가능하다"며 "모든 AI 결과물에 사람이 알아볼 수 있는 표시가 있다고 믿게 되면, 표시가 없는 것을 AI가 아니라고 오인할 수 있어 오히려 국민 보호 목적과 충돌한다"고 지적했다.
대안으로는 C2PA 같은 메타데이터 기반 기술 표준을 제시하며 "기술적으로 빠르게 파악 가능하고 결과물 조작이 어려우며, 사후 딥페이크 검지 역량이 강화된다"며 "정부가 이런 기술적 표준 적용을 권장하고 지원하는 정책이 필요하다"고 제안했다.
이호영 대표 "교육청마다 다른 기준, 모 웹툰 AI 대표는 일본으로 도피"
한편 이날 최성진 대표의 기조발제 이후에는 이상용 건국대학교 법학전문대학원 교수를 좌장으로 나선 종합토론이 진행됐다. 패널로는 이호영 툰스퀘어 대표, 정지은 코딧 대표(코리아스타트업포럼 대외정책분과위원장), 정주연 스타트업얼라이언스 선임전문위원, 김형준 한국지능정보사회진흥원 인공지능정책실 AI법제도센터 센터장, 최우석 과기정통부 인공지능안전신뢰지원과 과장 등이 참석했다.
먼저 이호영 툰스퀘어 대표는 AI 저작 도구 개발사의 현장 경험을 생생하게 전달했다. 이 대표는 "(이날 간담회 참석 전)여러 대표들과 통화하며 '전할 말이 없는지'를 많이 물어봤다”고 운을 뗐다.
"AI를 활용해 게임 상을 받았다가 기준 미비로 박탈당한 사례가 있고, 한국에서 사업하기 어려워 한국에 있기 보다 일본으로 도피하듯 간 웹툰 제작 AI 대표님도 있습니다. 그런 식으로 각자 생존을 위해서 살 방향을 찾는 분들도 있다는 말씀이예요. 그런 입장을 대변하고 싶습니다.”
툰스퀘어는 AI 저작 도구를 초등·중등·고등 대상으로 서비스하고 있다. 이 대표는 관련 규제를 언급하며 "교육부가 제시한 가이드라인이 모든 교육 단위에서 일관성 있게 제시되지 않았다"며 "각 시도교육청마다 다른 기준을 제시했고, 우리는 각기 다른 요건을 모두 파악해야 했다"고 토로했다.
그러면서 이 대표는 "법률 검토 비용, 문서 작성 및 커뮤니케이션 비용 등 제도가 없을 때보다 오히려 더 큰 비용과 에너지가 소모됐다"며 "잘 만들어진 기본법이 오해 없이 실무 현장까지 제대로 전파되고 정착될 수 있도록 하는 것이 중요하다"고 강조했다.
이 대표는 카테고리 중복 문제도 제기했다. "우리는 이용 사업자에 해당하지만, 파인튜닝(미세조정)이나 RAG(검색증강생성) 기술을 개발하면서 개발 사업자에도 살짝 걸쳐 있고, 내부에 웹툰 스튜디오를 운영하면서 이용자 역할도 한다"며 "게임사도 마찬가지로, 기술 개발을 하고 소프트웨어를 만들어내며, 자신이 만든 것을 AI로 광고해야 하니 직접 콘텐츠까지 만든다"고 설명했다.
그러면서 이 대표는 "(AI 기본법을)유연하게 적용해주신다는 말씀에 공감하지만, 더 많은 유연성이 발휘될 수 있으면 좋겠다"는 바람을 밝히며 "투명성과 책임성의 방향 자체에는 전적으로 공감하지만, 성공 사례뿐 아니라 많은 실패 사례까지 담긴다면 실패하지 않는 기본법 시행이 될 것"이라고 제안했다.
정지은 대표 ‘6개월’ 유예 필요... "법 제정을 넘어 이제는 알리는 데 집중해야"
코리아스타트업포럼 대외정책분과위원장이기도 한 정지은 코딧 대표는 리걸테크 사업자 관점에서 실무적 문제점들을 체계적으로 제시했다.
정 대표는 "AI 기본법이 나온 것은 알지만, 정확히 어떤 내용인지 스타트업들이 인지하고 적용하는 데까지는 큰 격차가 있어 시행 시간에 대한 압박이 확실히 있다"고 운을 뗐다.
그러면서 정 대표가 언급한 것은 AI기본법의 시행 유예였다. 정 대표는 EU가 오는 8월까지 규제 유예한 사실을 언급하며 한국 역시 최소 6개월 정도의 유예 기간 필요성을 제기했다. 그러면서 정 대표는 “더 많은 스타트업과 중소기업이 '내 케이스는 어떻게 되는지' 물어보고 답을 찾아 준비할 수 있는 시간과 기회를 주어야 한다"고 강조했다.
라벨링 방식에 대한 구체적 의견도 제시했다. "리걸테크처럼 텍스트 기반은 디스클레이머(면책조항)를 붙이는 게 유용하기 때문에 법 유무와 관계없이 라벨링을 계속할 것"이라며 "하지만 비주얼 콘텐츠는 유저 경험에 방해를 받을 수 있기 때문에, 한국에서만 가시적으로 표기하는 것이 쉽지 않다"고 말했다.
그러면서 정 대표는 "업계에서는 메타태깅이나 기계가 읽을 수 있는 방식으로만 해도 되지 않느냐고 하는데, 법령에서는 '일반 사람이 읽을 수 있어야 한다'고 요구한다"며 "유저 경험도 살리면서 라벨링을 하는 방법에 대한 명확한 해결책이 없다"고 지적했다.
이어 정 대표는 AI 기여도 판단 기준의 모호함을 지적했다. AI가 편집만 일부 했는지, 혹은 생성물 전체를 다 만들었는지를 무 자르듯 할 수 없다는 것이다. 정 대표는 "가시적 라벨링은 'AI가 했다'는 뜻인데, 그게 편집 일부인지 전체인지 구분할 수 있는 정보는 아니"라고 말하며 "완전 생성인지, 단순 편집인지 구분하기 위해 일일이 다 쓰기에는 콘텐츠 미감을 해칠 수 있다"고 지적했다.
책임 소재 문제도 제기했다. 현재 AI기본법에서 책임은 개발 사업자나 이용 사업자만을 대상으로 하고 사용자는 전혀 책임을 지지 않는 부분을 지적한 것이다. 정 대표는 "대부분 창작자들이 툴을 활용해 자기 콘텐츠를 만들어 올리는데, 사용자는 책임이 없기 때문에 무엇을 하든 컨트롤할 수 없다”며 “사업자는 툴을 만들지만, 그것으로 무엇을 하는지 모두 책임질 수 없다"고 토로했다.
정주연 위원 "98% 준비 안 됐다는 건, 법이 모호하다는 방증"
이어 정주연 스타트업얼라이언스 선임위원은 이날 행사의 근거가 된 스타트업얼라이언스의 101개 AI 기업 설문조사 결과를 바탕으로 세 가지 핵심 쟁점을 제시했다.
"응답 기업의 98%가 AI 기본법 준비가 안 되어 있다고 답한 것은 시행을 보름도 안 남긴 시점에서 매우 우려스러운 상황이었습니다. 특히 시리즈A 이하 초기 기업은 법령 내용조차 잘 모르고, 시리즈B·C 단계의 어느 정도 규모가 있는 기업들 조차 법이 있다는 점은 인지하지만 구체적인 대응 체계나 준비 계획을 갖춘 곳은 거의 없는 상황이었습니다.”
그러면서 정 위원은 "이 결과는 단순히 기업들이 준비를 못하고 있다는 것보다, 법과 시행령이 너무 모호하고 개선이 필요한 부분이 남아 있다는 것을 방증한다"고 강조하며 기업들이 제약 사항으로 꼽는 세 가지 쟁점을 언급했다.
정 위원이 첫 번째로 꼽은 것은 안전성 기준의 근본적 문제다. 정 위원은 AI기본법 시행령에서 ‘누적 연산량이 10의 26승 이상인 AI 시스템’에 적용되는 안전성 기준을 언급했다. “누적 연산량은 AI 모델의 규모를 나타내는 지표이지 AI 시스템의 지표가 아니”라는 것이 정 위원의 설명이다.
정 위원은 "AI 모델은 개발 과정에서 연산량 측정이 가능하지만, AI 시스템은 다양한 모델, 모듈, 알고리즘이 복합적으로 구성되어 있어 어떤 서비스, 어떤 서버에서 구동되는지에 따라 연산량이 계속 달라진다"며 "시스템의 총 연산량은 실무적·기술적으로 측정이 거의 불가능하다"고 강조했다.
그러면서 정 위원은 "많은 스타트업은 GPT 같은 파운데이션 모델을 사용하거나 LLM API를 활용하고, 오픈소스 모델을 약간 수정해서 서비스에 탑재한다"며 "연산력이 높은 AI 모델을 활용했다는 이유만으로, 학습에 관여하지도 않았고 실질적으로 통제력도 없는 상황에서 AI 안전성 기준이나 의무를 부담해야 하는지 모호하다"고 지적했다.
대안으로는 안전성 기준을 AI 시스템이 아니라 해외처럼 AI 모델에 적용하는 것이 제시됐다. 정 위원은 "연산 능력 기준은 AI 모델의 위험도를 사전 평가하는 참고 자료로만 활용하고, 서비스의 실질적 기능과 사용 맥락을 함께 고려한 위험 기반 평가 체계를 도입하는 것이 더 실효적"이라고 말했다.
다음으로 정 위원은 고영향 AI 확인 절차의 문제점을 지적했다. AI기본법 시행령에 따르면 확인 요청 시 학습 데이터의 개요를 제출하도록 되어 있는데, AI가 위험한지 판단할 때 핵심은 ‘서비스가 어떤 기능을 하는지, 어떤 분야에 사용되는지’라는 것이다. 정 위원은 이를 “인공지능 서비스 개요서만으로도 충분히 판단 가능하다"고 지적했다.
그러면서 정 위원은 "AI 개발·학습에 사용한 데이터, 개인정보·민감정보 포함 여부, 영업 기밀까지 적어내라고 하는 것은 기업에게 과도한 의무"라며 "이 정보를 다 공개하느니, 차라리 처음부터 고영향 AI라고 간주하고 조용히 관련 의무를 이행하는 편이 낫다는 식으로 흘러갈 가능성이 충분히 있다"고 우려를 표했다.
마지막으로 개발 사업자와 이용 사업자 간 자료 요청 규정과 관련된 문제다. 정 위원은 "시행령을 보면 이용 사업자가 개발 사업자에게 'AI 의무 이행에 필요한 자료를 제공해달라'고 요청하면, 개발 사업자는 '협력하도록 노력하여야 한다'고 규정되어 있다"며 "법률에 명시적인 위임 근거가 없고, 필요한 자료의 범위가 너무 모호하다"고 지적했다.
정 위원에 따르면 실제 이용 사업자가 '이 AI가 어떻게 작동하는지 상세한 알고리즘을 달라'고 요청한다면, 개발 사업자 입장에서는 이게 정말 의무 이행에 필요한 정보인지, 아니면 영업 기밀까지 공개하라는 것인지 판단하기 어려운 경우가 대부분이다.
이와 관련 정 위원은 "시행령에는 '노력 의무'로 되어 있지만, 제공을 거절할 수 있다는 권한도 명시되어 있지 않아 사업자 입장에서는 협력보다 분쟁 발생 가능성이 크다"며 "이 조항은 삭제가 바람직하고, 삭제가 어렵다면 최소한 요청 가능한 자료의 범위를 구체적으로 한정하고, 영업 기밀 보호 장치나 거절권을 명시해야 한다"고 제안했다.
김형준 센터장 "AI 기본법은 국민 리스크 감소용... 기업 리스크 감소용 아니다"
이날 김형준 한국지능정보사회진흥원 AI법제도센터 센터장의 입장은 직전까지 AI기본법에 대해 우려를 쏟아 내던 다른 패널들과 사뭇 달랐다. 이를테면, 김 센터장의 발언 내용은 앞선 패널들의 우려에 대한 강력한 반론이었다.
김 센터장은 "AI기본법 유예에 대해 말씀이 많은데, 우리나라 기업들은 5년을 유예한다고 해도 (준비를) 안 할 것”이라며 앞서 고영향 AI 확인과 관련해 사법적 리스크에 대한 우려를 표명한 발언에 대해 반박에 나서기도 했다.
김 센터장에 따르면 행정 해석 중에 법원에 뒤집히는 경우는 비일비재한 상황이며 이는 어느 부처도 해결하지 못한 문제라는 것이다. 또 김 센터장은 AI기본법에는 형사벌 규정이 없는 점을 지적하며 “무슨 사법적 리스크가 있다는 건지 모르겠다"고 직격했다.
AI 기여도 기준에 대해 비율을 정확하게 명시하는 것에 대한 의견에 대해서도 정면 반박했다. 김 셈터장은 "AI가 50%는 규제하고 49.9%는 규제 안 할 문제는 아니”라면서 “그렇게 하면 명확하고 예측 가능성이 있겠지만, 합리적이고 유연한 규제는 아니"라고 강조했다. 그러면서 김 센터장은 "그렇게 하면 우리나라 특성상 모든 기업들은 49.9%만, 특히 잘 나가는 기업은 49.99%만 AI가 활용되도록 해 규제를 피할 것"이라고 반박했다.
이어 김 센터장은 구체적 사례를 들어 맥락의 중요성을 강조했다. 그러면서 10% 미만 AI 수정은 표시 안 해도 된다고 할 경우의 문제를 지적했다.
“트럼프 대통령이 손을 들고 있는 사진에 AI를 사용해 손에 권총을 쥐고 있는 듯 넣는 것은 기여도가 10%가 안 될 겁니다. 그렇다면 저 같은 사람이 권총을 들고 있는 사진의 맥락에서 오는 위험성이 클까요, 트럼프 대통령이 권총을 들고 있는 사진이 실제인지 아닌지를 표시하느냐 마느냐가 중요할까요. 그렇게 따지고 보면 몇 퍼센트를 인공지능 기여도라고 해서 표시하고 말고를 결정하는 냐로 투명성을 얘기하는 것은 사실 의미가 없습니다.”
이어 김 센터장은 연산량 기준 대신 새로운 평가 체계를 마련하자는 제안과 관련해 “누적 연산량만 가지고 판단하는 것은 의미가 없다는 의견에는 동의한다"면서도 "법 시행을 코 앞에 주고 새로운 평가체계를 말하는 것은 피해자가 발생하는 것을 감수하자는 말과 같다”고 선을 그었다.
김 센터장은 법의 본질적 목적에 대해서도 의견을 밝혔다. ‘확인 절차가 기업의 리스크를 감소시켜주지 않는다’는 의견에 대해 김 센터장은 “AI기본법은 국민들에 대한 리스크를 감소시키기 위함이지, 기업들에게 리스크 감소를 주기 위한 것이 아니"라는 점을 강조했다.
그러면서 김 센터장은 원자력발전소 관계자들과 만나 이야기한 내용을 언급하기도 했다. 원자력발전소의 경우 안전성이 100% 보장되지 않으면 어떠한 장비도 쓰지 않는다는 것이다. 이와 관련 김 센터장은 "위험 관리 방안, 이용자 보호 방안, 사람에 의한 관리·감독이 불가능하다면 쓰지 말라는 얘기”라며 그 이유로 “타인의 생명, 신체, 기본권을 중대하게 침해할 수 있기 때문"이라고 재차 지적했다.
그러면서 김 센터장은 "고영향 분야는 먹는 물, 전기, 원자력, 의료, 교육 등 타인의 생명·신체·기본권에 중대한 영향을 주는 서비스”라는 점을 강조하며 “기업들이 힘들고 괴롭더라도 보호할 건 보호하고 해야 한다"고 목소리를 높였다.
한편 이날 각계 패널들의 의견을 청취한 최우석 과학기술정보통신부 인공지능안전신뢰지원과 과장은 정부 담당자로서의 솔직한 고충을 드러내면서도 균형잡힌 입장을 밝히며 공감을 샀다.
최 과장은 "기업 분들을 만날 때마다 매우 불안한 마음으로 간다"며 "투명성 주제를 직접 담당하고 있는데, 한 번은 기업에서 질의 사항을 받아봤더니 한 20개 정도가 있어서 진땀을 흘렸다"며 솔직한 심경을 토로했다. 그러면서 최 과장은 "정말 AI 기본법이 전 세계적으로 유례가 별로 없다 보니까, 다들 많이 불안해하시고 걱정이 많으신 것 같다"고 현장 분위기를 달래기도 했다.
한편으로 최 과장은 법 제정의 다른 측면도 설명했다. 업계의 애로점도 이해는 가지만, 법을 만드는 입장에서는 일반 국민들의 불안을 고려해야 한다는 것이다. 그러면서 최 과장은 “요즘 유튜브 영상들을 보면, 두세 개 중 하나 정도는 댓글에 '이것도 AI가 만든 거 아니냐'는 식으로 불편을 토로하는 경우가 많다"는 점을 언급하기도 했다.
그러면서 최 과장은 이날 나온 업계 의견에 대한 공감을 표명하기도 했다. 특히 “오늘 '알리는 데 집중해야 되는 시기'라고 하신 것에 대해 적극적으로 공감한다"며 "그래서 알리는데 집중하며 과태료 부과나 조사에 대해서 유예하는 방침을 계속 말씀드려온 바 있다"고 입장을 밝혔다.
이날 언급된 기술적 쟁점에 대해서도 최 과장은 솔직한 입장을 밝혔다. 메타데이터와 가시적 워터마크 사이의 긴장, 어디까지 AI로 볼 것인가 등에 대한 것들이다. 최 과장은 “부수적 기능으로만 썼을 때도 워터마크가 있어야 하는가에 대한 쟁점이 있다"며 "EU AI Act는 보수적 편집 정도의 기능을 사용할 때는 적용하지 않는 것으로 하고 있는데, 우리나라 AI 기본법은 아직 그런 내용을 법에서 명시하고 있지 않아 행정부가 함부로 완화 할 수는 없는 상황"이라며 보완의 필요성을 언급하기도 했다.
마지막으로 최 과장은 "국내외 역차별 이슈가 당연히 생겨서는 안 되고, 특히 EU와의 상호 운용성을 긴밀히 확보해 나가기 위한 국제 협력을 해나가야 한다"며 "50인 미만 기업에 미적용한다는 해외 입법 사례도 법 취지를 고려해 저희가 긍정적으로 참고해볼 것”이라고 입장을 밝혔다.
이날 논의된 AI기본법 관련 내용은 고민해 볼 이슈들이 적지 않았다. 특히 패널들이 공통으로 이야기한 라벨링 관련 기술적 조치, 부수적 사용 시 적용 여부 등을 새겨 들을 만 하다. 사법 리스크와 관련해서는 찬반 입장이 팽팽한 터라 추가적인 논의가 필요한 부분이다. 세계 최초 AI 기본법 시행까지 남은 시간은 12일. 법 시행 이후에도 현장의 목소리를 지속적으로 반영한 제도 보완이 이뤄질지 귀추가 주목된다.
