생성형 AI를 둘러싼 논의가 텍스트와 이미지, 코드 생성의 영역을 넘어 현실 공간으로 이동하고 있다. 로봇이 사람과 같은 공간에서 일하고, 자율주행차가 도로 위를 달리며, 드론이 물류를 수행하고, 자율운항 선박이 바다를 항해하는 시대가 가까워지면서 AI는 더 이상 화면 안의 소프트웨어에 머물지 않는다. AI가 물리적 행위를 수행하는 순간, 사고가 발생했을 때 책임은 누구에게 있는지, 안전성은 어떻게 검증할 것인지, 데이터 수집은 어디까지 허용할 것인지가 핵심 쟁점으로 떠오르고 있다.
2026 제15회 한국인터넷거버넌스포럼(KrIGF) 보안과 책임 세션에서는 이 같은 문제의식이 집중적으로 논의됐다. 올해 KrIGF는 ‘인터넷 파편화를 넘어, 평화와 공존의 인터넷 거버넌스’를 주제로 지난 2일 프란치스코 교육회관에서 열렸다. AI와 데이터, 보안과 책임, 거버넌스 등 디지털 사회의 주요 현안을 다루는 공개 포럼으로 마련된 자리다. 이 가운데 ‘현실 세계로 나온 AI : 피지컬 AI 시대의 책임과 안전, 어떻게 대응할 것인가?’ 세션은 피지컬 AI가 사회에 본격 진입할 때 필요한 책임 구조와 안전 검증 체계를 짚었다.
좌장을 맡은 이원태 국민대학교 특임교수는 세션의 출발점으로 피지컬 AI의 성격 변화를 제시했다. 생성형 AI가 주로 가상 공간에서 결과물을 만들어내던 기술이었다면, 피지컬 AI는 현실 공간에서 직접 움직이고 판단하는 기술이라는 것이다. 그러면서 이 교수는 피지컬 AI가 자동차, 로봇, 드론, 선박 등 다양한 물리적 시스템과 결합하면서 단순한 소프트웨어 문제가 아니라 인간과 같은 공간에서 함께 작동하는 자율적 행위자의 문제로 확장되고 있다고 짚었다.
“얼마 전까지 생성형 AI는 가상 공간에서 콘텐츠나 결과물을 생성하는 문제로 주로 논의됐죠. 그러나 최근 피지컬 AI는 자동차를 운전하고, 로봇이 사람과 함께 일하고, 드론이 물류를 수행하고, 자율주행 선박이 바다를 항해하는 단계로 이동하고 있습니다. AI가 현실 세계로 나온 것이죠. 이제 AI는 단순한 소프트웨어가 아니라 우리와 같은 공간에서 함께 살아가는 새로운 자율적 행위자가 되고 있습니다.”
기존 법으로는 부족한 피지컬 AI 사고 책임
이날 세션의 첫 번째 쟁점은 ‘사고 책임’이었다. 피지컬 AI가 자율적으로 움직이다 사고를 냈을 때 제조사, 운영자, 사용자, 소프트웨어 개발자 가운데 누구에게 책임을 물을 수 있는지에 대한 문제다. AI 시스템의 학습·추론 결과가 물리적 피해로 이어졌을 때, 기존 책임 법리만으로 제조사와 운영자, 소프트웨어 개발자, 사용자 사이의 책임을 충분히 가를 수 있는지가 쟁점으로 제기됐다.
이와 관련, 이철우 문화법률사무소 대표변호사는 현행 법체계로는 피지컬 AI 사고를 충분히 다루기 어렵다고 봤다. 이 변호사는 우선 제조물책임법의 한계를 지적했다. 현행 제조물책임법은 제조·가공된 동산을 전제로 하고 있어, 사고 원인이 독립적인 소프트웨어 오작동이나 AI 모델의 판단 오류에 있을 경우 제조물책임법만으로 책임을 구성하기에는 해석상 공백과 논쟁이 남아 있다는 것이다.
“피지컬 AI 사고는 하드웨어 자체의 결함보다 탑재된 AI가 오작동하거나 잘못된 판단을 내리는 문제일 가능성이 큽니다. 그런데 현행 제조물책임법은 제조·가공된 동산을 중심으로 하고 있어 소프트웨어 개발자나 관리 책임자에게 곧바로 책임을 묻기 어려운 구조예요. 소프트웨어도 제조물 개념에 포함할 것인지, 피지컬 AI 사고에서 입증 책임을 어떻게 완화할 것인지 논의가 필요하다는 거죠. 지금 법체계만으로는 현실에서 발생할 사고를 충분히 포섭하기 어렵습니다.”
민법과 형법의 확장 가능성도 언급됐다. 이 변호사에 따르면 민법상 동물 점유자 책임처럼 자율적 움직임을 보이는 대상에 대한 관리 책임을 확장해 볼 수 있다. 형법에서는 피지컬 AI를 활용한 범죄가 발생할 경우 간접정범 법리를 검토할 수 있지만, 이 역시 학술적·입법적 보완이 필요한 영역이다.
한편 조용호 변혁법제정책연구소 소장은 “AI 자체에 직접 책임을 묻는 문제는 더 근본적인 법적 논쟁과 맞닿아 있다”고 지적했다. 책임을 진다는 것은 재산권, 계좌, 법적 인격과 연결되기 때문에 현재 사회가 AI에게 독자적 책임 주체성을 부여할 준비가 돼 있는지는 별개의 문제라는 것이다. 그러면서 조 소장은 산업 현장의 AI는 노동을 대체하는 대체재로, 개인이 활용하는 AI는 인간 능력을 보완하는 보완재로 작동할 수 있다며 활용 영역별 책임 설계가 필요하다고 봤다.
“AI에게 책임을 묻는다는 것은 AI가 재산권을 갖고 계좌를 가져야 한다는 문제와 연결됩니다. 그런 기반이 없는데 어떻게 직접 책임을 물을 수 있을까요? 현재 행정 영역에서도 AI가 자동 처분을 보조할 수는 있지만, 처분의 이름은 여전히 행정 주체의 이름으로 나갑니다. 결국 책임 문제는 AI 자체의 책임이라기보다 인간과 조직, 제도 안에서 어떻게 배분할 것인지의 문제로 봐야 합니다.”
계속 학습하는 AI, 한 번의 인증으로 안전을 말할 수 있나
이날 세미나의 두 번째 쟁점은 안전 검증이었다. 기존 제품은 출고 전 인증이나 검사 절차를 통해 특정 시점의 안전성을 확인할 수 있다. 그러나 피지컬 AI는 클라우드와 연결되고, 현장에서 데이터를 수집하며, 업데이트와 학습을 반복한다. 한 번의 사전 인증만으로 장기간의 안전성을 보장하기 어려운 구조다.
이와 관련, 서영진 아이씨티넷 이사는 기존 사물인터넷(IoT) 보안인증제 경험을 바탕으로 피지컬 AI의 안전 검증 체계가 ‘인증’에서 ‘지속적 보증’으로 이동해야 한다고 강조했다. 기존 인증은 특정 시점의 소스코드와 해시값을 기준으로 이뤄지는 방식에 가깝다. 하지만 AI는 동일한 입력에도 다른 결과를 낼 수 있고, 학습과 업데이트를 거치며 작동 방식이 변할 수 있다는 것이 서 이사의 생각이다.
“IoT 보안인증은 인증을 받는 순간의 소스코드와 해시값을 기준으로 합니다. 변경이 생기면 다시 인증을 받아야 하는 구조죠. 그런데 AI는 기본적으로 블랙박스에 가깝고, 같은 입력을 줘도 매번 조금씩 다른 결과가 나올 수 있습니다. 피지컬 AI가 현장에서 계속 학습하고 업데이트된다면 지금과 같은 일회성 인증제도만으로는 부족하다 할 수 있죠. 제품 생애주기 전반에서 지속적으로 안전성과 보안성을 보증하는 체계로 가야 한다고 봅니다.”
그러면서 서 이사는 업데이트 절차의 투명성도 중요하다고 봤다. 피지컬 AI 제품이 현장에 배치된 뒤 기능이 변경되거나 모델이 업데이트될 경우 사용자에게 변경 사실과 내용을 안내해야 한다는 것이다. 또한 제조사 역시 업데이트 전 안전성 검사와 보안성 검사를 거쳐야 하며, 업데이트 이후에도 변경 이력이 관리돼야 한다고 덧붙였다.
이어 조윤재 신한대 교수는 “피지컬 AI 논의가 기존 로봇 법제의 연장선에서 다뤄질 필요가 있다”고 말했다. 조 교수는 2008년 지능형 로봇 관련 법제 논의와 2023년 이동로봇 제도 변화 등을 언급하며, 로봇 법제가 산업 진흥을 넘어 생활 공간에서의 안전·책임 문제로 확장되고 있다고 설명했다. 특히 2023년 법 개정으로 운행안전인증을 받은 실외이동로봇의 보도·횡단보도 통행 근거가 마련된 점은 로봇이 생활 공간으로 들어오기 위한 제도적 전환점으로 제시됐다.
“과거 지능형 로봇 법제를 논의할 때도 네트워크형 로봇을 어떻게 볼 것인지가 쟁점이었습니다. 이후 이동로봇이 인도나 아파트 단지 같은 생활 공간으로 들어올 수 있는 근거가 마련됐죠. 이제는 피지컬 AI가 계속 학습하고 연결되는 시스템이라는 점을 반영해야 합니다. 기존 로봇 산업 진흥과 이동 허용의 문제를 넘어 안전과 책임, 인증 체계를 함께 다루는 방향으로 법제가 진화할 필요가 있다는 거죠.”
안전을 위한 데이터와 감시 사이의 경계
세 번째 쟁점은 데이터였다. 피지컬 AI는 현실 공간에서 작동하기 위해 카메라, 센서, 위치 정보, 음성, 행동 데이터 등을 수집한다. 자율주행차가 도로 상황을 인식하고, 배달 로봇이 보행자를 피하며, 드론이 이동 경로를 판단하려면 주변 환경 데이터가 필요하다. 문제는 그 과정에서 사람의 얼굴, 위치·이동 경로, 음성, 행동 패턴 등 개인을 식별하거나 추적할 수 있는 정보가 함께 수집될 수 있다는 점이다.
이에 대해 배정철 부산대학교 교수는 피지컬 AI 데이터 거버넌스의 핵심으로 ‘목적성’과 ‘공공 정당성’을 제시했다. 데이터 수집은 기술 성능 향상을 이유로 무제한 허용될 수 없으며, 안전 운행이나 공공 목적에 필요한 범위로 제한돼야 한다는 것이다. 특히 공공장소에서 작동하는 피지컬 AI가 상시 감시와 추적 장치로 변질돼서는 안 된다고 강조했다.
“피지컬 AI의 데이터 관리는 목적성이 분명해야 합니다. 안전 운행에 필요한 필수 데이터만 허용돼야 하고, 공공장소라고 해서 상시적으로 감시하고 추적하는 것은 허용돼서는 안 됩니다. 또 가명처리·익명처리 등 보호 조치가 전제돼야 하며, 신체와 이동, 행동 데이터는 특별히 보호되는 영역으로 설정해야 하죠. 이는 단순한 기술 규제가 아니라 사회적 신뢰를 쌓는 인프라 설계의 문제라 할 수 있습니다.”
토론에 참여한 김솔리 서울여자대학교 학생은 청년이자 보안·개인정보 보호를 공부하는 관점에서 데이터 활용과 개인정보 보호 사이의 균형을 강조했다. 김솔리 학생은 “데이터가 많을수록 AI가 더 정확하고 안전하게 작동할 수 있지만, 배달 로봇과 자율주행차, 드론이 위치와 이동 경로, 얼굴, 음성 같은 식별 가능 정보를 수집할 수 있다는 점을 함께 봐야 한다”고 말했다.
또 학습 목적에 불필요한 요소는 블러 처리, 익명화, 가명화, 차등 프라이버시 등 보호 기술을 적용해야 한다고 제안했다. 다만 자율주행차, 의료 로봇, 드론처럼 안전과 직결되는 영역에서는 정확도가 중요하기 때문에 모든 데이터를 동일한 기준으로 제한하기보다 상황과 맥락에 따른 차등 기준이 필요하다고 덧붙였다.
“데이터가 많을수록 AI는 더 정확하고 안전하게 작동할 수 있습니다. 하지만 동시에 위치, 이동 경로, 얼굴, 음성 같은 식별 가능 정보가 수집될 수 있고, 데이터가 결합되면 이전에는 알 수 없던 새로운 정보가 드러날 수도 있죠. 그래서 학습에 불필요한 요소는 블러 처리와 익명화, 가명화 기술을 적용해야 합니다. 다만 자율주행차나 의료 로봇처럼 사고 예방을 위해 정확도가 중요한 영역은 상황과 맥락을 구분해 데이터 수집 범위를 다르게 설계할 필요가 있다고 생각합니다.”
이날 토론은 피지컬 AI 논의가 산업 경쟁력과 기술 진흥을 넘어 책임 배분, 안전 검증, 데이터 거버넌스까지 함께 다뤄져야 한다는 점을 보여줬다. 민재명 한국열린사이버대 SMART AI 경영학과 교수는 피지컬 AI가 현실 사회에 들어올 경우 노동, 분배, 인간의 역할까지 다시 논의해야 한다고 강조했다. 피지컬 AI가 사람의 노동을 대체하거나 보완하는 수준을 넘어 사회 시스템 자체에 영향을 줄 수 있다는 문제의식이다.
또 민 교수는 기존 제도 안에서 센서 업체, 소프트웨어 개발사, 운영사 가운데 누구 책임인지를 따지는 논의만으로는 충분하지 않다고 봤다. 피해가 발생했을 때 피해자가 복잡한 책임 주체를 먼저 입증해야 한다면 기술 수용성이 낮아질 수 있기 때문이다. 그러면서 민 교수는 ‘책임을 배분하는 제도 설계’의 필요성을 언급했다.
“지금은 우리가 한 번도 경험해 보지 못한 디지털 세계와 물리 세계가 융합하는 시점입니다. 기존의 틀로만 해석하면 책임이 운영체계 개발자에게 있는지, 센서 업체에 있는지, 운영자에게 있는지의 문제에 머물 수밖에 없죠. 사고가 발생했을 때 피해자가 먼저 어느 회사의 소프트웨어 문제인지를 찾아야 한다면 사회적 수용도는 높아지기 어렵다고 봅니다. 그래서 먼저 피해자에게 배상이 이뤄지고, 이후 데이터 로그를 통해 사후적으로 책임을 배분하는 식의 제도 설계가 필요하다고 생각합니다.”
이번 토론은 피지컬 AI를 둘러싼 논의가 산업 경쟁력이나 기술 진흥만으로는 충분하지 않다는 점을 보여줬다. 피지컬 AI는 제조업, 물류, 의료, 국방, 공공서비스 등 다양한 영역에서 새로운 가능성을 열 수 있다. 그러나 현실 공간에서 움직이는 AI는 곧바로 사람의 안전, 프라이버시, 노동, 책임 문제와 연결된다.
결국 피지컬 AI 시대의 거버넌스는 기술을 얼마나 빠르게 도입할 것인가의 문제가 아니라, 사회가 그 기술을 신뢰할 수 있도록 어떤 책임 구조와 안전 검증 체계, 데이터 보호 원칙을 마련할 것인가의 문제라는 것이 이날 토론의 요지였다.
생성형 AI 이후 현실 세계로 나온 AI를 맞이하기 위해서는 일회성 인증, 사후적 책임 추궁, 포괄적 데이터 수집에 머무는 기존 방식에서 벗어나야 한다. 피지컬 AI의 경쟁력은 기술 성능만이 아니라 사고가 났을 때 책임을 묻고, 작동 중에도 안전을 검증하며, 필요한 데이터와 감시의 경계를 분명히 하는 사회적 신뢰 인프라 위에서 완성될 수 있다는 점을 시사했다.
