국내 한 IT 기업에서 신입 개발자를 채용하는 과정에서 인공지능(AI) 감독관이 등장해 눈길을 끈다. 이 AI 감독관은 코로나19로 인한 비대면 채용 과정에 처음 투입됐는데, 온라인 필기시험 전형에서 부정행위 탐지와 시험 감독을 담당했다. 

AI 시험 감독관을 도입한 회사는 NHN이다. 이 회사는 최근 기술부문 신입사원 공채를 진행했다. 기술부문 사원은 신입 개발자들로, 올해부터 NHN은 비대면 채용의 일환으로 신입 개발자의 오프라인 필기시험을 온라인으로 전환했다.  

AI 감독관이 어떻게 개발자 필기시험을 관리·감독할까?

그렇다면 AI 감독관은 어떻게 신입 개발자들의 필기 시험을 감독할까. 이에 대한 궁금증을 NHN 측에 질의응답을 통해 확인해 봤다. 

Q. 오프라인 시험장이 아닌데 온라인 상에서 어떻게 관리 감독을 하는가

A. 신입 개발자 온라인 필기시험에는 서류전형과 코딩테스트를 통과한 1000여 명이 응시했다. NHN이 직접 개발한 AI 시험 감독관은 정면 원격 카메라로 응시자들의 표정과 동작, 음성을 실시간으로 분석하고, 부정행위나 이상 움직임이 감지되면 의심 구간을 자동으로 수집해 로그를 기록한다. 

Q. 이러한 기록으로 부정행위를 감지해 낼 수 있나?

A. 일반 시험에서처럼 외우고 있는 정답을 종이에 적어내는 시험은 아니다. 개발자의 코딩 능력을 테스트하는 것인데, 오프라인에서 사람 감독관이 보는 것과 온라인에서 AI 카메라가 보는 것에 큰 차이는 없다고 본다. 오히려 AI 감독관이 카메라를 통해 응시자의 부적절한 행위나 표정 등 미세한 움직임을 기록한다면, 추후 종합 평가에서 이를 통해 이상 징후를 걸러낼 수 있다. 

Q. 처음 시행이라 100% 완전하다고 볼 수 없을 텐데, 다른 보완책은 없나?

A. 공정성을 기하기 위한 방법을 추가했다. 응시자들은 시험을 치르는 동안 본인의 스마트폰으로 자신과 컴퓨터 모니터 화면, 마우스, 얼굴과 손이 모두 나올 수 있도록 측면에서 촬영해 이를 1시간 이내에 응시 시스템에 업로드하도록 했다. 모두에게 동일한 테스트 환경을 만들도록 했다. 이후 NHN은 실시간 탐지에서 수집된 의심 구간에 대해 2단계에 걸쳐 검증을 하며 시험의 공정성을 확보할 수 있었다.

Q. 앞으로도 이러한 채용 및 테스트 과정을 유지할 것인가?

A. 처음 치르는 온라인 시험에 대비해 NHN은 애플리케이션 설치와 PC, 카메라, 마이크, 네트워크 등 온라인 시험을 위해 갖춰야 할 필수 환경을 사전에 안내하고, 3일에 걸쳐 모의테스트를 진행하며 만전을 기했다.

앞으로 비대면 환경 속에서 편의성과 효율성을 높이는 방식의 온라인 채용 프로세스가 보편화될 것으로 본다. 이번 AI 시험 감독관의 첫 시도를 통해 확인된 개선사항들을 점검해 나가면서 내년 상반기 중에는 NHN클라우드를 통한 상용화 버전을 출시할 계획이다. 

특히 NHN은 필기시험에 이어 면접과 근무체험 전형도 온라인으로 진행할 계획이다.