AI가 실무형 결산 과제에서 공인회계사보다 빠르고 정확하게, 더 적은 비용으로 일을 끝냈다.
미국 AI 스타트업 머코어는 현지 시각 지난 1일 공식 블로그에 '벤치마크를 위한 인간 기준선: AI가 이제 주니어 회계사를 앞선다'라는 제목의 연구 결과를 공개했다. 머코어는 각 분야 전문가를 AI 연구소와 연결해 모델 학습과 평가를 돕는 회사다.
연구진은 미국 공인회계사(CPA) 자격을 가진 주니어 회계사 12명을 모집했다. 참가자 평균 경력은 약 5년 6개월이다. 과제는 머코어가 지난 7월 핀테크 기업 램프와 함께 공개한 회계 벤치마크 ‘APEX 어카운팅(APEX-Accounting)’에서 가져와 단순화했다. 실무를 본뜬 월말 결산 시나리오 4개로, 회사 업무 파일을 뒤져 맞는 숫자를 찾고 계산해 결과표를 내는 방식이다.
애초 목적은 AI가 회계사의 업무 성과를 얼마나 끌어올리는지 재는 것이었다. 그런데 AI 단독으로 만점이 나오면서 향상 폭을 측정할 여지가 사라졌다. 연구진은 방향을 바꿔 AI 도움 없이 일한 회계사와 AI를 직접 비교했다.
격차는 뚜렷했다. 회계사들의 정확도는 0%에서 약 90%까지 편차가 컸고, 평균은 약 37%였다. 과제 하나에 대부분 30분에서 180분이 걸렸다. 앤트로픽의 클로드 오퍼스 5는 20번의 시도에서 모두 100%를 기록했고, 매번 10분 안에 과제를 마쳤다.
비용 차이는 더 컸다. 평가 기준 하나를 충족하는 데 든 비용은 클로드 오퍼스 5가 약 280원(0.21달러)이었다. 회계사는 미국 회계사 임금 중앙값으로 환산해 약 1만3900원(10.35달러)으로, 49배 차이가 났다.
변화 속도도 눈길을 끈다. 18개월 전만 해도 최고 성능 모델조차 회계사 평균 점수에 못 미쳤다. 2025년 봄 오픈AI의 추론 모델 o3가 처음 이 선을 넘었고, GPT-5는 약 69%까지 올라섰다. 지금은 최신 모델들이 만점 또는 만점에 가까운 점수를 낸다. 다만 큐원3.5-122B같은 일부 저가·오픈웨이트 모델은 여전히 회계사 평균에 못 미쳤다.
머코어는 결과 해석에 신중했다. 이번 과제는 꼼꼼함, 파일 탐색, 정확한 지시 이행처럼 AI가 가장 잘하는 능력을 주로 측정했다는 설명이다. 고객과의 소통, 올바른 질문을 던지는 능력, 업무 맥락을 쌓는 일 등 회계사 업무의 다른 축은 시험 범위 밖이었다.
실험 조건도 사람에게 불리했다. 참가자는 동료에게 물어볼 수 없었고, 회사에 대한 사전 맥락도 없었다. 과제는 본래 AI의 한계를 드러내도록 설계돼 놓치기 쉬운 회계 요건이 연쇄적으로 얽혀 있었다. 숫자 하나만 놓쳐도 점수가 크게 깎이는 구조다. 출제자들도 주니어 평균을 30%, 중간 경력 회계사를 55% 정도로 예상했다.
원본 벤치마크 성적도 함께 볼 필요가 있다. 160개 과제로 이뤄진 APEX-Accounting 전체에서 1위 모델 클로드 페이블 5의 점수는 56.4%였다. 8번 반복 실행에서 모두 정답을 낸 과제 비율은 가장 일관된 모델도 2.6%에 그쳤다. 단순화한 과제의 만점이 결산 업무 전반을 대신할 수 있다는 뜻은 아닌 셈이다.
머코어는 결과가 오해를 살 수 있어 공개 자체를 고민했다고 밝혔다. 그럼에도 사회가 빠르게 발전하는 AI에 대비하려면 투명성이 중요하다고 판단해 공개를 결정했다.
이번 연구의 출발점은 이른바 '생산성 역설'이다. AI 벤치마크 점수는 몇 년 새 치솟았지만, 미국 경제 통계상 생산성 향상 기여는 미미하다는 문제의식이다. 머코어는 벤치마크가 실제 업무, 그리고 사람의 수행 능력과 어떻게 연결되는지 알아야 이 간극을 설명할 수 있다고 봤다.
연구진은 AI의 실패를 끌어내려다 보니 벤치마크 과제가 갈수록 어려워졌다고 짚었다. 이제는 여러 전문가가 수십 시간을 들여야 만들 수 있는 수준이어서, 한 사람이 비슷한 시간과 도움 없이 풀기는 어렵다는 것이다. 사람에게 시속 60마일(약 97km)로 달리라고 하지 않지만 자동차는 사람을 태우고 그 속도로 달리며 생산성을 높인다. 머코어는 AI도 이처럼 사람이 할 수 없던 일에서 가치를 낸다고 비유했다.
머코어는 AI 성능 측정의 기준을 '사람이 하던 일을 얼마나 잘하나'에서 '예전엔 불가능하거나 지나치게 비쌌던 일을 해내나'로 옮겨야 한다고 제안했다. 모델 발전이 지금 멈추더라도 회계 분야에서 상당한 변화와 생산성 향상이 나타날 것이라는 전망도 내놨다. 정형화된 작업이 AI로 넘어갈수록 고객 소통과 맥락 판단 같은 사람의 역량은 더 중요해질 것이라는 진단이다.
