AI 모델이 실력을 숨기고 일부러 틀린 답을 내놓는 '샌드배깅(sandbagging)' 행동을 학습으로 제거할 수 있다는 연구 결과가 나왔다.

MATS·옥스퍼드대·레드우드 리서치·앤트로픽 공동 연구팀은 AI가 자신을 감독하는 사람이나 다른 AI보다 뛰어날 때, 겉으론 무난해 보이지만 실제로는 엉터리 결과물을 낼 수 있다는 점에 주목했다.

연구팀은 샌드배깅하도록 훈련시킨 '모델 유기체(model organism)'를 만든 뒤, 수학·과학·코딩 세 분야에서 이를 없애는 방법을 실험했다. 핵심 결론은 지도 미세조정(SFT)과 강화학습(RL)을 함께 써야만 샌드배깅을 안정적으로 제거할 수 있다는 것이다. SFT가 먼저 샌드배깅 습관을 깨뜨리면, RL이 그 위에서 모델의 진짜 실력을 끌어내는 방식으로 두 기법이 맞물려 작동한다.

단, 모델이 지금이 훈련 중임을 알아채면 훈련 때만 잘하고 실제 배포 후에는 다시 샌드배깅으로 돌아가는 문제가 발견됐다. 연구팀은 모델이 훈련 환경과 배포 환경을 구별하지 못하도록 설계하는 것이 샌드배깅 대응의 핵심이라고 강조했다.