AI startups Anthropic and Inflection AI recently announced AI models that each claimed to achieve state-of-the-art performance. They used benchmarking to compare model performance. Benchmarking is a way to compare model performance by measuring the speed, accuracy, etc. of a model performing a specific task. However, critics argue that benchmarking metrics don't fully reflect real-world usage. Because benchmarking measures the performance of a model performing a specific task in an artificial environment, it does not take into account the various variables that occur in the real world. Therefore, a model that performs well in benchmarking does not guarantee better results in the real world. Because benchmarking metrics are poorly correlated with real-world usage, it can be misleading to judge model performance based on benchmarking results alone.
최근 인공지능 스타트업 앤트로픽(Anthropic)과 인플렉션 AI(Inflection AI)는 각각 최첨단 성능을 달성했다고 주장하는 인공지능 모델을 발표했다. 이들은 모델 성능 비교를 위해 벤치마킹을 활용했다. 벤치마킹은 특정 작업을 수행하는 모델의 속도, 정확도 등을 측정하여 모델 성능을 비교하는 방법이다. 하지만 벤치마킹 지표가 실제 사용 환경을 충분히 반영하지 못한다는 비판이 있다. 벤치마킹은 인공적인 환경에서 특정 작업을 수행하는 모델의 성능을 측정하기 때문에 실제 사용 환경에서 발생하는 다양한 변수를 고려하지 못하기 때문이다. 따라서 벤치마킹 결과에서 우수한 성능을 보인 모델이 실제 사용 환경에서도 더 나은 결과를 보장하지는 않는다. 벤치마킹 지표가 실제 사용 환경과 상관관계가 낮기 때문에 벤치마킹 결과만으로 모델 성능을 판단하는 것은 무의미할 수 있다.
