AI costs are surging as smarter models require significantly more computational resources, surprising startups with higher-than-expected bills. While the price per token continues to drop, the number of tokens needed for complex tasks like reasoning and AI agents has skyrocketed. Notion CEO Ivan Zhao reported that AI costs now consume 10 percentage points of what used to be 90% profit margins just two years ago. AI coding startups like Cursor and Replit have adjusted pricing models, leading to user complaints as monthly credits burn through in days. Complex AI agent workflows can consume 100,000 to over one million tokens, dramatically increasing operational costs. OpenAI's GPT-4o costs about $3.44 per million tokens compared to GPT-4 Nano at roughly 10 cents, creating a significant pricing divide. The situation is further complicated by tech giants like Google offering free coding tools, essentially competing with their own API customers.
AI가 더 똑똑해지면서 비용이 급격히 증가하고 있어 스타트업들이 예상보다 높은 요금을 지불하고 있다. 최신 AI 모델들이 더 많은 '사고'를 하면서 토큰 단가는 떨어졌지만 작업당 필요한 토큰 수가 폭증하고 있기 때문이다. 노션의 이반 자오 CEO는 2년 전 90%였던 마진이 AI 비용으로 10%포인트 줄어들었다고 밝혔다. 커서(Cursor), 레플릿(Replit) 같은 AI 코딩 스타트업들은 가격 모델을 조정했지만 사용자들의 불만이 커지고 있다. 복잡한 AI 에이전트 워크플로우는 10만~100만 개 이상의 토큰을 소비해 비용 부담을 가중시키고 있다. 오픈AI의 GPT-4o는 토큰 100만 개당 3.44달러이지만 GPT-4 나노는 0.1달러으로 큰 차이를 보인다. 구글이 무료 코딩 도구를 제공하면서 AI 대기업들이 자신의 고객과 경쟁하는 상황이 벌어지고 있다.
