Microsoft has implemented a new "computer use" feature for Copilot Studio this week that enables AI agents to interact with websites and desktop applications as if they were tools for automating tasks. This new capability mirrors similar functionalities like OpenAI's Operator or Claude's identically named "computer use" feature, allowing businesses to build AI agents that can manipulate websites and desktop applications just like a human user would. Charles Lamanna, corporate vice president of Microsoft's business & industry Copilot, explained that "Computer use enables agents to interact with websites and desktop apps by clicking buttons, selecting menus, and typing into fields on the screen," which facilitates task handling even without direct API connections to the system. Copilot Studio will be capable of creating AI agents that can automate various tasks including data entry, market research, and invoice processing, with Microsoft claiming that this new tool can detect changes in buttons and screens within apps or websites and continue working without failures or interruptions. Microsoft recently added a similar feature called Actions to its consumer Copilot earlier this month, allowing users to have Copilot perform background tasks such as booking restaurant reservations, purchasing event tickets, and buying items from online stores while users focus on other activities. While the Actions experience in consumer Copilot is limited to specific partners, it appears that Copilot Studio will have broader compatibility with more websites and applications. This advancement represents another significant step in Microsoft's efforts to integrate AI automation capabilities into its business and productivity offerings.
마이크로소프트가 코파일럿 스튜디오에 AI가 웹사이트와 앱을 직접 조작하는 '컴퓨터 사용(Computer Use)' 기능을 추가했다. 이 기능은 AI가 버튼을 클릭하고 메뉴를 선택하며 필드에 텍스트를 입력하는 등 사람처럼 시스템을 조작할 수 있게 해준다. 오픈AI의 오퍼레이터나 앤트로픽의 클로드의 유사 기능과 비슷하게, API가 없어도 사용자처럼 앱을 사용할 수 있다는 점이 핵심이다. 마이크로소프트 부사장 찰스 라만나는 "API 연결 없이도 사람이 앱을 사용할 수 있다면 AI 에이전트도 사용할 수 있다"고 설명했다. 이를 통해 기업들은 데이터 입력, 시장 조사, 인보이스 처리 등을 자동화하는 AI 에이전트를 만들 수 있다. 이 도구는 앱이나 웹사이트의 화면이 변경되어도 이를 감지하고 작업을 계속할 수 있다. 마이크로소프트는 이미 소비자용 코파일럿에도 레스토랑 예약이나 쇼핑 등을 수행하는 '액션' 기능을 추가했다. 소비자용 코파일럿의 액션은 일부 파트너로 제한되지만, 코파일럿 스튜디오는 더 많은 웹사이트와 앱에서 작동할 것으로 보인다.
