데이터 및 AI 기업 데이터브릭스(Databricks)는 AI 안전성 및 연구 기업인 앤트로픽(Anthropic)과 전략적 파트너십을 맺었다고 27일 밝혔다.
이를 통해 데이터브릭스는 향후 5년 동안 앤트로픽의 AI 모델과 서비스를 데이터브릭스 데이터 인텔리전스 플랫폼에서 기본적으로 제공한다.
양사는 이번 협력을 통해 세계적인 수준의 앤트로픽 클로드(Claude) 모델을 데이터브릭스의 모자이크 AI(Mosaic AI)와 결합해 1 만 개 이상의 기업에 직접 제공한다. 기업들은 비즈니스에 필수적인 독점 데이터를 활용해 자체 데이터를 기반으로 추론하는 AI 에이전트를 구축하고 배포할 수 있다.
특히 업계 최초의 하이브리드 추론 모델이자 코딩 분야에서 최고 성능을 자랑하는 앤트로픽의 최신 모델 ‘클로드 3.7 소네트(Claude 3.7 Sonnet)’는 이제 AWS, 애저, 구글 클라우드를 통해 데이터브릭스에서 사용 가능하다.
기업은 AI 투자에 대한 수익을 극대화하고자 하지만, 다수의 기업이 자사 데이터를 기반으로 논리적으로 사고할 수 있는 AI 에이전트를 구축, 배포 및 평가하는데 어려움을 겪고 있다. 또한, 이러한 AI 에이전트가 정확성, 보안성 및 접근 제어 등의 프로덕션 수준 요구 사항을 충족하도록 만드는 것도 쉽지 않은 과제다.
데이터브릭스의 모자이크 AI는 조직별 고유 데이터를 기반으로 도메인 특화 AI 에이전트를 구축할 수 있는 도구를 제공하며, 이를 통해 데이터 및 AI 라이프사이클 전반에 걸쳐 정확한 결과와 포괄적인 거버넌스를 제공한다.
앤트로픽의 클로드 모델은 고객이 실제 비즈니스 환경에서 가장 유용하게 활용할 수 있도록 최적화되어 있다. 양사는 협력을 통해 에이전틱 애플리케이션(agentic applications)의 개발, 평가, 배포, 거버넌스를 위한 업계 최고 수준의 솔루션을 제공한다.
알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “데이터 인텔리전스에 대한 수요가 증가하는 가운데, 이번 앤트로픽과의 파트너십은 기업이 AI를 통해 데이터의 잠재력을 최대한 발휘할 수 있도록 지원하는 중요한 계기가 될 것”이라며 “이를 통해 기업은 자사 고유의 요구사항에 맞춘 도메인 특화 AI 에이전트를 구축할 수 있으며, 이것이 곧 엔터프라이즈 AI의 미래”라고 말했다.
다리오 아모데이(Dario Amodei) 앤트로픽 공동창립자 겸 CEO는 “AI가 비즈니스를 변화시키는 과정은 더 이상 먼 미래의 이야기가 아니”라며 “올해는 복잡한 작업을 스스로 수행할 수 있는 AI 에이전트가 획기적으로 발전하는 한 해가 될 것”이라고 말했다.
이번 파트너십의 주요 혜택은 다음과 같다.
엔터프라이즈 데이터를 기반으로 도메인 특화 에이전트 구축: 앤트로픽의 클로드는 고급 추론, 계획 수립 및 문제 해결 능력을 제공해, 고객이 대규모 컨텍스트 윈도우(context window)를 활용해 다양하고 방대한 데이터를 처리할 수 있는 맞춤형 AI 에이전트를 구축하고 배포할 수 있도록 지원한다. 또한 데이터브릭스와 클로드는 복잡한 다단계 워크플로우가 요구되는 고급 추론 사례에도 대응할 수 있다. 예를 들어, 헬스케어 분야에서는 임상시험 환자 등록 절차를 간소화할 수 있고, 유통 분야에서는 판매 데이터와 계절 패턴 및 재고 수준을 종합 분석해 인력 배치, 프로모션, 매장 구성 등을 최적화하고 현지 맞춤형 운영 전략을 제안해 수익을 극대화에 기여할 수 있다.
데이터 인텔리전스 플랫폼과의 통합: 클로드 모델은 SQL 쿼리 및 모델 엔드포인트를 통해 데이터브릭스 데이터 인텔리전스 플랫폼에 원활하게 통합된다. 이를 통해 기업은 데이터를 수동으로 복제할 필요 없이 비용을 절감하고 매끄러운 사용자 경험을 제공받을 수 있다. 또한, 기업은 검색 증강 생성(RAG)을 활용하여 벡터 인덱스를 자동으로 생성하거나 엔터프라이즈 데이터를 사용해 클로드 모델을 파인튜닝함으로써 손쉽게 맞춤형 AI를 구축할 수 있다.
통합 거버넌스 및 책임감 있는 AI 개발: 이번 파트너십은 앤트로픽의 업계 선도적인 안전성 연구 및 헌법적 AI(Constitutional AI) 접근 방식과 데이터 및 AI를 위한 유일한 통합 개방형 거버넌스 솔루션인 데이터브릭스의 유니티 카탈로그(Unity Catalog)를 결합한다. 이를 통해 고객은 데이터 및 AI 자산 전반에 걸쳐 강력한 거버넌스를 확보하고, 적절한 접근 제어를 자동으로 적용 받고, 비용 관리를 위한 속도 제한 설정, 전체 AI 워크플로우에 걸친 데이터 계보 추적이 가능해진다. 또한 기업은 AI 안전 가드레일을 구현하고, 오남용 여부를 모니터링하며, AI 시스템이 설정된 윤리 기준 내에서 운영되도록 보장하는 동시에, 최첨단 모델의 성능을 유지하면서도 안전성을 확보할 수 있다.
