데이터 및 AI 기업 데이터브릭스(Databricks)는 20일 AI 인사이트를 위해 설계된 최초의 완전 관리형 포스트그레(Postgres) 데이터베이스인 레이크베이스(Lakebase)를 공개했다.
레이크베이스는 데이터브릭스의 데이터 인텔리전스 플랫폼(Data Intelligence Platform)에 운영 데이터베이스 계층을 추가해, 개발자와 기업은 하나의 멀티클라우드 플랫폼에서 데이터 애플리케이션과 AI 에이전트를 더욱 빠르고 쉽게 구축할 수 있도록 지원한다. 레이크베이스는 현재 퍼블릭 프리뷰(Public Preview)형태로 제공된다.
데이터브릭스에 따르면 운영 데이터베이스(OLTP)는 1000억달러 이상의 시장 규모를 가진 핵심 기술로, 거의 모든 애플리케이션의 기반이 된다. 하지만 기존 OLTP 시스템은 변화가 느린 애플리케이션을 위한 수십 년 전의 아키텍처를 기반으로 하고 있어, 관리가 어렵고 비용이 많이 들며 특정 벤더에 종속되기 쉽다는 한계를 안고 있다.
데이터브릭스 측은 “AI는 이와는 전혀 다른 새로운 요구사항을 만들어 내고 있다”며 “오늘날의 모든 데이터 애플리케이션, 에이전트, 추천 시스템, 자동화된 워크플로우는 AI의 속도와 규모에 맞춰 빠르고 신뢰성 있는 데이터를 필요로 한다”고 강조했다. 그러면서 “이를 위해서는 운영 시스템과 분석 시스템이 통합되어야 하며, AI 시스템 간 지연을 최소화하고 기업이 실시간 의사결정을 내릴 수 있도록 최신 정보를 제공해야 한다”고 덧붙였다.
실제 레이크베이스는 네온(Neon)의 기술 기반으로, 운영 데이터를 레이크하우스로 가져오고, 에이전트 워크로드를 지원하기 위해 컴퓨팅을 자동으로 확장하며, 운영 데이터와 분석 데이터를 통합한다. 이를 통해 개발자는 더 빠르게 개발하고, 유연하게 확장하며, 차세대 지능형 애플리케이션을 제공할 수 있다.
알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “지난 몇 년간 데이터브릭스는 기업들이 데이터 인텔리전스 플랫폼을 기반으로 자체 데이터를 활용해 AI 애플리케이션과 에이전트를 구축할 수 있도록 지원해 왔다”며 “이제 레이크베이스를 통해 우리는 데이터베이스 시장에 새로운 카테고리를 제시하고자 한다”고 말했다.
그러면서 그는 “AI 에이전트가 기업의 운영 방식을 바꾸어 가는 지금, 포춘 500대 기업들은 낡은 시스템을 대체할 준비가 되어 있다”며 “우리는 레이크베이스를 통해 AI 시대의 요구를 충족할 수 있는 데이터베이스를 제공한다”고 강조했다.
레이크베이스의 주요 특징은 다음과 같다.
>컴퓨팅과 스토리지 분리: 레이크베이스는 네온 기술 기반으로 컴퓨트와 스토리지를 분리해 독립적인 확장성을 제공한다. 클라우드 네이티브 아키텍처를 기반으로, 10밀리초 미만의 지연 시간, 초당 1만 건 이상의 쿼리 처리, 높은 가용성의 트랜잭션 처리를 지원한다.
>오픈 소스 기반: 포스트그레는 최근 몇 년 간 빠르게 채택되어온 개발자 친화적인 오픈소스 데이터베이스로, 다양한 커뮤니티 확장 기능과 파트너 생태계를 보유하고 있다. 또한 대부분의 최신 LLM(대규모 언어 모델)은 데이터베이스 시스템의 방대한 정보를 기반으로 학습되어, AI 에이전트 워크플로우에 이상적이다.
>AI 친화적 설계: 레이크베이스는 1초 이내에 실행 가능하며, 사용한 만큼 비용을 지불하는 유연한 과금 구조를 채택하고 있다. 특히, 고유의 브랜칭(branching) 기능은 ‘카피 온 라이트(Copy-on-write)’ 방식의 데이터베이스 복제를 통해 개발자 테스트나 에이전트 기반 개발에 위험 없이 실험이 가능한 안전한 환경을 제공한다.
>레이크하우스와 통합: 레이크베이스는 레이크하우스 테이블과 자동 동기화되며, 모델 서빙을 위한 온라인 피처 스토어(online feature store)도 함께 제공한다. 또한, 데이터브릭스 앱 및 유니티 카탈로그와도 원활하게 통합되어 있다.
>엔터프라이즈 환경 지원: 레이크베이스는 데이터브릭스에서 완전 관리형 서비스로 제공되며, 보안 강화된 컴퓨팅 인프라, 정지 시 데이터 암호화, 고가용성, 시점 복구 기능 등을 갖추고 있다. 또한, 네트워크 보안부터 규정 준수에 이르기까지 데이터브릭스의 엔터프라이즈 기능들과 통합되어 있다.
