데이터브릭스(Databricks)는 27일 발표를 통해, AI 안전성 및 연구기업 ‘앤트로픽(Anthropic)’과 전략적 파트너십을 맺고, 향후 5년 동안 앤트로픽의 AI 모델과 서비스를 데이터브릭스 데이터 인텔리전스 플랫폼에서 기본적으로 제공한다고 밝혔다. 

이번 협력을 통해 두 회사는 앤트로픽 클로드(Claude) 모델을 데이터브릭스의 모자이크 AI(Mosaic AI)와 결합해 1만개 이상의 기업에 직접 제공한다.

기업은 이를 통해, 비즈니스에 필수적인 독점 데이터를 활용하여 자체 데이터를 기반으로 추론하는 AI 에이전트를 구축하고 배포할 수 있다.

특히, 하이브리드 추론 모델이자 코딩 분야에서 최고 성능을 자랑하는 앤트로픽의 최신 모델 ‘클로드 3.7 소네트(Claude 3.7 Sonnet)’는 이제 AWS, 애저, 구글 클라우드를 통해 데이터브릭스에서 사용 가능하다.

기업은 AI 투자에 대한 수익을 극대화하고자 하지만, 다수의 기업이 자사 데이터를 기반으로 논리적으로 사고할 수 있는 AI 에이전트를 구축, 배포 및 평가하는데 어려움을 겪고 있다.

또한, 이같은 AI 에이전트가 정확성, 보안성 및 접근 제어 등의 프로덕션 수준 요구 사항을 충족하도록 만드는 것도 쉽지 않은 과제다.

데이터브릭스와 앤트로픽은 이러한 문제를 해결하는데 앞장서고 있다.

덧붙여 데이터브릭스의 모자이크 AI는 조직별 고유 데이터를 기반으로 도메인 특화 AI 에이전트를 구축할 수 있는 도구를 제공하며, 이를 통해 데이터 및 AI 라이프사이클 전반에 걸쳐 정확한 결과와 포괄적인 거버넌스를 제공한다.

앤트로픽의 클로드 모델은 기업이 실제 비즈니스 환경에서 가장 유용하게 활용할 수 있도록 최적화돼 있다.

두 회사는 협력을 통해 에이전틱 애플리케이션(agentic applications)의 개발, 평가, 배포, 거버넌스를 위한 솔루션을 제공한다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “데이터 인텔리전스에 대한 수요가 증가하는 가운데, 이번 앤트로픽과의 파트너십은 기업이 AI를 통해 데이터의 잠재력을 최대한 발휘할 수 있도록 지원하는 중요한 계기가 될 것”이라며 “우리는 앤트로픽의 강력한 모델을 데이터 인텔리전스 플랫폼에 직접 통합하여 보안성과 효율성을 갖춘 확장 가능한 방식으로 제공한다. 이를 통해 기업은 자사 고유의 요구사항에 맞춘 도메인 특화 AI 에이전트를 구축할 수 있으며, 이것이 곧 엔터프라이즈 AI의 미래”라고 말했다.

다리오 아모데이(Dario Amodei) 앤트로픽 공동창립자 겸 CEO는 “AI가 비즈니스를 변화시키는 과정은 더 이상 먼 미래의 이야기가 아니다”라며 “올해는 복잡한 작업을 스스로 수행할 수 있는 AI 에이전트가 발전하는 한 해가 될 것이다. 이제 데이터브릭스에서 클로드 모델을 활용할 수 있게 됨에 따라, 고객들은 더욱 강력한 데이터 기반 에이전트를 구축하고, 새로운 AI 시대에서 앞서 나갈 수 있을 것”이라고 말했다.

데이터브릭스 데이터 인텔리전스 플랫폼은 데이터와 AI를 보편화해 기업들이 데이터 분석, 머신러닝, AI 애플리케이션을 위해 자사 데이터를 보다 쉽게 활용할 수 있도록 지원한다.

이 플랫폼은 통합된 데이터와 거버넌스를 기반으로 구축돼 고객이 기업 전체의 도메인 지식을 바탕으로 AI 에이전트를 보다 쉽게 개발할 수 있도록 지원한다.

고객들은 데이터 인텔리전스 플랫폼을 활용해 질병 및 암을 조기 발견하고 치료하며, 기후 변화 대응책을 마련하고 금융 사기를 탐지하며, 신약 개발을 가속화하고 정신 건강 개입에 소요되는 시간을 단축하며, 지역 내 경제 불균형을 완화하는 등 다양한 분야에서 혁신적인 성과를 달성하고 있다.

◆엔터프라이즈 데이터를 기반으로 도메인 특화 에이전트 구축 = 앤트로픽의 클로드는 고급 추론, 계획 수립 및 문제 해결 능력을 제공, 기업이 대규모 컨텍스트 윈도(context window)를 활용해 다양하고 방대한 데이터를 처리할 수 있는 맞춤형 AI 에이전트를 구축하고 배포할 수 있도록 지원한다.

또한 데이터브릭스와 클로드는 복잡한 다단계 워크플로우가 요구되는 고급 추론 사례에도 대응할 수 있다.

예를 들어, 헬스케어 분야에서는 임상시험 환자 등록 절차를 간소화할 수 있고, 유통 분야에서는 판매 데이터와 계절 패턴 및 재고 수준을 종합 분석해 인력 배치, 프로모션, 매장 구성 등을 최적화하고 현지 맞춤형 운영 전략을 제안해 수익을 극대화에 기여할 수 있다.

◆데이터 인텔리전스 플랫폼과 통합 = 클로드 모델은 SQL 쿼리 및 모델 엔드포인트를 통해 데이터브릭스 데이터 인텔리전스 플랫폼에 원활하게 통합된다.

이를 통해 기업은 데이터를 수동으로 복제할 필요 없이 비용을 절감하고 매끄러운 사용자 경험을 제공받을 수 있다.

또한, 기업은 검색 증강 생성(RAG)을 활용하여 벡터 인덱스를 자동으로 생성하거나 엔터프라이즈 데이터를 사용해 클로드 모델을 파인튜닝함으로써 손쉽게 맞춤형 AI를 구축할 수 있다.

◆통합 거버넌스 및 책임감 있는 AI 개발 = 이번 파트너십은 앤트로픽의 안전성 연구 및 헌법적 AI(Constitutional AI) 접근 방식과 데이터 및 AI를 위한 통합 개방형 거버넌스 솔루션인 데이터브릭스의 유니티 카탈로그(Unity Catalog)를 결합한다.

이를 통해 기업은 데이터 및 AI 자산 전반에 걸쳐 강력한 거버넌스를 확보하고, 적절한 접근 제어를 자동으로 적용 받고, 비용 관리를 위한 속도 제한 설정, 전체 AI 워크플로우에 걸친 데이터 계보 추적이 가능해진다.

또한 기업은 AI 안전 가드레일을 구현하고, 오남용 여부를 모니터링하며, AI 시스템이 설정된 윤리 기준 내에서 운영되도록 보장하는 동시에, 최첨단 모델의 성능을 유지하면서도 안전성을 확보할 수 있다.

재키 브로사머(Jackie Brosamer) 블록(Block) 데이터 및 AI 플랫폼 엔지니어링 담당 부사장은 “우리는 AI의 실용적이고 책임감 있으며 안전한 AI 활용을 강조한다. 데이터브릭스와 전략적 파트너십을 통해 앤트로픽의 클로드를 비롯한 최신 고급 모델을 활용할 수 있게 됐다. 이를 통해 내부적으로 배포하는 오픈소스 AI 에이전트 ‘코드네임 구스(codename goose)’의 개발을 지원하고, 그 기반 엔진으로도 활용하고 있다. 이러한 연합형(federated) 모델 배포 방식을 통해 보안성과 사용자 제어를 유지하면서 AI 역량을 유연하고 원활하게 확장할 수 있게 되었다. 이는 궁극적으로 팀 전반의 효율성과 혁신을 촉진하는 데 기여할 것”이라고 말했다.

<김동기 기자>kdk@bikorea.net