데이터브릭스(Databricks)는 16일 본사 발표를 인용, 아마존웹서비스(AWS)와 전략적 협력 협약(SCA)을 체결하고, AWS에서 데이터브릭스 모자이크 AI(Mosaic AI)를 활용한 맞춤형 모델 개발을 가속화한다고 발표했다.

이번 협력으로 데이터브릭스는 모자이크 AI 모델의 학습 및 서비스 기능을 AWS에서 지원하기 위해 AWS의 트레이니움 칩을 우선적으로 활용한다는 계획이다.

두 회사 이용 기업은 AWS의 규모, 성능 및 보안을 기반으로 모자이크 AI를 통해 대형 언어모델(LLM)을 사전 학습, 미세 조정, 보강 및 서비스할 수 있으며 이를 자체 데이터에 적용할 수 있다.

이번 파트너십 확대를 통해 AWS 마켓플레이스에서 데이터브릭스와의 새로운 활용 기능도 제공될 예정이다.

◆데이터브릭스와 AWS, 프로덕션 품질(production-quality)의 맞춤형 생성형 AI 애플리케이션 지원 = 이번 협력은 모자이크 AI 모델 서빙(Mosaic AI Model Serving)을 포함한 데이터브릭스의 확장된 모자이크 AI 기능을 기반으로 한다.

모자이크 AI 모델 서빙은 아마존 베드락(Amazon Bedrock)을 통해 제공되는 여러 모델을 비롯한 다양한 모델 제공업체를 지원하도록 설계됐다.

또한 기업은 고성능의 비용 효율적인 AWS 트레이니움 칩을 사용해 합리적인 비용으로 모자이크 AI에서 모델 학습을 확장할 수 있다.

데이터브릭스와 AWS는 수천 명의 고객이 데이터 및 지적 재산에 대한 통제력을 유지하면서도 고품질의 맞춤형 AI 애플리케이션을 구축, 배포, 모니터링할 수 있도록 지원한다는 방침이다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “생성형 AI는 모든 산업의 혁신을 주도하고 있으며, 궁극적으로 기업의 데이터가 경쟁력을 좌우하는 핵심 자산이 될 것”이라며 “AWS와 협력 강화를 통해 탁월한 확장성과 비용 효율성을 바탕으로 고객이 자체 생성형 AI 애플리케이션을 더욱 빠르게 시장에 출시할 수 있도록 지원할 예정”이라고 덧붙였다.

맷 가먼(Matt Garman) AWS CEO는 “데이터브릭스와 협력으로 고객은 생성형 AI로 데이터에서 실질적인 가치를 창출할 수 있게 됐다”며 “AWS 트레이니움을 활용한 모자이크 AI 구동으로 데이터브릭스는 고객이 업계나 사용 사례에 구애받지 않고 분석 워크플로우 상에서 생성형 AI 애플리케이션을 비용 효율적으로 구축하고, 배포할 수 있도록 한다. 이로써 모든 규모의 기업은 데이터에서 중요한 인사이트를 얻고, 비즈니스에서 가장 중요한 부분에 집중하여 더 빠르게 혁신할 수 있도록 지원한다”고 말했다.

◆데이터브릭스와 AWS, 시장 진출 파트너십 및 공동 제공 서비스 확대 = 이번 협약은 데이터브릭스와 데이터브릭스의 첫 번째 클라우드 파트너사인 AWS간 오래된 협력 관계를 기반으로 한다.

데이터브릭스의 AWS 관련 사업은 이미 연간 10억 달러(한화 약 13조 6600억원) 이상의 수익률을 달성했으며, 이는 부분적으로 AWS 마켓플레이스의 기여에 힘입은 결과다.

지난 2년 동안 총 계약 가치는 연간 기준 두 배로 증가했다.

데이터브릭스와 AWS의 고객 지원 프로그램은,

- 맞춤형 모델 최적화 및 보안 강화 = 데이터브릭스와 AWS는 AWS 트레이니움 칩을 활용한 모자이크 AI 기반 맞춤형 모델 개발을 통해 대규모 언어 모델의 훈련과 실행 시 비용 및 성능을 개선하는 데 협력할 예정이다.

AWS 트레이니움은 클라우드 기반 워크로드에 고성능, 가용성, 프라이버시 및 보안을 제공하도록 설계된 하드웨어 및 소프트웨어 구성 요소 모음인 AWS 니트로 시스템(AWS Nitro System)의 이점을 활용한다.

- 생성형 AI를 위한 마이그레이션 및 현대화 = 데이터브릭스와 AWS는 시스템 통합(SI) 파트너와 협력하여 온프레미스 데이터 센터에서 운영 중인 데이터 자산을 AWS로 이전하고 데이터 플랫폼의 현대화를 가속화할 예정이다.

- 맞춤형 산업 솔루션 및 가속화 도구 = 미디어, 엔터테인먼트, 금융 서비스 등 산업 전반에서 생성형 AI에 대한 수요가 증가함에 따라, 데이터브릭스와 AWS는 고객의 조직 내 문제해결과 혁신 촉진을 지원하기 위한 산업 솔루션을 공동으로 지속 개발할 예정이다.

- 사용 편의성 향상 = 데이터브릭스와 AWS는 AWS 마켓플레이스에서 새로운 통합 기능을 통해 고객이 AWS에서 데이터브릭스를 보다 쉽게 도입하고 운영할 수 있도록 지원하고 있다. 

이같은 기능에는 온보딩 및 구성 간소화, AWS 기반의 서버리스 컴퓨팅 등이 포함된다.

- 공동 생성형 AI 시장 진출 프로그램 = 데이터브릭스는 SI 파트너들과 함께 기술 솔루션 및 구현 리소스를 구축, 기업이 데이터브릭스를 활용해 AWS에서 최적화할 수 있는 생성형 AI 워크로드 및 온프레미스 마이그레이션을 식별할 수 있도록 지원할 예정이다.

- 공동 마케팅 이니셔티브 확대 = 데이터브릭스와 AWS는 각 사의 주요 업계 행사를 비롯한 전략적 공동 마케팅 프로그램에 지속적으로 투자할 예정이다.

이같은 활동에는 공동 브랜드의 기술 관련 자료와 고객이 생성형 AI 솔루션을 시범적으로 구현할 수 있도록 설계된 개발자 중심의 행사들이 포함된다.

이번 전략적 협력 협약은 블록(Block), 리비안(Rivian), 세가(SEGA) 등 고객에게 비즈니스 가치를 제공하기 위한 양사의 노력을 강조하고 있다.

스튜어트 라이트(Stuart Wright) 세가(SEGA) 최고 기술 책임자(CTO)는 “세가는 수백만 명의 고객이 오래도록 즐길 수 있는 맞춤형 게임 경험을 제공하는 것을 목표로 하고 있다. 이를 위해 데이터를 처리하고 활용하며, 얻은 인사이트를 바탕으로 고객이 원하는 새로운 기능을 만들어낼 수 있도록 돕는 통합 데이터 플랫폼의 필요성을 느끼게 되었다”며 “생성형 AI의 신속한 통합은 비디오 게임 개발, 퍼블리싱 및 크리에이티브 과정의 혁신을 가속화할 수 있는 잠재력을 갖고 있다. 데이터브릭스와 AWS의 협력은 더 나은 게임 경험을 구축하고 브랜드 충성도를 개선하며 커뮤니티를 성장시키는 데 필요한 모델 선택, 확장성, 보안 및 가격 경쟁력을 제공한다”고 말했다.

데이터브릭스 데이터 인텔리전스 플랫폼은 AWS에서 제공되며, AWS 거브클라우드(GovCloud)상의 클라우드 서비스에 대해 미 연방 정부의 클라우드 보안인증 제도 ‘페드램프(FedRAMP)’로부터 ‘하이 에이전시 오솔리티(High Agency Authority)’ 인증을 획득했다.

<김동기 기자>kdk@bikorea.net