편집 : 2025.1.21 화 19:16
뉴스
델 데이터 레이크하우스에 ‘워프 스피드’ 추가자율 인덱싱, 스마트 캐싱 등 쿼리 성능 가속화
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2024.07.27  09:05:34
트위터 페이스북 미투데이 요즘 네이버 구글 msn

한국 델 테크놀로지스(대표 김경진)는 지난 26일 발표를 통해, AI에 최적화된 개방형의 풀스택 데이터 플랫폼 ‘델 데이터 레이크하우스(Dell Data Lakehouse)’에 쿼리 성능 가속화를 위한 ‘워프 스피드(Warp Speed)’ 기능을 탑재해 제공한다고 밝혔다.

델은 올해 3월 데이터 소스에 관계없이 분산된 데이터에 대규모의 동시접속이 가능한 고성능의 턴키 솔루션 ‘델 데이터 레이크하우스’를 공개한 바 있다.

‘스타버스트(Starburst)’ 쿼리 엔진을 채용한 이 플랫폼은 델 S3 호환 스토리지를 기반으로 설계되어 아이스버그(Iceberg)와 같은 개방형 형식의 데이터를 저장하고 쿼리할 수 있는 고성능, 고가용성 스토리지 계층을 제공한다.

   
▲ (출처 : 한국 델 테크놀로지스 제공)

데이터 레이크하우스 기술은 적은 비용으로 성능 이점을 제공하지만, 데이터 엔지니어링 및 IT 팀에서는 어떤 데이터를 최적화하고 캐싱(caching)해야 할지, 혹은 어떤 데이터를 데이터 레이크 내에 두어야 할지 결정하는데 어려움을 겪을 수 있다.

델 테크놀로지스 ‘워프 스피드’를 이용하면 쿼리 패턴을 자율적으로 학습하고 자주 액세스하는 데이터를 식별해 최적의 인덱스와 캐시를 생성하는 동시에, 빈번하게 액세스하지 않는 데이터는 제자리에 유지시킬 수 있다.

‘워프 스피드’는 쿼리 성능 가속화와 비용 절감이라는 상충된 두가지 요구를 모두 만족시킨다. 

사용자는 쿼리를 변경할 필요 없이 동일한 클러스터에서 데이터 레이크 쿼리를 3~5배가량 더 빠르게 실행하는 한편 클러스터 크기를 최대 40%까지 줄일 수 있다.

즉 대규모 클러스터에서 더 많은 쿼리를 실행하거나, 더 작은 클러스터에서 동일한 양의 쿼리를 실행하는 것이 가능하다.

‘워프 스피드’의 주요 특징을 보면, 

- 데이터 레이크 가속화 = 데이터 엔지니어링 없이도 데이터 레이크를 자율적으로 색인하고 온디맨드 방식으로 탐색 데이터 세트를 가속화할 수 있다.

- 고성능 대시보드 구축 = 사용자 환경을 변경하지 않고도 테라바이트(TB) 부터 페타바이트(PB) 단위까지 데이터를 더 빠르게 드릴다운(drill down) 할 수 있다.

- 자율 인덱싱 = 각 데이터 블록에 맞는 적절한 인덱스 유형(비트맵, 딕셔너리, 트리)을 생성하여 조인(join), 필터, 검색과 같은 작업을 가속화한다.

빠른 액세스를 위해 컴퓨팅 노드의 SSD에 인덱스가 저장된다.

- 스마트 캐싱 = 데이터 사용 빈도에 따라 성능을 최적화하는 독점적인 SSD 컬럼형 블록 캐싱을 제공한다.

불필요한 테이블 스캔을 없애고 쿼리 간 데이터를 더 많이 재사용하여 컴퓨팅 비용을 절감한다.

예를 들어 애널리틱스 담당자가 날짜별, 고객별로 데이터의 카피를 생성하고 재파티션을 요청했을 때 데이터 엔지니어는 ‘워프 스피드’를 통해 시간과 비용을 낭비하지 않고 빠른 응답 시간을 보장할 수 있다.

또는 데이터 규모의 성장 속도가 예산 범위를 넘어설 때 클러스터 확장을 위해 계속해서 투자하는 대신 쿼리 속도를 높여 응답 시간에 대한 SLA를 충족시킬 수 있다.

델 데이터 레이크하우스 사용 기업은 현재 새로운 워프 스피드 기능을 사용할 수 있으며, ‘파워스케일(PowerScale)’ 및 ‘델 ECS’와 같이 S3와 호환되는 델 스토리지를 데이터 레이크로 사용하는 고객에게도 지원된다.

소프트웨어 라이선스 변경 없이 내장형으로 제공되며, 델에서 테스트와 벤치마크를 마친 SSD를 포함해 컴퓨팅 노드 구성을 수정해 워프 스피드 인덱스 및 캐시를 지원한다.

이 외에도 델 데이터 레이크하우스는 새로운 업데이트도 발표했다.
  
- 향상된 커넥터 = 아이스버그(Iceberg), 델타 레이크(Delta Lake), 하이브(Hive)와 같은 주요 소스는 물론, Db2, 네테자(Netezza), 레드시프트(RedShift), SAP HANA, 스노우플레이크(Snowflake), SQL 서버(SQL Server), 시냅스(Synapse) 및 테라데이타(Teradata)에 대한 커넥터를 업그레이드했다.

이같은 커넥터는 이제 조인 푸시 다운 및 데이터 유형 처리와 같은 작업을 빠르고 완벽하게 수행할 수 있게끔 지원한다. 

- 상태 점검 = 델의 지원 팀에서 자동화된 상태 점검을 사용해 설치 또는 업그레이드 전과 후에 클러스터의 상태를 손쉽게 평가할 수 있다.

상태 점검은 지속적인 클러스터 모니터링 및 경고와 더불어 다운타임 제로화를 보장하는 데 중요한 역할을 한다.

- 구독 기간 연장 옵션 = 기존의 1년 또는 3년 구독 옵션에 더해 델 데이터 레이크하우스에 대한 5년 소프트웨어 구독 옵션이 새롭게 추가됐다.  

김경진 한국 델 테크놀로지스 총괄사장은 “델은 AI 시대에 알맞은 데이터 레이크 분석의 새로운 기준을 제시하고 있다. 새로운 워프 스피드를 통해 지금껏 가능하지 않았던 효율성과 속도로 데이터에 담긴 잠재력을 이끌어 내 합리적인 예산으로도 얼마든지 혁신을 도모할 수 있게끔 지원한다”고 말했다.

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
53억 규모 NH농협생명 콜센터 재구축, LGU+ 수주
2
“생성형 AI의 등장으로 AI 영역이 확장, 기업의 디지털 전략 핵심으로 자리잡아”
3
구글 클라우드, 추가비용 없는 ‘생성형 AI’ 공개
4
미래에셋생명, 전 업무 MSA도입 ‘보류 vs 추진’(?)
5
슈퍼마이크로, ‘X14 서버’ 대량 출하 개시
6
기업은행, 설날 특별자금 9조원 지원
7
“금융거래 시 대면채널 이용 줄었지만, 이용자는 의존도 높아”
8
큐브리드 DBMS, 한전KDN ‘K-ECP’에 등록
9
하나은행, ‘달달 하나 적금’ 출시
10
기업은행, 2025년 상반기 조직개편·정기인사 실시
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 2010.06.18, 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기
청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net