Google Cloud, BigLake와 새로운 데이터 클라우드 제휴를 통해 데이터를 '무제한'으로 만들려는 시도

BigLake는 완전한 오픈소스가 되도록 설계되었으며 향후 Google Cloud 투자의 중심이 될 것입니다.

Google Cloud는 모든 "데이터 한계"를 제거하고 데이터 레이크와 웨어하우스 간의 장벽을 허물기 위한 목표의 일환으로 데이터 레이크 스토리지 엔진인 BigLake의 미리보기를 발표했습니다.

Google Cloud 데이터 분석 제품 관리자인 Sudhir Hasbe의 설명에 따르면 BigLake는 형식에 관계없이 데이터 레이크 및 데이터 웨어하우스를 포함한 모든 스토리지 계층에서 통합 인터페이스를 제공하도록 설계되었습니다.

그는 사전 브리핑에서 언론에 "데이터를 복사하거나 멀티 클라우드 환경의 Google Cloud Storage, S3 또는 Azure와 같은 개체 저장소 간에 데이터를 이동할 필요가 없으며 모든 데이터에 액세스할 수 있는 단일 장소를 얻을 수 있습니다"라고 말했습니다.

BigLake는 Apache Spark 또는 Beam과 같은 오픈 소스 처리 엔진과 Delta 및 Iceberg를 포함한 다양한 테이블 형식과 함께 Parquet와 같은 모든 개방형 파일 형식을 지원할 수 있다고 덧붙였습니다.

"완전히 열려 있습니다"라고 그는 말했습니다.

"우리는 Google의 혁신을 가져와 오픈 소스 세계로 확장하고 모든 고객에게 더 개방적인 환경을 만들고 있습니다."

BigLake는 앞으로 Google Clouds의 모든 투자의 중심이 될 것입니다.

Hasbe는 "앞으로 모든 다양한 도구와 구성 요소가 BigLake와 원활하게 작동하도록 할 것입니다.

또한 Google은 Confluent, Databricks, Dataiku, Deloitte, Elastic, Fivetran, MongoDB, Neo4j, Redis 및 Starburst를 포함한 다른 창립 파트너와 함께 결성된 데이터 클라우드 연합의 설립을 발표했습니다.

이 제휴에 따라 회원사는 인프라, API 및 통합 지원을 제공하여 여러 환경에서 여러 플랫폼과 제품 간의 데이터 이동성과 접근성을 보장할 것입니다. 또한 새로운 공통 산업 데이터 모델, 프로세스 및 플랫폼 통합에 대해 협업하여 데이터 이식성을 높일 것입니다.

"우리는 데이터를 잠그는 장벽을 제거하기 위해 최선을 다하고 있습니다. 우리는 제품 전반에 걸쳐 데이터에 액세스하고 처리할 수 있도록 최선을 다하고 있으며, 고객을 공동 혁신의 중심에 두기 위해 최선을 다하고 있습니다"라고 Google 데이터베이스, 데이터 분석, Looker 총괄 관리자인 Gerrit Kazmaier는 주장했습니다.

이 기술 대기업은 Data Cloud Summit의 일환으로 데이터 및 ML 시스템을 단일 인터페이스로 통합하는 Vertex AI Workbench를 도입하여 팀이 데이터 분석, 데이터 과학, 머신러닝 전반에 걸쳐 공통 도구 세트를 사용할 수 있도록 했습니다. BigQuery, Serverless Spark, Dataproc을 포함한 전체 AI 및 데이터 제품군과 직접 통합되도록 설계되었습니다.

Google Cloud AI 선임 제품 관리자인 Henry Tappen은 "이 기능을 통해 팀은 사용하는 다른 도구보다 5배 더 빠르게 향상하고 만들 수 있는 간단한 노트북 환경에서 ML 모델을 빌드, 학습 및 배포할 수 있습니다.  

이 회사는 또한 Vertex AI Model Registry를 발표했습니다. 현재 프리뷰로 제공되는 Model Registery는 "BigQuery ML에 저장된 모델을 포함하여 머신러닝 모델을 검색, 사용, 관리하기 위한 중앙 저장소"로 설계되었다고 Tappen은 말했습니다.

태펜은 "이 기능을 통해 데이터 사이언티스트가 모델을 쉽게 공유하고 앱 개발자가 모델을 사용할 수 있기 때문에 팀은 데이터를 실시간 의사 결정으로 전환할 수 있는 권한을 더 많이 갖게 될 것"이라고 덧붙였습니다.