Google, Bigtable SQL 액세스 및 Spanner의 새로운 AI 지원 기능 출시

Google의 최신 업데이트는 SQL을 Bigtable에, 강력한 새 데이터 기능을 Spanner에 도입하여 AI 통합을 단순화하고 기업을 위한 확장 가능한 글로벌 데이터베이스의 기능을 향상시킵니다.

목요일에 Google은 클라우드 데이터 아키텍처에 대한 일련의 데이터베이스 및 데이터 분석 개선 사항을 발표했습니다.

이 문서에서는 Spanner 및 Bigtable(Google의 클라우드 데이터베이스 제품 중 두 가지)의 실질적인 개선 사항에 중점을 둘 것입니다. 이러한 발표는 상호 운용성을 크게 향상시키고 Google이 선보이는 새로운 기능을 사용하여 추가 AI 구현의 가능성을 열어줍니다.

Spanner는 Google의 글로벌 클라우드 데이터베이스입니다. Google이 해결한 수많은 시간 관련 문제로 인해 전 세계적으로 일관성을 제공하는 데 탁월합니다(생각보다 구현하기가 훨씬 어렵습니다). 또한 확장 가능하므로 데이터베이스가 크게 성장하고 국가와 지역에 걸쳐 확장될 수 있습니다. 다중 모드이므로 텍스트뿐만 아니라 미디어 데이터도 지원합니다. 또한 모두 SQL(Structured Query Language) 쿼리를 통해 관리됩니다.

Bigtable은 확장성도 매우 뛰어납니다(따라서 Bigtable의 '큰' 기능). 즉석에서 추가할 수 있고 모든 행에 걸쳐 균일하게 정의할 필요가 없는 매우 넓은 열에 중점을 둡니다. 또한 대기 시간이 매우 짧고 처리량이 높습니다. 지금까지는 유연한 스키마와 데이터 구성을 허용하는 비관계형 데이터베이스를 설명하는 데 사용되는 용어인 NoSQL 데이터베이스로 분류되었습니다.

이 두 도구 모두 대규모 엔터프라이즈 데이터베이스를 지원합니다. Spanner는 일반적으로 강력하고 즉각적인 일관성과 복잡한 트랜잭션이 필요한 전역적으로 분산된 데이터베이스를 사용하는 애플리케이션에 더 나은 선택입니다. 높은 처리량이 중요하다면 Bigtable이 더 좋습니다. Bigtable에는 일관성이라는 형태가 있지만 전파 지연으로 인해 데이터가 즉시 일관성을 유지하지는 못하지만 결국에는 일관성이 유지됩니다.

Bigtable 공지

Bigtable은 주로 API 호출을 통해 쿼리됩니다. 오늘 발표된 가장 크고 판도를 바꾸는 기능 중 하나는 Bigtable용 SQL 쿼리입니다.

이는 프로그래밍 기술의 관점에서 보면 엄청난 것입니다. 프로그래밍 언어 사용에 대한 2023년 스택 오버플로 조사에서 SQL은 48.66%의 프로그래머가 사용하여 4위를 차지했습니다. Stack Overflow 설문조사에는 Bigtable에 대한 언급이 없었기 때문에 몇 가지 관점을 알아보기 위해 LinkedIn을 찾았습니다. "SQL"이 포함된 채용정보를 빠르게 검색하면 400,000개 이상의 결과가 나왔습니다. 한편, '빅테이블'을 검색하면 SQL 건수 대비 1%도 안되는 1,561건의 결과가 나왔다.

따라서 SQL을 아는 사람이라면 누구나 Bigtable API 호출 방법을 배울 수 있었지만 SQL은 학습 곡선이 거의 0으로 평탄해졌음을 의미합니다. 이제 개발자 두 명 중 거의 한 명은 필요할 때마다 Bigtable에 대한 새로운 SQL 인터페이스를 사용하여 쿼리를 작성할 수 있습니다.

하지만 한 가지 참고 사항: 이 Bigtable 업그레이드는 SQL 전체를 지원하지 않습니다. 그러나 Google은 100개 이상의 기능을 구현했으며 앞으로 더 많은 기능을 제공할 것을 약속합니다.

또한 Bigtable 테이블에는 분산 카운터가 도입되었습니다. 카운터는 합계, 평균 및 기타 관련 수학 함수와 같은 기능입니다. Google은 Bigtable 클러스터의 여러 노드에서 매우 높은 수준의 처리량으로 이러한 데이터 집계를 실시간으로 가져오는 기능을 도입하고 있습니다. 이를 통해 소스 전체에서 동시에 분석 및 집계 기능을 수행할 수 있습니다.

이를 통해 일일 참여도 계산, 센서 판독값에서 최대값 및 최소값 찾기 등의 작업을 수행할 수 있습니다. Bigtable을 사용하면 신속한 실시간 통찰력이 필요하고 일반적으로 노드별로 집계한 다음 노드를 집계할 때 발생하는 병목 현상을 지원할 수 없는 대규모 프로젝트에 이러한 솔루션을 배포할 수 있습니다. 그것은 큰 숫자입니다. 빠릅니다.

Spanner 공지사항

Google은 AI 프로젝트 지원을 제공하기 위해 데이터베이스 도구를 이동시키는 여러 가지 대규모 Spanner 발표를 발표했습니다. 가장 큰 점은 Spanner의 핵심인 글로벌 분산 데이터베이스 기능에 그래프 데이터베이스 기능을 추가하는 Spanner Graph의 도입입니다.

"그래프 데이터베이스"와 "그래픽"을 혼동하지 마십시오. 데이터베이스의 노드와 연결을 그래프로 표현할 수 있다는 뜻이다. Facebook과 관련하여 "소셜 그래프"라는 용어를 들어본 적이 있다면 그래프 데이터베이스가 무엇인지 아실 것입니다. 노드를 사람, 장소, 항목 등과 같은 엔터티로 생각하고 연결(에지라고도 함)을 엔터티 간의 관계로 생각하십시오.

예를 들어, Facebook의 소셜 그래프에는 귀하와 관계를 맺고 있는 모든 사람들과 그들이 관계를 맺고 있는 모든 사람들 등이 포함되어 있습니다.

이제 Spanner는 이러한 유형의 데이터를 기본적으로 저장하고 관리할 수 있으며 이는 AI 구현에 있어서 큰 뉴스입니다. 이를 통해 AI 구현은 광범위한 관계 정보를 표현하는 전역적이고 일관성이 높으며 지역에 구애받지 않는 방식을 제공합니다. 이는 순회(경로 찾기 또는 네트워크 탐색), 패턴 일치(특정 패턴과 일치하는 그룹 식별), 중심성 분석(어떤 노드가 다른 노드보다 더 중요한지 결정) 및 커뮤니티 감지(노드 클러스터 찾기)에 강력합니다. 이웃과 같은 일종의 클러스터로 구성됩니다.

그래프 데이터 표현과 함께 Spanner는 이제 그래프에서 강력한 쿼리를 수행하기 위한 업계 표준 언어인 GQL(Graph Query Language)을 지원합니다. 또한 SQL에서도 작동하므로 개발자는 동일한 쿼리 내에서 SQL과 GQL을 모두 사용할 수 있습니다. 이는 행 및 열 데이터를 조사하고 동일한 쿼리에서 관계를 식별해야 하는 애플리케이션에 큰 문제가 될 수 있습니다.

Google은 또한 Spanner에 전체 텍스트와 벡터라는 두 가지 새로운 검색 방식을 도입했습니다. 전체 텍스트는 대부분의 사람들에게 친숙한 것입니다. 즉, 특정 패턴에 대해 기사 및 문서와 같은 텍스트 내에서 검색하는 기능입니다.

벡터 검색은 단어(또는 전체 문서)를 데이터의 수학적 표현인 숫자로 변환합니다. 이를 "벡터"라고 하며 본질적으로 원본 텍스트의 의도, 의미 또는 본질을 포착합니다. 쿼리는 벡터(수치 표현)로 변환되므로 애플리케이션이 조회를 수행할 때 수학적으로 서로 가까운 다른 벡터를 찾습니다. 즉, 본질적으로 유사성을 계산합니다.

일치 항목이 더 이상 정확할 필요가 없기 때문에 벡터는 매우 강력할 수 있습니다. 예를 들어, "탐정 소설"을 쿼리하는 애플리케이션은 "미스터리 소설"을 검색해야 하고, "가정 보험"은 "재산 보장"에도 작동하며, "테이블 램프"는 "책상 조명"에도 작동한다는 것을 알 수 있습니다.

이러한 종류의 유사성 매칭이 AI 분석에 어떻게 도움이 되는지 확인할 수 있습니다. Spanner의 경우 이러한 유사성 일치는 다른 대륙이나 서버 랙에 저장된 데이터에서 작동할 수 있습니다.

더 깊은 통찰력을 위해 데이터 공개

Google의 2024년 데이터 및 AI 동향 보고서에 따르면, 설문조사에 참여한 비기술적 사용자 중 52%는 이미 생성 AI를 사용하여 데이터 통찰력을 제공하고 있습니다. 응답자의 거의 3분의 2는 AI가 "통찰력에 대한 접근의 민주화"를 가져올 것이라고 믿고 있으며, 이는 본질적으로 프로그래머가 아닌 사람들이 프로그래머가 코드를 작성하지 않고도 데이터에 대해 새로운 질문을 할 수 있게 해줍니다. 84%는 생성 AI가 이러한 통찰력을 더 빠르게 제공할 것이라고 믿습니다.

동의합니다. 저는 기술 사용자이지만 내 서버의 일부 원시 데이터를 ChatGPT에 제공하고 그 결과 코드 한 줄을 작성할 필요 없이 몇 분 만에 매우 유용한 비즈니스 분석을 얻었을 때 AI가 내 비즈니스의 판도를 바꾸는 도구라는 것을 깨달았습니다. 사업.

여기에 문제가 있습니다. 설문조사에 따르면 응답자의 66%가 자신의 데이터 중 적어도 절반이 어두운 데이터라고 답했습니다. 이는 데이터가 어딘가에 있지만 분석을 위해 액세스할 수 없다는 것을 의미합니다.

그 중 일부는 데이터 거버넌스 문제와 관련이 있고 일부는 데이터 형식 또는 형식 부족과 관련이 있으며 일부는 데이터를 행과 열로 표현할 수 없다는 사실과 관련이 있고 일부는 다른 수많은 문제와 관련이 있습니다.

기본적으로 AI 시스템이 데이터 통찰력에 대한 액세스를 "민주화"할 수 있더라도 이는 AI 시스템이 데이터에 접근할 수 있는 경우에만 가능합니다.

이는 오늘 Google 발표의 관련성을 보여줍니다. 이러한 기능은 모두 새로운 쿼리 메커니즘, 프로그래머가 SQL과 같은 기존 기술을 사용할 수 있는 능력, 새로운 방식으로 데이터 관계를 표현하는 대규모 데이터베이스의 능력 또는 검색 쿼리의 기능으로 인해 데이터에 대한 액세스를 증가시킵니다. 비슷한 데이터를 찾아보세요. 이들은 모두 이전에 암흑이었던 데이터를 분석 및 통찰력에 공개합니다.

소셜 미디어에서 저의 일상적인 프로젝트 업데이트를 팔로우하실 수 있습니다. 주간 업데이트 뉴스레터를 구독하고 Twitter/X(@DavidGewirtz), Facebook(Facebook.com/DavidGewirtz), Instagram(Instagram.com/DavidGewirtz), YouTube(YouTube.com/DavidGewirtzTV)에서 저를 팔로우하세요.