Google Cloud는 BigQuery에 근사 근접 이웃 알고리즘 분야에서 Google의 연구 및 혁신의 핵심 부분을 제공하는 TreeAH 벡터 인덱스 미리보기를 발표했습니다. 이 새로운 인덱스 유형은 Google의 가장 인기 있는 서비스 중 일부를 지원하는 것과 동일한 기반 기술을 사용하며 BigQuery에 구현된 첫 번째 인덱스인 역파일 인덱스(IVF)에 비해 특정 상황에서 대기 시간과 비용을 크게 줄여줍니다.
TreeAH 인덱스의 주요 이점 중 하나는 임베딩을 압축하기 위해 곱 양자화를 사용하는 비대칭 해싱("AH")을 사용한다는 것입니다. CPU에 최적화된 거리 계산 알고리즘과 결합하면 TreeAH를 사용한 벡터 검색은 IVF보다 훨씬 빠르고 비용 효율적일 수 있습니다. 압축된 임베딩만 저장되므로 인덱스 생성도 10배 빠르고 저렴하며 메모리 공간도 줄어듭니다.
Google 엔지니어링 팀에서 실시한 벤치마크에 따르면 쿼리 배치 크기가 클 때 TreeAH가 IVF보다 훨씬 뛰어난 것으로 나타났습니다. 예를 들어 10,000개의 벡터가 포함된 쿼리 배치의 경우 TreeAH는 IVF보다 최대 23배 빠르고 95% 저렴했습니다. 또한 TreeAH 인덱스 학습은 대부분의 경우 IVF보다 훨씬 빠르고 저렴했습니다.
하지만 TreeAH는 아직 활발하게 개발 중이며 현재 몇 가지 제한 사항이 있다는 점에 유의해야 합니다. 예를 들어 기본 테이블에는 최대 2억 개의 행만 포함될 수 있으며 TreeAH 인덱스에서는 저장된 열과 사전 필터링이 지원되지 않습니다.
전반적으로 TreeAH는 특정 유형의 벡터 검색 워크로드에 대해 성능과 비용을 크게 개선하여 BigQuery에 귀중한 추가 기능입니다. 이를 통해 시맨틱 검색 및 LLM 기반 검색 증강 생성(RAG)과 같이 BigQuery에서 벡터 검색의 사용 사례가 더욱 확대될 것으로 기대됩니다.
