Google Cloud는 AI를 최우선으로 하는 미래를 위한 강력한 인프라 혁신을 발표했습니다. 여기에는 6세대 TPU인 Trillium, NVIDIA H200 Tensor Core GPU 기반 A3 Ultra VM, Hypercompute Cluster, 맞춤형 Axion 프로세서 기반 C4A VM, Jupiter 데이터 센터 네트워크 및 Titanium 호스트 오프로드 기능 향상, Hyperdisk ML 스토리지 서비스가 포함됩니다. 이러한 개선 사항은 고객을 위해 AI 인프라 성능, 사용 편의성 및 비용 효율성을 개선하는 것을 목표로 합니다. Trillium은 TPU v5e에 비해 획기적인 성능 향상을 제공하며, 여기에는 4배 이상 향상된 학습 성능, 최대 3배 향상된 추론 처리량, 67% 향상된 에너지 효율성이 포함됩니다. A3 Ultra VM은 이전 세대에 비해 GPU-GPU 네트워킹 대역폭이 2배, LLM 추론 성능이 최대 2배 향상되어 성능이 크게 향상되었습니다. Hypercompute Cluster는 AI 가속기 클러스터 관리를 간소화하여 단일 API 호출을 통해 안정적이고 반복 가능한 배포를 지원합니다. C4A VM은 이제 광범위한 범용 워크로드에 대해 향상된 성능과 효율성을 제공합니다. Titanium과 Jupiter 네트워크는 AI 워크로드를 지원하도록 개선되었으며, 새로운 Titanium ML 네트워크 어댑터는 RoCE를 통해 3.2Tbps의 GPU-GPU 트래픽을 제공합니다. Hyperdisk ML은 이제 AI 및 HPC 워크로드를 위한 고성능 스토리지를 제공하며, 더 빠른 데이터 로드 시간과 더 높은 비용 효율성을 제공합니다.