ТехноСводка

ИИ

OpenAI ускорила чтение в хранилище Habitat в 12 раз и рассказала о сбоях Cosmos DB

OpenAI сообщила, что глобальная медиана задержки чтения в сервисе Habitat снизилась со 120 до 10 мс, и описала две серьёзные аварии с Azure Cosmos DB.

Habitat хранит данные для ChatGPT, Codex и других продуктов: он работает в 40 регионах с 500 ПБ данных. Ускорение дали репликация чувствительных к задержке данных ближе к вычислительным регионам, региональный кэш Valkey и переписывание части кода с Python на Rust. Речь о медиане внутренних чтений, а не об ускорении ответов ChatGPT; самые медленные запросы по-прежнему идут в удалённое хранилище.

В конце 2024 года отключение питания затронуло основной регион Azure для крупного аккаунта Cosmos DB, и выяснилось, что переключение может занимать несколько часов. Через месяц при возврате в исходный регион перегрузился шлюз. Из-за «шумных соседей» OpenAI пробовала отдельные контейнеры, но вернулась к общим, добавив приоритеты запросов. Azure подняла лимит на физический раздел в serverless-режиме с 5000 до 10 000 RU/s.

В отчёте нет показателей p99, времени восстановления региона и доли устаревших ответов из кэша. OpenAI также разрабатывает хранилище эксабайтного масштаба на RocksDB Cloud и Raft, но об отказе от Cosmos DB не объявляла.

  • Медиана чтения: со 120 до 10 мс
  • 500 ПБ данных, 40 регионов

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.