ИИ 11 октября 2026, 17:41 МСК

Бенчмарк Humanity's Sixth Sense: лучшая ИИ-модель набрала 53,6% против 93,1% у людей

Scale Labs и стартап Elorian представили бенчмарк Humanity's Sixth Sense, показавший, что мультимодальные модели плохо считывают неявные сигналы в изображениях и видео.

Тест включает 522 задания: 288 статичных сцен и 234 видеофрагмента. Вопросы решаются людьми интуитивно: пройдёт ли машина в зазор между припаркованными авто, у кого в комнате негласная власть, каковы намерения человека в кадре. Elorian основал бывший исследователь Google DeepMind.

Из 25 протестированных моделей лучшей стала GPT-6 Astra (53,6%), GPT-6.1 Sol набрала 46,6%, Claude Opus 5.5 — 44,6%, медиана — 30,9%. Люди показали 93,1%.

Анализ более 8 500 ошибочных ответов показал, что 94% ошибок связаны с отказами машинного зрения — модели не замечают визуальные маркеры и теряют контекст, — и лишь 5% с логикой. Увеличение вычислительного бюджета (в среднем 4 000 токенов на ответ) не помогло, иногда снижая точность, а имитация фокусировки через обрезку кадров дала минимальный эффект. Авторы заключают, что масштабирование рассуждений не компенсирует ограничения базового компьютерного зрения.

• 522 задания: 288 сцен и 234 видео, 25 моделей
• 94% ошибок — из-за машинного зрения, 5% — из-за логики