Geekbench предупреждает, что результаты Intel BOT для Arrow Lake Plus несопоставимы со стандартными тестами

Компания Primate Labs, разработчик бенчмарка Geekbench, объявила, что будет помечать предупреждением результаты тестов, полученные с помощью нового инструмента Intel Binary Optimization Tool (BOT) для процессоров Arrow Lake Plus. Специалисты по тестированию заявляют, что этот инструмент, работающий только на новых чипах Intel, «может повысить результаты Geekbench 6 до 8%, но эти результаты несопоставимы со стандартными прогонами».

В Primate Labs уточняют, что производительность отдельных рабочих нагрузок может быть улучшена на целых 40%. Компания объясняет свое решение тем, что «поскольку инструмент модифицирует бенчмарк, и как именно происходят эти изменения, неясно ни Primate Labs, ни широкой публике, результаты, сгенерированные с помощью этого инструмента, несопоставимы с результатами, полученными без него».

Предупреждение будет применяться ко всем результатам Geekbench 6 для новых процессоров Intel, поскольку у Primate Labs в настоящее время «нет способа определить, был ли результат Geekbench 6 запущен с Binary Optimization Tool или без него». Таким образом, всем результатам Arrow Lake Plus будет присвоено следующее предупреждение:

«Этот результат тестирования может быть недействительным из-за инструментов модификации двоичного кода, которые могут работать в этой системе».

Primate Labs заключает, что, «хотя Binary Optimization Tool поддерживает лишь небольшое количество процессоров Intel, это важный шаг для обеспечения достоверности оценок, публикуемых в Geekbench Browser».

Возникает вопрос о справедливости такого подхода. Некоторые наблюдатели справедливо отмечают, что прогоны Geekbench и так не полностью сопоставимы на разных платформах. Более того, то, что делает инструмент BOT от Intel, по сути, не отличается от того, что различные архитектуры CPU делают внутренне. Инструмент BOT просто гарантирует, что генерируемые инструкции оптимальны для конкретной микроархитектуры.

Если есть веская причина помечать результаты с BOT, то она в том, что они не отражают производительность архитектуры Arrow Lake Plus без включенного инструмента. Это важно, потому что BOT не работает автоматически для всего программного обеспечения. Вместо этого Intel сначала должна оценить программу и создать для нее специальный профиль для BOT.

Также можно вспомнить, что у Intel уже была история с «настройкой» результатов тестов. Например, в 2024 году SPEC аннулировала результаты Intel из-за «нечестных» оптимизаций в определенном компиляторе. Другая проблема заключается в том, что BOT от Intel может спровоцировать гонку оптимизаций, которая сделает все результаты нерепрезентативными для реальной производительности CPU. С учетом всего этого, помечать результаты, улучшенные BOT, вероятно, имеет смысл.