Geekbench раскритиковала технологию Intel BOT за нереалистичную оценку производительности процессоров

Компания Primate Labs, разработчик популярного бенчмарка Geekbench, опубликовала критический анализ технологии Intel BOT (Binary Optimization Tool). Согласно заявлению, эта технология создаёт «нереалистичную картину» производительности процессоров, заставляя чипы Intel выглядеть быстрее по сравнению с конкурентами от AMD, чем они были бы в реальных условиях.

Ранее Primate Labs начала помечать результаты тестов процессоров Intel Arrow Lake Plus, выполненные с BOT, специальными предупреждениями в своей базе данных. Теперь компания представила результаты собственного тестирования, проведённого на ноутбуке с процессором Panther Lake, который также поддерживает BOT.

В своём блоге Primate Labs заявляет, что публичная документация Intel по BOT ограничена, и их исследование показало, что технология выходит за рамки простого переупорядочивания инструкций, о котором заявлял Intel.

«Основываясь на количестве инструкций, ясно, что BOT внесла значительные изменения в код рабочей нагрузки HDR. Общее количество инструкций сократилось на 14%. Большая часть этого сокращения происходит от векторизации BOT частей кода рабочей нагрузки, преобразования инструкций, работающих с одним значением, в инструкции, работающие с восемью значениями. Это значительно более сложное преобразование, чем простое переупорядочивание кода», — отмечается в сообщении.

Также было обнаружено, что BOT добавляет задержку при запуске приложений. При первом запуске Geekbench с включённым BOT наблюдалась задержка в 40 секунд перед началом работы программы. Последующие запуски были быстрее, с задержкой в 2 секунды. При отключении BOT задержка исчезала.

Ключевой вопрос, по мнению Primate Labs, заключается в том, сколько приложений в конечном итоге будут поддерживать BOT. Понимание заключается в том, что для поддержки потребуется, чтобы инженеры Intel Labs проводили оптимизацию для каждого конкретного приложения и добавляли результаты в инструмент. Сколько приложений Intel выберет для оптимизации, неясно, но тот факт, что BOT никогда не будет просто работать с любым данным приложением, является очевидным недостатком.

Таким образом, результаты бенчмарков с включённым BOT могут не отражать реальную производительность в большинстве повседневных задач, где такое ускорение недоступно.