Tenstorrent Джима Келлера снижает количество тензорных ядер в картах Blackhole p150 с 140 до 120 через обновление прошивки

В отличие от многих стартапов, выпускающих лишь «паровоз» (vaporware), компания Tenstorrent Джима Келлера действительно представила впечатляющие AI-ускорители на архитектуре RISC-V. Однако, похоже, назревают некоторые проблемы. Начиная с версии прошивки 19.5.0, компания сократила количество тензорных ядер на картах Blackhole p150 со 140 до 120. Это изменение затронет как новые карты, так и уже проданные устройства.

Новость, по всей видимости, была сообщена клиентам по электронной почте, с такой же формулировкой, как и на странице обновления прошивки на GitHub. Tenstorrent не поясняет, почему было принято это решение, что оставляет существующих и потенциальных покупателей в недоумении. Цитата с GitHub гласит:

Количество ядер Tensix на P150 изменено с 140 до 120. Это изменение влияет на новые карты, отправляемые с фабрики, а также на существующие карты после обновления прошивки до версии 19.5.0 или новее. Ожидается, что это изменение приведет к снижению производительности на 1-2% при использовании TT-Metalium.

Это заявление, кажется, порождает больше вопросов, чем ответов. Двадцать ядер из 140 — это сокращение примерно на 14%. Сравнивая старые и новые страницы продукта Blackhole p150 на сайте Tenstorrent, видно, что заявленная вычислительная мощность изменилась с 774 до 664 TFLOPS. Это кажется существенным, особенно в контексте многокарточных систем, таких как QuietBox. И тем не менее Tenstorrent утверждает, что на практике для одной карты это должно обернуться падением производительности всего на 1-2% при использовании TT-Metalium — низкоуровневого набора для разработчиков, работающего близко к аппаратному обеспечению.

Один из пользователей на сервере Discord компании задался вопросом, полностью ли использует SDK имеющееся аппаратное обеспечение изначально. Другой отметил, что изменение сетки ядер и таймингов может негативно сказаться на существующем, уже протестированном коде. У существующих пользователей, по сути, нет выбора: обновить прошивку и потерять ядра или лишиться новых функций развивающегося продукта. Предсказуемо, что шуток о сокращении ядер на 14% было предостаточно.

Можно лишь строить гипотезы, почему потребовалось это изменение. Возможно, Tenstorrent не удавалось добиться хорошего выхода годных чипов Blackhole, но это было бы странно, учитывая, что они, как сообщается, производятся по 6-нм техпроцессу — довольно зрелой технологии по современным меркам. Tenstorrent уже ведет переговоры с несколькими производителями чипов по 2-нм норме для следующего поколения продуктов, но пока еще не поставила предстоящую двухчиповую карту Blackhole p300 с 64 ГБ памяти.

Существующая линейка продуктов Blackhole от Tenstorrent — это AI-ускорители для рабочих станций и разработчиков, желающих запускать AI-модели локально. Их цена выглядит разумной: модель p150 с заявленной производительностью 664 TFLOPS и 32 ГБ видеопамяти стоит 1399 долларов США (~112000 рублей), что примерно в три раза дешевле одной RTX 5090, при этом теоретически предлагая в несколько раз большую производительность. Карты можно объединять для объединения видеопамяти, а чипы сочетают CPU и тензорные ядра на одном кристалле, обходя ряд ограничений традиционных архитектур.

Определенные трудности можно ожидать, поскольку невероятно сложно создать совершенно новый AI-ускоритель и его программное обеспечение на необычной архитектуре с нестандартной компоновкой чипа. Нынешняя цель Tenstorrent — маломасштабные AI-ускорители для малого бизнеса, лабораторий и частных лиц — вполне может занять свою нишу на рынке и принести дивиденды в долгосрочной перспективе, если только турбулентность будет сведена к минимуму.