Джон Кармак предложил использовать оптоволокно в качестве кэша L2 для потоковой передачи данных ИИ

Когда Джон Кармак, легендарный программист и соавтор Doom, делится своими мыслями, техническое сообщество склонно прислушиваться. В своем последнем посте в X он поразмышлял об использовании протяженной петли из оптоволокна в качестве своеобразного кэша второго уровня (L2) для хранения весов моделей искусственного интеллекта, что теоретически может обеспечить почти нулевую задержку и колоссальную пропускную способность.

Идея пришла к нему после осознания, что скорости передачи по одномодовому волокну уже достигли 256 Тбит/с на расстоянии 200 км. Сделав приблизительные расчеты, Кармак выяснил, что в любой момент времени в самом кабеле «находится в полете» около 32 ГБ данных.

Поскольку доступ к весам моделей ИИ для инференса (вывода) часто происходит последовательно, а для обучения — почти последовательно, следующим логическим шагом Кармак видит использование волоконной петли в качестве кэша данных, чтобы постоянно «кормить» AI-акселератор. Это заставляет по-новому взглянуть на традиционную оперативную память (RAM) как на просто буфер между SSD и процессором данных и задуматься о том, как его улучшить или вовсе устранить.

Были продемонстрированы скорости передачи данных 256 Тбит/с на расстоянии 200 км по одномодовому оптоволокну, что дает 32 ГБ данных «в пути», «хранящихся» в волокне, с пропускной способностью 32 ТБ/с. Вывод и обучение нейронных сетей могут иметь детерминированные паттерны обращения к весам, так что это... 6 февраля 2026 года

Обсуждение породило множество ответов, в том числе от специалистов высокого уровня. Некоторые отметили, что сама концепция напоминает линию задержки — технологию памяти середины прошлого века, где в качестве среды использовалась ртуть, а данные представляли собой звуковые волны. С ртутью, однако, было сложно работать, и сам Алан Тьюринг предлагал использовать в качестве среды смесь с джином.

Главное реальное преимущество использования оптоволоконной линии — экономия энергии. На поддержание работы DRAM уходит значительная мощность, в то время как управление светом требует её очень мало. К тому же, свет предсказуем и с ним легко работать. Кармак отмечает, что «у передачи по волокну может быть лучшая траектория роста, чем у DRAM», но даже не считая логистических сложностей, 200 км волокна, вероятно, будут довольно дорогими.

Другие комментаторы указали на дополнительные ограничения, помимо необходимости в большом количестве волокна. Оптические усилители и цифровые сигнальные процессоры (DSP) могут «съесть» часть экономии энергии, а цены на DRAM в любом случае когда-нибудь упадут. Некоторые, как, например, Илон Маск, даже предложили использовать в качестве среды вакуум (космические лазеры!), хотя практичность такого дизайна сомнительна.

В своем твите Кармак также намекнул на более практичный подход: использование существующих чипов флеш-памяти, соединенных напрямую с акселераторами, с тщательным учетом временных параметров. Естественно, для этого потребуется стандартный интерфейс, согласованный производителями флеш-памяти и AI-акселераторов, но учитывая безумные инвестиции в ИИ, такая перспектива кажется вполне реальной.

Вариации этой идеи уже исследуются несколькими группами ученых. Среди подходов — система Behemoth 2021 года, FlashGNN и FlashNeuron (также 2021), а также более свежая разработка — Augmented Memory Grid. Не сложно представить, что одна или несколько из этих технологий будут реализованы на практике, если уже не реализованы.