Рекордный запуск Frontier: новый этап в моделировании вселенной

Небольшой образец из моделирования Frontier показывает эволюцию расширяющейся Вселенной в регионе, содержащем огромное скопление галактик, от миллиардов лет назад до наших дней (слева). Красные области показывают более горячие газы, с температурой, достигающей 100 миллионов Кельвинов или более. При увеличении (справа) частицы-трассеры звезд отслеживают формирование галактик и их движение с течением времени. Автор: Argonne National Laboratory, US Dept of Energy

Вселенная только что стала намного больше — или, по крайней мере, в мире компьютерных симуляций. В начале ноября исследователи из Аргоннской национальной лаборатории Министерства энергетики использовали самый быстрый суперкомпьютер на планете, чтобы запустить самую большую астрофизическую симуляцию Вселенной, когда-либо проводившуюся.

Достижение было достигнуто с помощью суперкомпьютера Frontier в Национальной лаборатории Оук-Ридж. Расчеты устанавливают новый стандарт для моделирования космологической гидродинамики и обеспечивают новую основу для моделирования физики атомной материи и темной материи одновременно. Размер моделирования соответствует обзорам, проводимым крупными телескопическими обсерваториями, что до сих пор было невозможно в таком масштабе.

«Во Вселенной есть два компонента: темная материя, которая, насколько нам известно, взаимодействует только гравитационно, и обычная материя, или атомная материя», — сказал руководитель проекта Салман Хабиб, директор отдела вычислительных наук в Аргоннском университете.

«Итак, если мы хотим узнать, что происходит во Вселенной, нам нужно смоделировать обе эти вещи: гравитацию, а также всю остальную физику, включая горячий газ и образование звезд, черных дыр и галактик», — сказал он. «Астрофизическая «кухонная раковина», так сказать. Эти симуляции — то, что мы называем симуляциями космологической гидродинамики».

Неудивительно, что моделирование космологической гидродинамики требует значительно больше вычислительных ресурсов и гораздо сложнее в реализации по сравнению с моделированием расширяющейся Вселенной, которое учитывает только эффекты гравитации.

«Например, если бы мы смоделировали большой кусок Вселенной, наблюдаемый одним из крупных телескопов, например, обсерваторией Рубина в Чили, то речь идет о наблюдении за огромными отрезками времени — миллиардами лет расширения», — сказал Хабиб. «До недавнего времени мы даже не могли себе представить, что сможем провести такую большую симуляцию, разве что в приближении, учитывающем только гравитацию».

Код суперкомпьютера, используемый в моделировании, называется HACC, сокращение от Hardware/Hybrid Accelerated Cosmology Code. Он был разработан около 15 лет назад для петафлопсных машин. В 2012 и 2013 годах HACC был финалистом премии Гордона Белла Ассоциации вычислительной техники в области вычислений.

Позже HACC был значительно модернизирован в рамках ExaSky, специального проекта, возглавляемого Хабибом в рамках Exascale Computing Project, или ECP. Проект объединил тысячи экспертов для разработки передовых научных приложений и программных инструментов для грядущей волны суперкомпьютеров класса exascale, способных выполнять более квинтиллиона, или миллиарда миллиардов, вычислений в секунду.

В рамках ExaSky исследовательская группа HACC провела последние семь лет, добавляя новые возможности в код и повторно оптимизируя его для работы на экзафлопсных машинах с графическими ускорителями. Требование ECP заключалось в том, чтобы коды работали примерно в 50 раз быстрее, чем они могли раньше на Titan, самом быстром суперкомпьютере на момент запуска ECP. Работая на суперкомпьютере класса экзафлопс Frontier, HACC был почти в 300 раз быстрее эталонного запуска.

Новые симуляции достигли рекордной производительности, используя около 9000 вычислительных узлов Frontier, работающих на базе графических процессоров AMD Instinct MI250X. Frontier находится в вычислительном центре ORNL Oak Ridge Leadership Computing Facility, или OLCF.

«Это не только огромный размер физической области, который необходим для прямого сравнения с современными обзорными наблюдениями, доступными благодаря экзафлопсным вычислениям», — сказал Бронсон Мессер, директор по науке OLCF. «Это также дополнительный физический реализм, включающий барионы и всю другую динамическую физику, что делает эту симуляцию настоящим туром силы для Frontier».

Помимо Хабиба, в команду HACC, участвовавшую в создании достижений и других симуляций в рамках работы над Frontier, вошли Майкл Буэльманн, Джей Ди Эмберсон, Катрин Хайтманн, Патрисия Ларсен, Адриан Поуп, Эстебан Ранхель и Николас Фронтьер, которые руководили симуляциями Frontier.

До запуска на Frontier сканирование параметров для HACC проводилось на суперкомпьютере Perlmutter в Национальном центре энергетических исследований и научных вычислений (NERSC) в Национальной лаборатории Лоуренса в Беркли. HACC также запускался в масштабе на суперкомпьютере класса exascale Aurora в Argonne Leadership Computing Facility (ALCF).

Источник: Oak Ridge National Laboratory