Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
Обновленный суперкомпьютер имени Н.Н. Говоруна представлен в Объединенном институте ядерных исследований в Дубне

20, ноябрь 2019  —  В Объединенном институте ядерных исследований (ОИЯИ) состоялась презентация обновленного суперкомпьютера, названного в честь директора Лаборатории вычислительной техники и автоматизации ОИЯИ в 1988-1989 гг. Николая Николаевича Говоруна (член-корреспондент Академии наук СССР, профессор, доктор физико-математических наук), с именем которого с 1966 года неразрывно связано развитие информационных технологий в этой международной межправительственной научно-исследовательской организации.

На торжественной церемонии представления обновления суперкомпьютера в Лаборатории информационных технологий (ЛИТ) ОИЯИ присутствовали член-корреспондент Российской академии наук Владимир Дмитриевич Кекелидзе, вице-директор Объединенного института ядерных исследований, директор лаборатории ЛФВЭ, руководитель мегасайенс-проекта NICA, гости из научных и учебных, а также коммерческих организаций.

Суперкомпьютер Объединенного института ядерных исследований нацелен на решение сложнейших научно-практических задач и поддержки экспериментов на комплексе NICA и других экспериментов во всех лабораториях института: Лаборатории теоретической физики (ЛТФ) им. Н.Н. Боголюбова, Лаборатории физики высоких энергий (ЛФВЭ) им. В.И. Векслера, А.М. Балдина, Лаборатории ядерных проблем В.П. Джелепова, Лаборатории ядерных реакций им Г.Н. Флерова, Лаборатории нейтронной физики им И.М. Франка и Лаборатории радиационной биологии. Проект реализуется Лабораторией информационных технологий (ЛИТ) при поддержке дирекции ОИЯИ с участием специалистов группы компаний РСК и корпорации Intel.

Необходимость обновления ресурсов суперкомпьютера обусловлена требованиями кардинального ускорения комплексных теоретических и экспериментальных исследований в области физики элементарных частиц, ядерной физики и физики конденсированных сред, в том числе для реализации научной программы на ускорительном комплексе NICA , создаваемом с 2013 года на базе ОИЯИ для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала наша Вселенная в первые мгновения после Большого Взрыва – кварк-глюонной плазмы.

Эксплуатация первой очереди суперкомпьютера ОИЯИ имени Н.Н. Говоруна в течение прошедших полутора лет позволила провести целый ряд сложнейших ресурсоемких вычислений в области квантовой хромодинамики на решетках для исследования свойств адронной материи при высокой плотности энергии и барионного заряда и в присутствии сверхсильных электромагнитных полей, качественно повысить оперативность моделирования динамики столкновений релятивистских тяжелых ионов, позволил ускорить процесс генерации и реконструкции событий для экспериментов мегасайенс-проектов NICA, провести расчеты радиационной безопасности экспериментальных установок ОИЯИ, существенно ускорить исследования в области радиационной биологии и других научно-прикладных задач решаемых в ОИЯИ, участвуя в международных научных коллаборациях. Результаты данных научных исследований были опубликованы в более чем 50-ти ведущих мировых научных изданиях.

« На текущий момент трудно представить физику высоких энергий без применения ИТ-технологий, по мере своего развития суперкомпьютер « Говорун » и Лаборатория информационных технологий становятся центральным звеном поддержки всех научных экспериментов и теоретических расчетов для всего ОИЯИ, а также международных проектов, в которых Институт принимает участие », – отметил Владимир Васильевич Кореньков, директор Лаборатории информационных технологий Объединенного института ядерных исследований.

Обновленный суперкомпьютер ОИЯИ обладает совокупной теоретической пиковой производительность 860 ТФЛОПС (терафлопс - триллион операций с плавающей запятой в секунду, равен 1000 гигафлопс) двойной точности, являясь при этом гиперконвергентной программно-определяемой системой. Данный подход представляется новым для индустрии высокопроизводительных систем, а реализованный с его использованием проект обладает уникальными свойствами по гибкости настройки системы под конкретную задачу пользователя и, тем самым, максимизации эффективности использования ресурсов суперкомпьютера.

В основе построения гиперконвергентной системы лежит подход объединения ресурсов для вычисления (compute) и хранения (store) на каждом узле системы. Каждый узел системы является как частью вычислительной подсистемы, так и частью распределенной системы хранения данных пользователей исполняя сразу два вида нагрузки (compute/store). Это позволяет линейно масштабировать ресурсы системы с увеличением количества узлов. В отличии от классического подхода в НРС, когда вычислительная система и система хранения являются обособленными и масштабируются отдельно, в гиперконвергентной системе с увеличением количества узлов системы растет как вычислительная мощность, так и объем/скорость распределенной системы хранения данных растут параллельно. Программное обеспечение суперкомпьютера на основе комплексного ПО « РСК БазИС » позволяет создавать, конфигурировать и управлять системами такого типа, прецизионно выделяя под каждую задачу пользователя необходимые вычислительные ресурсы и ресурсы системы хранения.

Для создания максимально гибких конфигураций в системе присутствуют узлы различных типов:

•  Базовые вычислительные узлы — двухпроцессорные узлы с двумя высокоскоростными NVMe на основе процессоров семейства Intel ® Xeon ® Scalable Gen. 2 ( модели Intel ® Xeon ® Gold 8268), платы семейства Intel ® Server Board S2600BP и высокоскоростными твердотельными дисками Intel ® SSD DC P4511 с интерфейсом NVMe емкостью 2 Тбайт и форм-фактором M.2 и одним 100Гб/с адаптером Intel ® Omni-Path.

Данные узлы являются основой для стандартных вычислений и распределенной « системы хранения по требованию ».

•  Узлы с расширенным функционалом хранения данных — базовые двухпроцессорные узлы дополнительно оснащенные двенадцатью слотами форм-фактора M.2 под высокоскоростные NVMe диски и высокоскоростными контроллерами шины PCIe, позволяющими реализовать все преимущества современных технологий хранения данных таких, как SDS, NVMe-over-Fabric, M.2 Hot Swap и т.д.

В узлах находятся процессоры семейства Intel ® Xeon ® Scalable Gen. 2 ( модели Intel ® Xeon ® Gold 8268), платы семейства Intel ® Server Board S2600BP, двумя 100Гб/с адаптером Intel ® Omni-Path и либо

•  12 высокоскоростных твердотельных диска Intel ® SSD DC P4511 с интерфейсом NVMe емкостью 2 Тбайт и форм-фактором M.2 для создания сверхбыстрой системы хранения как статической, так и « системы хранения по требованию ».

•  Либо 12 высокоскоростных и низколатентных Intel ® SSD DC Optane P4801X с интерфейсом NVMe емкостью 375Гбайт и интерфейсом M.2.

Данные узлы могут быть использованы как для создания систем с большой памятью (до 3.4ТБ на узел), либо как очень быстрый компонент параллельной системы хранения (например, MDS в ПФС Lustre).

•  Узлы для решения задач со сверхмассивной параллельностью на основе 72-ядерных серверных процессоров Inte l ® Xeon Phi ™ 7290, платы семейств Intel ® Server Board S7200AP твердотельные накопители семейства Intel ® SSD DC S3520 с подключением по шине SATA в форм-факторе M.2.

Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютерного комплекса ОИЯИ используется технология коммутации Intel ® Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel ® Omni-Path Edge Switch 100 Series со 100% жидкостным охлаждением, что обеспечивает высокую эффективность работы системы охлаждения в режиме « горячая вода » и наиболее низкую совокупную стоимость владения системой. Характеристики низколатентной Intel ® Omni-Path Architecture позволяет удовлетворить не только текущие потребности ресурсоемких приложений пользователей, но и обеспечить необходимый запас пропускной способности для распределенных системы хранения суперкомпьютера.

Применение гиперконвергентного подхода позволило создать для суперкомпьютера « Говорун » уникальную высокоскоростную систему хранения данных, обладающую лидерскими характеристиками — скорость параллельной файловой системы на чтение/запись информации превышает 300ГБ/с , что является рекордом не только на территории России/СНГ, но и на территории Европы. Достижение таких показателей стало возможным только благодаря внедрению комплексных программно-аппаратных решений РСК, поскольку применение стандартных технологий построения отдельно стоящих СХД потребовало бы в десятки раз более дорогого решения.

« Важно отметить, что обновленный суперкомпьютер ОИЯИ « Говорун » не только позволит проводить сложнейшие массивные вычисления в области физики высоких энергий, но также, благодаря реализованной уникальной сверхбыстрой системе хранения данных, позволит на качественно новом уровне работать с большими объемами данных, в том числе для задач генерации и реконструкции событий для экспериментов на ускорительном комплексе NICA. По своим скоростным характеристикам данная система не имеет аналогов в вычислительных системах, использующихся для обработки экспериментальных данных в области физики высоких энергий в мире », – подчеркнул Владимир Дмитриевич Кекелидзе, вице-директор Объединенного института ядерных исследований, директор лаборатории ЛФВЭ, руководитель мегасайенс-проекта NICA.

Уникальное внедренное решение « системы хранения по требованию » позволяет на суперкомпьютере « Говорун » формировать специфическую систему хранения для каждой запускаемой на суперкомпьютере задачи с требуемыми свойствами, такими как (объем и скорость, тип файловой системы, время существования, уровень надежности и безопасности), что было бы так же невозможно в случае стандартного подхода к построению СХД для НРС систем.

Помимо вышеперечисленных инноваций суперкомпьютер « Говорун » на основе « РСК Торнадо » является высокоплотным и энергоэффективным решением на базе серверных технологий Intel с прямым жидкостным охлаждением, разработанным специалистами российской группы компаний РСК. В Объединенном институте ядерных исследований установлены универсальные вычислительные шкафы « РСК Торнадо » с рекордной энергетической плотностью и системой прецизионного жидкостного охлаждения, сбалансированной для постоянной работы с высокотемпературным хладоносителем (до +63 ° С на входе в вычислительный шкаф). В соответствии с условиями размещения оборудования для ОИЯИ был выбран оптимальный режим работы вычислительного шкафа при постоянной температуре хладоносителя +45 ° С на входе в вычислительные узлы (с пиковым значением до +57 ° С).

Работа в режиме « горячая вода » для данного решения позволила применить круглогодичный режим free cooling (24x7x365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 ° С, а также полностью избавиться от фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06. То есть на охлаждение расходуется менее 6% всего потребляемого электричества, что является выдающимся результатом для HPC-индустрии.

Высокая доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений, также обеспечиваются благодаря передовой системе управления и мониторинга на базе ПО « РСК БазИС ». Она позволяет осуществлять управление как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления. Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) – это программно-определяемые компоненты, позволяющие существенно упростить и ускорить как начальное развертывание, так и обслуживание, и последующую модернизацию системы. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

« Мы очень рады, что передовые решения РСК для высокопроизводительных вычислений теперь будут активно использоваться не только для развития российской науки, но и для повышения эффективности и результативности международного научного сотрудничества, примером которого является многолетняя деятельность Объединенного института ядерных исследований », – подчеркнул Александр Московский, генеральный директор группы компаний РСК.

В РСК накоплен уникальный опыт разработки, создания и эксплуатации высокоплотных и энергоэффективных суперкомпьютерных комплексов с жидкостным охлаждением, де-факто компания является мировым технологическим лидером в этой области. Среди ключевых заказчиков РСК – организации высшего образования (ведущие российские университеты) и науки, научно-исследовательские центры, лаборатории и конструкторские бюро. Решения компании, кроме нового проекта в ОИЯИ, установлены и активно используются для моделирования и расчетов широкого спектра научно-исследовательских и реальных промышленных задач в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ), Межведомственном суперкомпьютерном центре Российской Академии Наук (МСЦ РАН), Сибирском суперкомпьютерном центре (ССКЦ) ИВМиМГ СО РАН, Южно-Уральском государственном университете (ЮУрГУ), Институте океанологии имени П.П. Ширшова РАН, Московском физико-техническом университете (МФТИ), Росгидромете и у других заказчиков из различных отраслей промышленности и направлений деятельности, таких как авиамоторостроение, энергетика, компьютерная графика, нефтегазовая отрасль и другие.

Справка об ОИЯИ

Объединенный институт ядерных исследований (ОИЯИ) - международная межправительственная научно-исследовательская организация, созданная на основе Соглашения, подписанного одиннадцатью странами-учредителями 26 марта 1956 года, и зарегистрированная ООН 1 февраля 1957 года. ОИЯИ расположен в Дубне, недалеко от Москвы.

Членами ОИЯИ сегодня являются 18 государств: Азербайджан, Армения, Белоруссия, Болгария, Вьетнам, Грузия, Казахстан, КНДР, Куба, Молдова, Монголия, Польша, Россия, Румыния, Словакия, Узбекистан, Украина, Чехия. На правительственном уровне заключены Соглашения о сотрудничестве Института с Венгрией, Германией, Египтом, Италией, Сербией и ЮАР.

Основные направления теоретических и экспериментальных исследований в ОИЯИ: физика элементарных частиц, ядерная физика и физика конденсированного состояния вещества. Научную политику ОИЯИ вырабатывает международный Ученый совет.

В составе ОИЯИ семь лабораторий: Лаборатория теоретической физики им. Н.Н.Боголюбова, Лаборатория ядерных проблем им. В.П.Джелепова, Лаборатория ядерных реакций им. Г.Н.Флерова, Лаборатория физики высоких энергий им. В.И.Векслера и А.М.Балдина, Лаборатория нейтронной физики им. И.М.Франка, Лаборатория информационных технологий, Лаборатория радиационной биологии. Каждая из лабораторий по масштабам исследований сопоставима с большим академическим институтом. Штат ОИЯИ насчитывает около 4500 человек, из них более 1200 ? научные сотрудники, в том числе действительные члены и члены-корреспонденты национальных академий наук, более 260 докторов и 570 кандидатов наук, около 2000 ? инженерно-технический персонал.

ОИЯИ располагает замечательным набором экспериментальных физических установок: первым в Европе и Азии сверхпроводящим ускорителем тяжелых ядер и тяжелых ионов – нуклотроном, циклотронами У-400, У-400М, новым циклотроном ДЦ-280, уникальным нейтронным импульсным реактором ИБР-2 и ускорителем протонов – фазотроном, который используется для лучевой терапии. Успешно идут работы по сооружению экспериментальной установки класса мегасайенс — NICA (Nuclotron based Ion Collider facility). Интенсивные работы ведутся по созданию современного ускорительного комплекса тяжелых ионов DRIBs (Dubna Radioactive Ion Beams) и сооружению ключевого элемента этого проекта — фабрики сверхтяжелых элементов.

Учеными Дубны были синтезированы новые, долгоживущие сверхтяжелые элементы с порядковыми номерами 113, 114, 115, 116, 117 и 118. Признанием выдающегося вклада ученых Института в современную физику и химию стало решение Международного союза чистой и прикладной химии (IUPAC) о присвоении 105-му элементу Периодической системы элементов Д.И.Менделеева названия дубний, 114-му элементу названия флеровий в честь Лаборатории ядерных реакций ОИЯИ и ее основателя академика Г.Н.Флерова, 115-му элементу ? московий в честь Московской области, места расположения Объединенного института ядерных исследований, и названия оганесон для элемента 118 в честь профессора Юрия Оганесяна за его основополагающий вклад в исследование трансактиноидных элементов.

ОИЯИ обладает мощными высокопроизводительными вычислительными средствами, которые с помощью высокоскоростных каналов связи (100 Гбит/с) интегрированы в мировые компьютерные сети. Проект развития Многофункционального информационно-вычислительного комплекса (МИВК) ОИЯИ направлен на создание технологической базы для проведения научных исследований в единой информационно-вычислительной среде, объединяющей множество различных технологических решений, концепций и методик. Успешно работает единственный в странах-участницах ОИЯИ грид-центр первого уровня Tier-1 для эксперимента СМS на LHC, ставший одним из лучших CMS центров в структуре WLCG ? всемирной грид-инфраструктуры для обработки, анализа и хранения данных.

Важный аспект деятельности ОИЯИ – широкое международное научно-техническое сотрудничество: Институт поддерживает связи более чем с 800 научными центрами и университетами в 64 странах мира. Только в России, крупнейшем партнере ОИЯИ, сотрудничество осуществляется со 150 исследовательскими центрами, университетами, промышленными предприятиями и фирмами из 50 российских городов.

В ОИЯИ созданы прекрасные условия для обучения талантливых молодых специалистов. Учебно-научный центр ОИЯИ реализует образовательную программу Института, связанную, в первую очередь, с подготовкой молодых специалистов высшей квалификации для проведения исследований в лабораториях ОИЯИ и научных центрах стран-участниц. В Дубне работают филиал Московского государственного университета, кафедры теоретической и ядерной физики в Международном университете природы, общества и человека « Дубна ».

Подробнее можно узнать на официальном сайте: http://www.jinr.ru .

О группе компаний РСК

Группа компаний РСК — ведущий российский разработчик и интегратор « полного цикла » инновационных сверхплотных, масштабируемых и энергоэффективных решений для высокопроизводительных вычислений (HPC) и центров обработки данных (ЦОД) на основе архитектур корпорации Intel и передового жидкостного охлаждения, а также целого ряда собственных ноу-хау. РСК с 2018 года является участником приоритетного проекта « Национальные чемпионы », реализуемым Министерством экономического развития Российской Федерации.

Существующий потенциал компании позволяет: создавать самые энергоэффективные решения с рекордным показателем эффективности использования электроэнергии (PUE), реализовать самую высокую вычислительную плотность в индустрии на базе стандартных процессоров архитектуры x86, использовать полностью « зеленый » дизайн, обеспечить высочайшую надежность решения, полную бесшумность работы вычислительных модулей, 100% совместимость и гарантированную масштабируемость, при этом достигается беспрецедентно низкая стоимость владения и невысокий уровень энергопотребления. Кроме того, специалисты РСК имеют опыт разработки и внедрения интегрированного программного стека решений для повышения эффективности работы и прикладного использования суперкомпьютерных комплексов: от системного ПО до вертикально-ориентированных платформ на базе технологии облачных вычислений.

РСК является партнером корпорации Intel в программах Intel ® Technology Provider Program высшего уровня Platinum и Intel ® Fabric Builders Program, обладает статусами Intel ® HPC Data Center Specialist и Intel ® Solutions for Lustre Reseller Elite. Производительность и масштабируемость решений на базе архитектуры « РСК Торнадо » подтверждена сертификатом Intel ® Cluster Ready и участием в программе Intel ® Select Solution for Simulation and Modeling.

Дополнительную информацию можно найти на корпоративном сайте www.rscgroup.ru .

РСК, РСК БазИС, RSC, PetaStream, RSC BasIS и логотипы РСК, RSC являются зарегистрированными товарными знаками группы компаний РСК в России, США, Японии и многих странах Европы.

Публикации по теме
Высокопроизводительные вычисления (HPC), параллельные файловые системы, HPC-СХД
 
Новости РСК

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.