Суперкомпьютеры

10. Cray CS-Storm

• Местоположение: США
• Производительность: 3,57 петафлопс
• Теоретический максимум производительности: 6,13 петафлопс
• Мощность: 1,4 МВт

Как и практически все современные суперкомпьютеры, включая каждый из представленных в данной статье, CS-Storm состоит из множества процессоров, объединенных в единую вычислительную сеть по принципу массово-параллельной архитектуры. В реальности эта система представляет собой множество стоек («шкафов») с электроникой (узлами, состоящими из многоядерных процессоров), которые образуют целые коридоры. 

Cray CS-Storm – это целая серия суперкомпьютерных кластеров, однако один из них все же выделяется на фоне остальных. В частности, это загадочный CS-Storm, который использует правительство США для неизвестных целей и в неизвестном месте.

Известно лишь то, что американские чиновники купили крайне эффективный с точки зрения потребления энергии (2386 мегафлопс на 1 Ватт) CS-Storm с общим количеством ядер почти в 79 тысяч у американской компании Cray.

На сайте производителя, впрочем, сказано, что кластеры CS-Storm подходят для высокопроизводительных вычислений в области кибербезопасности, геопространственной разведки, распознавания образов, обработки сейсмических данных, рендеринга и машинного обучения. Где-то в этом ряду, вероятно, и обосновалось применение правительственного CS-Storm.

 CRAY CS-STORM  

Применение

Суперкомпьютеры используются во всех сферах, где для решения задачи применяется численное моделирование; там, где требуется огромный объём сложных вычислений, обработка большого количества данных в реальном времени, или решение задачи может быть найдено простым перебором множества значений множества исходных параметров (см. Метод Монте-Карло).

Совершенствование методов численного моделирования происходило одновременно с совершенствованием вычислительных машин: чем сложнее были задачи, тем выше были требования к создаваемым машинам; чем быстрее были машины, тем сложнее были задачи, которые на них можно было решать. Поначалу суперкомпьютеры применялись почти исключительно для оборонных задач: расчёты по ядерному и термоядерному оружию, ядерным реакторам. Потом, по мере совершенствования математического аппарата численного моделирования, развития знаний в других сферах науки — суперкомпьютеры стали применяться и в «мирных» расчётах, создавая новые научные дисциплины, как то: численный прогноз погоды, вычислительная биология и медицина, вычислительная химия, вычислительная гидродинамика, вычислительная лингвистика и проч., — где достижения информатики сливались с достижениями прикладной науки.

Ниже приведён далеко не полный список областей применения суперкомпьютеров:

• Математические проблемы:
  • Криптография
  • Статистика

• Физика высоких энергий:
  • процессы внутри атомного ядра, физика плазмы, анализ данных экспериментов, проведённых на ускорителях
  • разработка и совершенствование атомного и термоядерного оружия, управление ядерным арсеналом, моделирование ядерных испытаний
  • моделирование жизненного цикла ядерных топливных элементов, проекты ядерных и термоядерных реакторов

• Наука о Земле:
  • прогноз погоды, состояния морей и океанов
  • предсказание климатических изменений и их последствий
  • исследование процессов, происходящих в земной коре, для предсказания землетрясений и извержений вулканов
  • анализ данных геологической разведки для поиска и оценки нефтяных и газовых месторождений, моделирование процесса выработки месторождений
  • моделирование растекания рек во время паводка, растекания нефти во время аварий

Вычислительная биология: фолдинг белка, расшифровка ДНК

Вычислительная химия и медицина: изучение строения вещества и природы химической связи как в изолированных молекулах, так и в конденсированном состоянии, поиск и создание новых катализаторов и лекарств

• Физика:
  • газодинамика: турбины электростанций, горение топлива, аэродинамические процессы для создания совершенных форм крыла, фюзеляжей самолетов, ракет, кузовов автомобилей
  • гидродинамика: течение жидкостей по трубам, по руслам рек
  • материаловедение: создание новых материалов с заданными свойствами, анализ распределения динамических нагрузок в конструкциях, моделирование крэш-тестов при конструировании автомобилей
• в качестве сервера для искусственных нейронных сетей
• создание принципиально новых способов вычисления и обработки информации (Квантовый компьютер, Искусственный интеллект)

Немного истории

Мощные вычислительные устройства появились далеко не вчера. Еще во время Второй мировой войны британцам с помощью компьютера Colossus удалось взломать немецкие военные шифры. Его быстродействие составляло 25 тыс. символов в секунду – неслыханная скорость для своего времени.

В 1946 году в США появился электронный вычислитель ENIAC, использовавшийся для расчетов таблиц стрельбы. Аппарат содержал 17 тыс. ламп и весил более 27 тонн. Эта ЭВМ использовалась для моделирования термоядерных взрывов, решения аэродинамических задач, метеорологических прогнозов. Однако данные устройства еще не были полноценными ЭВМ.

Только к середине 60-х годов развитие электронной промышленности и информатики позволило создавать по-настоящему мощные компьютеры. Считается, что сам термин был придуман сотрудниками фирмы CDC Джорджем Мишелем и Сиднеем Фернбачем. Однако появлению мощных вычислительных машин мы обязаны американскому инженеру и изобретателю Сеймуру Крею. Первым суперкомпьютером считается Cray-1, появившийся в 1974 году. Он мог производить 180 млн операций в секунду. Современный персональный компьютер превосходит этот «суперкомпьютер» почти в 50 раз.

Буквально за десятилетия Китай стал одним из мировых лидеров в области создания мощных ЭВМ

Созданием мощных ЭВМ занимались и в СССР. Причем достижения советских инженеров зачастую превосходили успехи их заокеанских коллег. Нашими учеными было создано целое семейство мощнейших вычислительных машин «Эльбрус», которые по характеристикам превосходили западные аналоги.

В 1985 году компания Крея представила сразу два новых устройства: «Крей-2» и «Крей Y-MP» с быстродействием 1200 и 2670 млн вычислений в секунду соответственно. В 1988 году новая ЭВМ достигла мощности в 1 гигафлопс и стала стандартом своего времени, на который равнялись другие производители. В короткий период в разных странах мира появились десятки суперкомпьютеров.

Ранние суперкомпьютеры оснащались обычными скалярными процессорами со скоростью работы выше, чем у обычных ЭВМ. Позже их заменили векторные процессоры, а сегодня стандартом считаются кластерные системы, состоящие из тысяч дешевых процессоров и модулей памяти. Подобная схема отличается прекрасным сочетанием производительности и минимальной стоимости.

С 1993 года существует рейтинг суперкомпьютеров, составленный с помощью теста LINPACK. В него входит 500 самых быстрых и мощных ЭВМ мира. Список обновляется два раза в год.

Производительность

Производительность суперкомпьютеров чаще всего оценивается и выражается в количестве операций над числами с плавающей точкой в секунду (FLOPS). Это связано с тем, что задачи численного моделирования, под которые и создаются суперкомпьютеры, чаще всего требуют вычислений, связанных с вещественными числами, зачастую с высокой степенью точности, а не целыми числами. Поэтому для суперкомпьютеров неприменима мера быстродействия обычных компьютерных систем — количество миллионов операций в секунду (MIPS). При всей своей неоднозначности и приблизительности, оценка во флопсах позволяет легко сравнивать суперкомпьютерные системы друг с другом, опираясь на объективный критерий.

Первые суперкомпьютеры имели производительность порядка 1 кфлопс, то есть 1000 операций с плавающей точкой в секунду. В США компьютер, имевший производительность в 1 миллион флопсов (1 Мфлопс) (), был создан в 1964 году. Известно, что в 1963 году в московском НИИ-37 (позже НИИ ДАР) был разработан компьютер на основе модулярной арифметики с производительностью 2,4 млн оп/с. Это экспериментальный компьютер второго поколения (на дискретных транзисторах) Т340-А (гл. конструктор Д. И. Юдицкий). Однако следует отметить, что прямое сравнение производительности модулярных и традиционных ЭВМ некорректно. Модулярная арифметика оперирует только с целыми числами. Представление вещественных чисел в модулярных ЭВМ возможно только в формате с фиксированной запятой, недостатком которого является существенное ограничение диапазона представления чисел.

Планка в 1 миллиард флопс (1 Гигафлопс) была преодолена суперкомпьютерами NEC SX-2 в 1983 году с результатом 1.3 Гфлопс.

Граница в 1 триллион флопс (1 Тфлопс) была достигнута в 1996 году суперкомпьютером ASCI Red.

Рубеж 1 квадриллион флопс (1 Петафлопс) был взят в 2008 году суперкомпьютером IBM Roadrunner.

В 2010-х годах несколькими странами ведутся работы, нацеленные на создание к 2020 году экзафлопсных компьютеров, способных выполнять 1 квинтиллион операций с плавающей точкой в секунду и потребляющих при этом не более нескольких десятков мегаватт. К 2021 году корпорации Intel и Cray планируют создать первую в США экзафлопсную систему под названием Aurora для Аргоннской национальной лаборатории Министерства энергетики США.

Christofari и другие участники Топ 500 из России

Несмотря на недавний официальный анонс самого мощного российского суперкомпьютера Christofari, некоторые подробности о его архитектуре и производительности стали известны лишь сегодня из описания на сайте Топ-500. Система, созданная специалистами Сбербанка и Sbercloud в содружестве с Nvidia, выполнена на базе 24-ядерных процессоров Xeon Platinum 8168 с тактовой частотой 2,7 ГГц и графических ускорительных модулей Nvidia DGX-2.

Тройка российских суперкомпьютеров в новейшем топ500

Количество вычислительных ядер в системе Christofari в настоящее время составляет 99,6 тыс. (суммарно по процессорным и графическим чипам), при этом общий объем установленной памяти равен 115,2 тыс. ГБ. В качестве межузлового интерконнекта используется высокопроизводительная технология Mellanox InfiniBand EDR.

Система работает под управлением ОС Ubuntu 18.04.01, с использованием компиляторов Nvidia NVCC 10 и Intel Composer XE, математических библиотек Intel MKL и Nvidia CUDA BLAS, а также библиотеки интерфейса обмена данными OpenMPI-3.1.4-cuda.

Производительность суперкомпьютера Christofari в тестах Linpack зарегистрирована в итоговых данных Топ-500 на уровне 6,669 петафлопс, теоретическая пиковая производительность – на уровне 8,789 петафлопс.

Для сравнения: занимающий 107 строчку мирового рейтинга российский суперкомпьютер «Ломоносов-2», созданный компанией «Т-Платформы», выполнен на 14-ядерных процессорах Xeon E5-2697v3 с тактовой частотой 2,6 ГГц и 12-ядерных процессорах Intel Xeon Gold 6126 с тактовой частотой 2,6 ГГц, а также с применением графических ускорителей Nvidia K40m/P-100 (64 384 вычислительных ядер в сумме). В качестве интерконнекта используется шина Infiniband FDR, в качестве программной обвязки – ОС Linux с компилятором GCC, библиотеками MKL, cuBLAS и OpenMPI-1.10.7. Производительность системы зарегистрирована на уровне 2,478 петафлопса (теоретически на пике до 4,946 петафлопс).

Занимающий 465 строчку в новейшем Топ-500 суперкомпьютер Росгидромета на базе платформы Cray XC40-LC после последней модернизации, проведенной компанией «Т-Платформы» в ноябре 2018 г. включает 976 вычислительных узлов с двумя процессорами Intel Xeon E5-2697v4 и 128 ГБ оперативной памяти на узел с общей производительностью в 1293 Тфлопс (всего 35 136 вычислительных ядер). Вычислительная мощность суперкомпьютерной системы Росгидромета заявлена на уровне 1,2 петафлопс (до 1,29 петафлопс на пике).

Ранние Суперкомпьютеры.

Что именно можно считать примером раннего “компьютера” до сих является предметом множества дискуссии: кто-то говорит, что счеты можно считать первым компьютером, другие указывают на механизм Антикитера, а третьи считают, что вычислительная машина Чарльза Беббиджа является первым прототипом компьютера. Каково бы ни было происхождение компьютера, со временем он и его качества и правда становятся Супер.

Разработка немецкого инженера Конрада Цузе.

Одними из первых супер-ЭВМ по праву можно считать разработки немецкого инженера Конрада Цузе. Созданные в 40-е годы прошлого века разработки Цузе  стали первыми программируемыми и многофункциональными компьютерами. Первую опытную модель под названием  Z1 инженер собирал на деньги друзей прямо посередине родительской гостиной.

Компьютер Z1 в гостиной родителей Конрада Цузе в 1936Вот компьютер Z1. На переднем плане ручная заводная рукоятка для улучшения тактовой частоты

 А это американская машина “Марк-I” разработанная и построенная в 1941 году гарвардским математиком Говардом Эйкеном на основе идеи Чарльза Бэббиджа.

“Марк-I”

После “Марк-I” американцы разработали ENIAC. На тот момент он был настоящий электронный мозг, способный совершать поразительные  расчеты.  По существу ENIAC  был калькулятором размером с комнату, но это был верх программирования 1943 года.

ENIAС

После ENIAC появился EDVAC  созданный Джоном фон Нейманом, его серия компьютеров совершила огромный скачок вперед в вычислительных способностях, гибкости и скорости.

EDVAC

60-е дали миру более крупные, но и более умные машины. Они стали громадинами состоящими из множеством разноцветных лампочек и кружащихся пленочных бобин. Способности этих компьютеров значительно переросли калькулятор и теперь их возможности позволяли прогнозировать погоду.

2017

Исторический этап: Как изменились принципы построения крупнейших суперкомпьютеров

Новое поколение суперкомпьютеров, ориентированных на работу с большими данными и искусственным интеллектом, создается по принципам, существенно отличающимся от тех, которые закладывались в высокопроизводительные кластерные системы вплоть до 2017 года.

Подробно в обзоре TAdviser: Суперкомпьютеры для искусственного интеллекта (AI supercomputers)

IBM, Intel, Cray выдадут из казны четверть миллиарда долларов

Министр энергетики США Рик Перри (Rick Perry) обнародовал планы правительства по инвестированию $258 млн в создание эксафлопсных суперкомпьютеров (компьютеров с производительностью более 1 тыс. Пфлопс или более 1018 операций с плавающей запятой в секунду).

В рамках программы PathForward планируется распределить эти средства между шестью ведущими мировыми технологическими компаниями, спонсируя их разработки. Как пишет Digital Trends, в списке претендентов на господдержку сейчас значатся шесть компаний — AMD, Cray Inc. (специализируется на разработке суперкомпьютеров, входит в состав Tera Computer), Hewlett Packard Enterprise, IBM, Intel и Nvidia.

Распределение средств будет вестись через специальное подразделение минэнергетики — Exascale Computing Project. Финансы будут выделяться на каждую компанию-участника в течение трех лет, объем выделяемых средств не должен превышать 40% от общей стоимости разрабатываемого компанией проекта.

Планируется финансирование исследований, в первую очередь, в трех ключевых областях: аппаратные технологии, технологии программирования и разработка приложений. По расчетам американских чиновников, итогом инвестиций должна стать разработка эксафлопсного компьютера к 2021 г.

Первые суперкомпьютеры

Первым суперкомпьютером является ЭНИАК (Электронный числовой интегратор и вычислитель), разрабатывался он учеными из Пенсильванского университета с 1943 по 1945 год. Мощность первого суперкомпьютера составляла 500 флопс. Скорее всего, у вас возник вопрос: что такое флопс? Флопс — это единица измерения производительности компьютеров, планшетов, смартфонов и другой техники. На данный момент 500 флопс не то чтобы мало, это настолько мало, что даже мощность китайских игрушек типа тетрисов, тамагочи и других больше этого значения! Соединенные Штаты Америки решили использовать ЭНИАК в качестве расчетной машины по разработке термоядерного оружия. На данный момент компьютер хранится в Национальном музее американской истории в столице США — Вашингтоне. 

К сожалению мощность компьютера ЭНИАК была довольно большой, однако многие ученые спорят о том, был ли ЭНИАК суперкомпьютером или просто компьютером, поэтому нужно написать и о той ЭВМ, которую все ученые принимают за суперкомпьютер: Cray-1, изобретателем которого является Сеймур Крэм. На данный момент этой зверь-машине уже чуть больше 40 лет, а в свое время стоил он почти 9 миллионов долларов, что с учётом инфляции на конец 2016 года равняется 40 миллионам зелёных. Мощность первого суперкомпьютера составляла 133 МФлопс.  В 70-80-ые года этого было достаточно, для того чтобы узнавать погоду. Служил он с 1977 года по 1989 год в Национальном центре Атмосферных исследований США, на данный момент отдыхает на пенсии в музее, который находится в Германии. 

Первый суперкомпьютер, который создавался в СССР — это БЭСМ-1(Большая или быстродействующая электронно-счетная машина). Данную машину разрабатывали ученые из Института точной механики и вычислительной техники АН СССР, эксплуатировать начали в 1952 году посредством решения многих задач, к примеру расчетов высадки на Луну.

На любой вкус

Любой желающий может сегодня помочь науке, приняв участие в одном из проектов распределенных вычислений. Причем, разумеется, перечень наук не ограничивается только математикой, астрономией и биологией. Можно помочь физикам в планировании экспериментов на Большом адронном коллайдере или проектировании Neutrino Factory — будущего ускорителя, способного порождать потоки нейтрино. Широкий выбор у любителей астрономии — от поиска сигналов внеземного разума и обнаружения гравитационных волн с помощью гравитационно-волновых обсерваторий LIGO и GEO 600 до расчета конфигурации поглощения нашей галактикой одного из звездных скоплений созвездия Стрельца, нахождения «оптимальной» космологической модели Вселенной и расчета орбит астероидов, представляющих угрозу для Земли.

В области биологии и медицины запущено множество проектов по изучению структуры белков, новых средств профилактики СПИД, изучения раковых заболеваний и борьбы с вирусами семейства Flaviviridae, ответственными за возникновение вспышек лихорадки Деньге, желтой лихорадки и лихорадки Западного Нила. Химикам могут помочь решение задач квантовой химии методами Монте-Карло и моделирование межатомного взаимодействия в твердых телах.

Математики традиционно используют распределенные вычисления для поиска различных чисел: наименьшего числа Серпинского, простых чисел нескольких видов, простых чисел Вифериха, новых делителей чисел Ферма — или доказательства гипотезы Гольдбаха. Криптографы занимаются проверкой алгоритма шифрования RC5, поиском оптимальных линеек Голомба и дешифровкой последней из нерасшифрованных немецких радиограмм, датируемой 1942 годом. Кибернетики изучают возможность создания глобальной нейронной сети и воссоздают поведение человека на основе компьютерного моделирования лингвистического способа познания мира. А климатологи моделируют различные варианты изменения климата: в рамках проекта ClimatePrediction с 2002 года проверено более 400 000 климатических моделей с общим модельным временем 40 млн лет.

Подробную информацию о проектах можно найти на сайте www.distributed.ru

Статья опубликована в журнале «Популярная механика»
(№6, Июнь 2009).

Суперкомпьютер с «бесконечным» масштабированием

В эпоху цифровой экономики и всеобщей цифровизации вычислениям отводится ключевое место. На создание суперкомпьютеров крупнейшие государства выделяют многомиллионные суммы. Эти вложения должны быть постоянными, так как производительность суперкомпьютеров удваивается каждые полтора года. Сегодня Россия находится только в начале построения национальной сети сверхмощных машин.

Структуры Ростеха в числе прочих российских предприятий вносят свой вклад в создание отечественной киберинфраструктуры. В сентябре 2019 года холдинг «Росэлектроника» объявил о запуске суперкомпьютера «Фишер» с пиковой производительностью 13,5 Тфлопс и практически неограниченными возможностями для масштабирования. Машина разработана специалистами холдинга для Объединенного института высоких температур Российской академии наук (ОИВТ РАН). Новый суперкомпьютер поможет ученым-физикам в создании цифровых моделей веществ и прогнозе поведения материалов в экстремальных состояниях.

Суперкомпьютер «Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами. Для улучшения терморегуляции вычислительного кластера «Фишера» используется иммерсионная (погружная) система охлаждения. Благодаря ей суперкомпьютер не требует специально оборудованных помещений и может работать при температурах от ‒50 °С до +50 °С. Подобные системы охлаждения применяются сегодня на самых высокопроизводительных машинах мира.

«Фишер» создан на основе коммуникационной сети «Ангара» − первого российского интерконнекта, позволяющего объединять группы машин в мощные вычислительные кластеры. С помощью «Ангары» можно соединять тысячи компьютеров разных производителей и с разной архитектурой центральных процессоров. Коммутаторное исполнение «Фишера» позволяет компоновать компьютеры с большей плотностью и в целом облегчает сборку и использование всей системы за счет уменьшения числа кабелей. Модульный характер системы позволяет масштабировать мощность «Фишера» под любые нужды.

Ученые из ОИВТ РАН уже несколько лет используют суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети «Ангара». Его вычислительные мощности оказались настолько востребованы, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети.

Характеристики Christofari

Christofari создан специалистами Сбербанка и Sbercloud в партнерстве с американской компанией Nvidia на базе высокопроизводительных узлов Nvidia DGX-2. Заявленная производительность суперкомпьютера в проведенных тестах Linpack достигла 6,7 петафлопс.

В Nvidia DGX-2 называют «самым большим в мире GPU». Устройство, представленное в 2018 г., оснащается двумя процессорами Intel Xeon Platinum и способно работать с 16 видеоускорителями Tesla V100 с 32 ГБ памяти HBM2. Общую пропускную способность в 14,4 ТБ/сек обеспечивают технологии межчиповых соединений NVSwitch и NVLink2.

Производительность одного узла DGX-2 может достигать 2 петафлопс, а ее стоимость на момент анонса составляла $399 тыс.