Устройство суперкомпьютера

Существуют различные подходы к достижению высокой вычислитель- ной мощности вычислительных установок. Ряд таких подходов можно найти в работе .

В последнее время все большую популярность завоевывают архитектуры MPP и кластерный принцип построения суперкомпьютеров:

• используются широкодоступные компоненты – самые обычные процессоры, материнские системные платы (весьма часто двухпроцессорные), модули памяти, жесткие диски;

• из этих компонентов собирают большое число вычислительных узлов;

• вычислительные узлы соединяются между собою системной сетью, для этого используются либо существующие технологии высокоскоростных локальных сетей (например, сегодня это Gigabit Ethernet), либо специализированные высокопроизводительные сетевые технологии (Myrinet, SCI, Infiniband и т.п.);

• системную сеть, как правило, используют только для интеграции вычислительной мощности вычислительных узлов; как правило, это делается за счет реализации при помощи аппаратуры системной сети примитивов MPI;

• часто кроме системной сети узлы связывают еще различными сетями: вспомогательной сетью, как правило, с протоколом TCP/IP (используется для передачи файлов и управления узлами); сервисной сетью (например, для управления электропитанием, для мониторинга и управления вычислительными узлами и т. п.)

Представление об общих принципах построения суперкомпьютеров можно получить из рис. 1.

Основным интерфейсом к суперкомпьютеру для пользователей является планировщик задач. Этот важнейший компонент любого суперкомпьютера выполняет функции распределения вычислительных ресурсов между различными задачами, отслеживает загруженность вычислительных узлов и фактически является распорядителем всего процесса выполнения инженерных расчетов на предприятии. Наличие планировщика задач превращает суперкомпьютер в централизованный вычислительный ресурс для всего предприятия.

Вторым важным звеном является вычислительное поле. Современные программные пакеты для инженерных расчетов широко используют методику распараллеливания вычислительных задач. Это позволяет укорить выполнение расчетов, распределив задачи между несколькими серверами вычислительного кластера. Кроме того, такой подход позволяет преодолеть ограничение объема оперативной памяти одного вычислительного узла. Существуют также ограничения численных методов и моделей, используемых в инженерных расчетах, которые не позволяют эффективно разделить расчет на большое число параллельных потоков. Обычно инженерные расчеты эффективно распараллеливаются между 4-12 вычислительными узлами. Однако это не означает, что типичный вычислительный кластер имеет всего десяток вычислительных узлов. Наоборот, суперкомпьютеры на промышленных предприятиях имеют сотни и тысячи вы- числительных узлов. Это объясняется тем, что в современных условиях большое количество пользователей запускают множество экземпляров вычислительных задач с разными входными параметрами. Каждому из них можно было бы дать небольшой персональный вычислительный кластер, но использование централизованного вычислительного ресурса намного эффективнее. Именно такой подход позволяет ускорить выход новых изделий и существенно сократить количество опытных образцов, которые требуются для завершения проектирования.

Неотъемлемым компонентом суперкомпьютера является специализированная система хранения. Она должна быть высокопроизводительной, отвечающей высоким требованиям вычислительных задач. Фактически она должна быть такой, чтобы не тормозить вычисления. Современные системы хранения для суперкомпьютеров строятся по параллельной схеме – в суперкомпьютере два параллельных кластера: один для расчетов, другой для хранения данных.

Как и любой вычислительный комплекс, суперкомпьютер обладает типовыми инфраструктурными компонентами, такими как системы администрирования и резервного копирования. Однако необходимо отметить, что одна из инфраструктурных систем требует особого внимания. Имеются в виду инженерные системы. В несуперкомпьютерной среде серверы устанавливаются не так плотно и загружены они меньше, поэтому системы электропитания и кондиционирования обычно рассчитываются на 6-10 кВт на одну стойку с оборудованием. Суперкомпьютеры представляют собой вычислительные комплексы высокой плотности, и для них типовые показатели энергопотребления и тепловыделения колеблются между 15-25 кВт на стойку. Это приводит к тому, что инженерные системы для суперкомпьютеров должны обладать в 2 раза большей мощностью и, естественно, повышенной эффективностью по сравнению с системами для корпоративных информационных систем несуперкомпьютерного типа.

Рынок суперкомпьютеров в настоящее время наводнен различными их модификациями. В зависимости от прикладной задачи суперкомпьютер может быть построен по-разному. Самыми дорогими, но и самыми эффективными являются машины на основе закрытой коммерческой архитектуры. Они требуют специального программного обеспечения и обычно не используются для промышленных задач. Примерами таких систем являются BlueGene и RoadRunner компании IBM, а также старшие модели компьютеров компании CRAY. Наиболее распространенными и универсальными суперкомпьютерами являются системы на основе вычислительных кластеров, собранных из стандартных компонентов. Обычно это кластеры из десятков и сотен двух- или четырехпроцессорных серверов x86, реже – RISC. Благодаря относительной дешевизне комплектующих и совместимости с огромным числом готовых коммерческих программных продуктов для инженерных расчетов такие системы стали стандартом “де факто” в области высокопроизводительных вычислений. Вычислительные кластеры работают в большинстве случаев под управлением операционной системы семейства Linux, что дает им дополнительные очки в борьбе за распространение кластерной технологии построения суперкомпьютеров. Реже вычислительные кластеры строятся на базе коммерческих UNIX, а еще реже, и это явление последних двух лет, в списке Top500 стали появляться компьютеры на базе Microsoft Windows.

Производительность

Производительность суперкомпьютеров чаще всего оценивается и выражается в количестве операций с плавающей точкой в секунду (FLOPS). Это связано с тем, что задачи численного моделирования, под которые и создаются суперкомпьютеры, чаще всего требуют вычислений, связанных с вещественными числами с высокой степенью точности, а не целыми числами. Поэтому для суперкомпьютеров неприменима мера быстродействия обычных компьютерных систем - количество миллионов операций в секунду (MIPS). При всей своей неоднозначности и приблизительности, оценка в флопсах позволяет легко сравнивать суперкомпьютерные системы друг с другом, опираясь на объективный критерий.

Первые суперкомпьютеры имели производительность порядка 1 кфлопс, т.е. 1000 операций с плавающей точкой в секунду. В США компьютер, имевший производительность в 1 миллион флопсов (1 Мфлопс) (CDC 6600), был создан в 1964 году. Известно, что в 1963 году в московском НИИ-37 (позже НИИ ДАР) был разработан компьютер на основе модулярной арифметики с производительностью 2,4 млн. оп/с. Это экспериментальный компьютер второго поколения (на дискретных транзисторах) Т340-А^[2] (гл. конструктор Д.И. Юдицкий). Однако следует отметить, что прямое сравнение производительности модулярных и традиционных ЭВМ некорректно. Модулярная арифметика оперирует только с целыми числами. Представление вещественных чисел в модулярных ЭВМ возможно только в формате с фиксированной запятой, недостатком которого является существенное ограничение диапазона представления чисел.

Планка в 1 миллиард флопс (1 Гигафлопс) была преодолена суперкомпьютерами NEC SX-2 в 1983 году с результатом 1.3 Гфлопс, и М-13 академика Карцева с результатом в 2,4 Гфлопс. Граница в 1 триллион флопс (1 Тфлопс) была достигнута в 1996 году суперкомпьютером ASCI Red. Рубеж 1 квадриллион флопс (1 Петафлопс) был взят в 2008 году суперкомпьютером IBM Roadrunner. Сейчас ведутся работы по созданию к 2016 году экзафлопсных компьютеров, способных выполнять 1 квинтиллион операций с плавающей точкой в секунду.