Основные характеристики коммуникационных сетей

Параметры графа межузловых связей.

Расстоянием между узлами коммуникационной сети называется количество ребер, которые образуют кратчайший путь между этими узлами в графе коммуникационной сети. Например, расстояние между процессорами (см. рис. 1) равно 2.

Диаметром коммуникационной сети d называется максимальное расстояние между двумя произвольными узлами этой сети. Например, диаметр сети, представленной на рис. 1. равен 3 (поскольку расстояние процессорами , , к примеру, равно 3).

Средним диаметром коммуникационной сети называется среднее расстояние между двумя узлами этой сети.

Уменьшение диаметра коммуникационной сети и среднего диаметра коммуникационной сети, очевидно, уменьшает количество транзитных обменов данными.

Важной характеристикой топологии коммуникационной сети является также связность коммуникационной сети. Связность сети характеризует количество различных маршрутов передачи данных между процессорами сети. Числовая характеристика связности может быть определена разными способами. Например, в качестве меры связности можно использовать минимальное количество межпроцессорных связей, которое необходимо удалить для разделения сети на две несвязные подсети. Связность сети, представленной на рис. 1, в этой мере равна 2, поскольку для образования двух подсетей (например, первая подсеть – процессор , вторая подсеть - процессоры ) необходимо удалить минимум две связи.

Связность коммуникационной сети в значительной мере определяет отказоустойчивость вычислительной системы. Высокая связность позволяет системе продолжить свое функционирование при выходе из строя большего количества узлов и связей между ними.

Производительность.

Производительность коммуникационной сети определяется две следующими основными характеристиками: латентность коммуникационной сети – время подготовки к передаче информации по каналу сети; пропускная способность коммуникационной сети - скорость передачи информации по каналам сети или, более строго, количество информации, передаваемой между узлами сети в единицу времени.

Рис. 1. Пример графа коммуникационной сети. Квадратики изображают процессоры.

Наряду с латентностью коммуникационной сети используют понятие полной латентности коммуникационной сети, которая складывается из программной и аппаратной составляющих.

Заметим сразу, что наличие латентности определяет тот факт, что максимальная скорость передачи по сети не может быть достигнута на сообщениях с небольшой длиной. При этом скорости передачи данных на сообщениях с большой и малой длины могут отличаться на порядок. Отсюда следует важный практический вывод – при разработке параллельных алгоритмов и их программной реализации следует стремиться к сокращению не только общего объема передаваемых данных, но и к сокращению количества пересылок «коротких» данных. Одним из путей достижения этого является объединение данных в крупные блоки данных.

Полная пропускная способность коммуникационной сети, которую «видит» приложение, снижается программным обеспечением за счет передачи разного рода служебной информации. Так, например, уже упоминавшаяся коммуникационная технология SCI обладает пиковой пропускной способностью на аппаратном уровне около 400 Мбайт/cек. А реальная пропускная способность на уровне MPI-приложений (см. главу 2.7) достигает всего примерно 80 Мбайт/cек. (при использовании в узловом процессоре 32-разрядной шины PCI с частотой 33 МГц). Заметим. что скорость обмена процессора со своей оперативной памятью составляет 3 Гбайт/сек и выше. В целом для любой коммуникационной технологии имеет место следующая оценка: на реальных задачах скорости передачи данных получаются на 20-40%, а иногда на все 100% хуже, чем максимально возможные.

Различают следующие виды пропускной способности сети:

· пропускная способность «точка-точка» (uni-directional bandwidth);

· пропускная способность двунаправленных пересылок (bi-directional bandwidth).

Пропускная способность «точка-точка» равна максимальной скорости, с которой процесс в одном узле сети может передавать данные другому процессу в другом узле сети.

Пропускная способность двунаправленных пересылок равна максимальной скорости, с которой процессы, функционирующие на разных узлах сети, могут одновременно обмениваться данными по сети.

Полное время , необходимое на передачу сообщения длины , определяется следующим образом:

где – латентность, – длина сообщения, – пропускная способность канала связи.

Если параллельная вычислительная система предназначена для решения задач, в которых велика доля коммуникационных операций, то грубо требуемую пропускную способность каналов коммуникационной сети можно определить по следующему правилу: “Скорость межпроцессорных обменов между двумя узлами, измеренная в Мбайт/сек, должна быть не менее 1/10 пиковой производительности вычислительного узла, измеренной в MFLOPS”.

Заметим, для примера, что для коммуникационной сети суперкомпьютера Cray T3D латентность составляет ~1 мкс, пропускная способность - 480 Мбайт/сек,

Масштабируемость.

Важным свойством топологии коммуникационной сети является возможность обеспечения масштабируемости вычислительной системы, которая использует эту сеть. С этой точки зрения хорошо масштабируются вычислительные системы, имеющие топологию сети типа «линейка», «кольцо», «клика». Здесь наращивание системы возможно по одному процессору.

В сети с топологией «клика» каждый процессор связан каналом связи с другими процессорами. Поэтому добавление одного процессора в данном случае требует добавления каналов связи, что затрудняет масштабирование систем с топологией этого типа.

Для построения сетей с топологией «плоская * двумерная решетка» (а также «тор») требуется процессоров, а значит, наращивание числа процессоров в данном случае возможно только квантами по или процессоров.

Для построения сетей с топологией «гиперкуб» требуется, как мы уже отмечали, процессоров, где – количество измерений гиперкуба. Это значит, что система каждого следующего измерения должна содержать вдвое больше процессоров, чем предыдущая система. Кроме того, система с топологией «гиперкуб» требует для своей реализации наличия p каналов связи на каждом процессорном узле. Это обстоятельство также ограничивает возможности наращивания числа узлов в системе.