Классификация параллельных и распределенных систем

систем
Судаков А.А.
“Параллельные и распределенные вычисления” Лекция 2

систем
По типу модели вычислений
По решаемым задачам
По особенностям аппаратного обеспечения
По особенностям

программного обеспечения

программирования
С общей памятью (все процессоры могут обращаться к одним и

тем же данным одновременно)
С обменом сообщениями (каждый процессор может отправить другому свои данные в виде сообщения)

1

2

(PRAM)
Все процессоры могут одновременно обращаться к памяти для считывания и

записи данных
Схемы синхронизации:
EREW (exclusive read exclusive write)
CRER (concurrent read exclusive write)
ERCW (exclusive read concurrent write)
CRCW (concurrent read concurrent write)

передать/принять данные другому/от другого процессора в виде сообщения
Типы обмена сообщениями:
Point-to-point
Broadcast
Scatter
Gather
Reduce
Barrier

как физической так и логической системе
SISD (single instruction single

data)
SIMD (single instruction multiple data)
MISD (multiple instruction single data)
MIMD (multiple instruction multiple data)

поток данных (SISD)
Обычная последовательная ЭВМ
Суперскалярный процессор:
поток команд и поток

данных остается один, но процессор может обработать за один такт несколько последовательно идущих команд
Система пакетного режима (batch queue system)
Задачи ставятся в очередь, как только выполнилась одна, запускается следующая

потоков данных SIMD
Декомпозиция данных без декомпозиции функций
Векторные и матричные процессоры
Процессоры

с SIMD инструкциями (SSE, MMX)
Одна и та же программа, которая запускается на нескольких процессорах, но с разными параметрами

потоков команд (MISD)
Декомпозиция функций без декомпозиции данных
Аппаратных систем нет
Программные системы:

распараллеливание решения систем линейных уравнений методом Гаусса
конвейерная передача одинаковых данных (сортировка, поиск, дешифрование)

потоков данных MIMD
Декомпозиция функций и декомпозиция данных
Все современные мультипроцессорные машины
Разные

программы одновременно обрабатывают разные данные

– сервер
Сервер работает постоянно и предоставляет свои функции
Клиент использует функции

сервера при необходимости
Одноранговые (мультиагентные системы, peer-to-peer)
Все части распределенного приложения равноправны

сервер

клиент

клиент

клиент

агент

агент

агент

клиентами, другие серверами
Интернет сервисы WWW, ftp, imap, pop
Системы работы с

базами данных
Файловые серверы (netbios, samba, nfs)
Десктопные приложения (OLE)
RPC
Системы распределения нагрузки

одновременно и клиентом и сервером
Система электронной почты (smtp)
Пиринговые сети (thorrent)
Ситемы

мониторинга (snmp)
Системы балансировки нагрузки (mosix)

системы
Системы под общим управлением
Системы хранения данных
Системы балансировки нагрузки

мультипроцессорные системы
Векторно-конвейерные системы
Массивно-параллельные системы
NUMA системы
Кластеры

которые работают с общей памятью и имеют одинаковую скорость доступа

ко всей памяти

которые имеют несколько функциональных устройств и позволяют быстро передавать друг

другу информацию

с одним или несколькими центральными процессорами и большим количеством периферических

процессоров

с небольшим количеством процессоров и небольшим объемом памяти, соединенные вместе
Адресное

пространство является общим

которые связаны между собой и работают как одна логическая система

системы (с одной копией, с распределенными копиями)
По однородности (гомогенный, гетерогенный)

ЭВМ
1950 - в СССР запущена МЭСМ
1955 – IBM выпустила

первую машину для вычислений с плавающей точкой (разработчик Gene Amdahl)
1957 – возникла корпорация DEC
1958 – была создана корпорация СDC
1960 – В СССР началось построение машины с периферическими процессорами
1962 – первые мультипроцессорные машины
1964 – CDC выпустила первый промышленный суперкомпьютер
1967 – БЭСМ-6 с конвейерной обработкой и виртуальной памятью
1976 – CRAY-1 первый промышленный векторно-конвейекрный суперкомпьютер

массивно-параллельные системы
1979 – MOS
1981 – Carnegie-Mellon University RPC
1983 –

DEC первый VAX кластер, язык С++
1984 – начало проекта GNU
1996 – Проект Beowulf
1998 – GRID стандарты

1976 г.
Позже компания Cray Research
Позже компания SGI

которые работают как одна система
Высокая масштабируемость, надежность

NASA Beowulf.
Создание высокопроизводительной системы на базе широкодоступных компонент
Первый кластер

– 16 процессоров, сеть FastEthernet

і координація великої кількості географічно розподілених ресурсів з метою забезпечення

надійності, продуктивності, безпеки