Слайд 1ІОЦ КНУ імені Тараса Шевченка, 2005 р
Классификация параллельных и распределенных
систем
Судаков А.А.
“Параллельные и распределенные вычисления” Лекция 2
Слайд 2ІОЦ КНУ імені Тараса Шевченка, 2005 р
классификации параллельных и распределенных
систем
По типу модели вычислений
По решаемым задачам
По особенностям аппаратного обеспечения
По особенностям
программного обеспечения
Слайд 3ІОЦ КНУ імені Тараса Шевченка, 2005 р
Классификация систем
По типу модели
программирования
С общей памятью (все процессоры могут обращаться к одним и
тем же данным одновременно)
С обменом сообщениями (каждый процессор может отправить другому свои данные в виде сообщения)
1
2
Слайд 4ІОЦ КНУ імені Тараса Шевченка, 2005 р
Parallel Random Access Machine
(PRAM)
Все процессоры могут одновременно обращаться к памяти для считывания и
записи данных
Схемы синхронизации:
EREW (exclusive read exclusive write)
CRER (concurrent read exclusive write)
ERCW (exclusive read concurrent write)
CRCW (concurrent read concurrent write)
Слайд 5ІОЦ КНУ імені Тараса Шевченка, 2005 р
Message passing
Каждый процессор может
передать/принять данные другому/от другого процессора в виде сообщения
Типы обмена сообщениями:
Point-to-point
Broadcast
Scatter
Gather
Reduce
Barrier
Слайд 6ІОЦ КНУ імені Тараса Шевченка, 2005 р
Классификация Флинна (1966)
Может соответствовать
как физической так и логической системе
SISD (single instruction single
data)
SIMD (single instruction multiple data)
MISD (multiple instruction single data)
MIMD (multiple instruction multiple data)
Слайд 7ІОЦ КНУ імені Тараса Шевченка, 2005 р
Один поток команд, один
поток данных (SISD)
Обычная последовательная ЭВМ
Суперскалярный процессор:
поток команд и поток
данных остается один, но процессор может обработать за один такт несколько последовательно идущих команд
Система пакетного режима (batch queue system)
Задачи ставятся в очередь, как только выполнилась одна, запускается следующая
Слайд 8ІОЦ КНУ імені Тараса Шевченка, 2005 р
Один поток команд несколько
потоков данных SIMD
Декомпозиция данных без декомпозиции функций
Векторные и матричные процессоры
Процессоры
с SIMD инструкциями (SSE, MMX)
Одна и та же программа, которая запускается на нескольких процессорах, но с разными параметрами
Слайд 9ІОЦ КНУ імені Тараса Шевченка, 2005 р
Один поток данных, несколько
потоков команд (MISD)
Декомпозиция функций без декомпозиции данных
Аппаратных систем нет
Программные системы:
распараллеливание решения систем линейных уравнений методом Гаусса
конвейерная передача одинаковых данных (сортировка, поиск, дешифрование)
Слайд 10ІОЦ КНУ імені Тараса Шевченка, 2005 р
Несколько потоков команд несколько
потоков данных MIMD
Декомпозиция функций и декомпозиция данных
Все современные мультипроцессорные машины
Разные
программы одновременно обрабатывают разные данные
Слайд 11ІОЦ КНУ імені Тараса Шевченка, 2005 р
Модели распределенных систем
Клиент
– сервер
Сервер работает постоянно и предоставляет свои функции
Клиент использует функции
сервера при необходимости
Одноранговые (мультиагентные системы, peer-to-peer)
Все части распределенного приложения равноправны
сервер
клиент
клиент
клиент
агент
агент
агент
Слайд 12ІОЦ КНУ імені Тараса Шевченка, 2005 р
Клиент-серверные приложения
Одни приложения являются
клиентами, другие серверами
Интернет сервисы WWW, ftp, imap, pop
Системы работы с
базами данных
Файловые серверы (netbios, samba, nfs)
Десктопные приложения (OLE)
RPC
Системы распределения нагрузки
Слайд 13ІОЦ КНУ імені Тараса Шевченка, 2005 р
Мультиагентные системы
Каждое приложение есть
одновременно и клиентом и сервером
Система электронной почты (smtp)
Пиринговые сети (thorrent)
Ситемы
мониторинга (snmp)
Системы балансировки нагрузки (mosix)
Слайд 14ІОЦ КНУ імені Тараса Шевченка, 2005 р
По выполняемым функциям
Высокопроизводительные системы
Высоконадежные
системы
Системы под общим управлением
Системы хранения данных
Системы балансировки нагрузки
Слайд 15ІОЦ КНУ імені Тараса Шевченка, 2005 р
Особенности аппаратного обеспечения
Однопроцессорные системы
Симметричные
мультипроцессорные системы
Векторно-конвейерные системы
Массивно-параллельные системы
NUMA системы
Кластеры
Слайд 16ІОЦ КНУ імені Тараса Шевченка, 2005 р
Симметричные мультипроцессорные системы
Несколько процессоров,
которые работают с общей памятью и имеют одинаковую скорость доступа
ко всей памяти
Слайд 17ІОЦ КНУ імені Тараса Шевченка, 2005 р
Векторно-конвейерные системы
Несколько векторно-конвейерных процессоров
которые имеют несколько функциональных устройств и позволяют быстро передавать друг
другу информацию
Слайд 18ІОЦ КНУ імені Тараса Шевченка, 2005 р
Массивно-параллельная система
Несколько вычислительных узлов
с одним или несколькими центральными процессорами и большим количеством периферических
процессоров
Слайд 19ІОЦ КНУ імені Тараса Шевченка, 2005 р
NUMA система
Большое количество плат
с небольшим количеством процессоров и небольшим объемом памяти, соединенные вместе
Адресное
пространство является общим
Слайд 20ІОЦ КНУ імені Тараса Шевченка, 2005 р
Кластер
Несколько независимых вычислительных машин,
которые связаны между собой и работают как одна логическая система
Слайд 21ІОЦ КНУ імені Тараса Шевченка, 2005 р
Другие классификации
По типу операционной
системы (с одной копией, с распределенными копиями)
По однородности (гомогенный, гетерогенный)
Слайд 22ІОЦ КНУ імені Тараса Шевченка, 2005 р
Исторические сведения
1947 – первая
ЭВМ
1950 - в СССР запущена МЭСМ
1955 – IBM выпустила
первую машину для вычислений с плавающей точкой (разработчик Gene Amdahl)
1957 – возникла корпорация DEC
1958 – была создана корпорация СDC
1960 – В СССР началось построение машины с периферическими процессорами
1962 – первые мультипроцессорные машины
1964 – CDC выпустила первый промышленный суперкомпьютер
1967 – БЭСМ-6 с конвейерной обработкой и виртуальной памятью
1976 – CRAY-1 первый промышленный векторно-конвейекрный суперкомпьютер
Слайд 23ІОЦ КНУ імені Тараса Шевченка, 2005 р
Исторические сведения
1977 - первые
массивно-параллельные системы
1979 – MOS
1981 – Carnegie-Mellon University RPC
1983 –
DEC первый VAX кластер, язык С++
1984 – начало проекта GNU
1996 – Проект Beowulf
1998 – GRID стандарты
Слайд 24ІОЦ КНУ імені Тараса Шевченка, 2005 р
Векторно-конвейерные суперкомпьютеры Cray
Компания CDC
1976 г.
Позже компания Cray Research
Позже компания SGI
Слайд 25ІОЦ КНУ імені Тараса Шевченка, 2005 р
VAX кластер
1983 г
Несколько машин,
которые работают как одна система
Высокая масштабируемость, надежность
Слайд 26ІОЦ КНУ імені Тараса Шевченка, 2005 р
Beowulf кластер
1996 г. Проект
NASA Beowulf.
Создание высокопроизводительной системы на базе широкодоступных компонент
Первый кластер
– 16 процессоров, сеть FastEthernet
Слайд 27ІОЦ КНУ імені Тараса Шевченка, 2005 р
Грід-системи
З 1998 р. Об'єднання
і координація великої кількості географічно розподілених ресурсів з метою забезпечення
надійності, продуктивності, безпеки
Слайд 28ІОЦ КНУ імені Тараса Шевченка, 2005 р
Вопросы