Параллельные вычисления Учебный год – 2020/21, осенний семестр Группы P42 142

Валерьевич
(pvbalakshin@gmail.com),
Мишенёв Алексей
(mishenevalex@gmail.com)

IT industry
Associate professor at ITMO University
Lead implementation engineer at Pegasystems

Inc.
Scientific interests: RPA, speech recognition, new IT inventions

About myself

параллельных библиотек
OpenMP
PTHREADS
OpenCL
2 рубежных контроля (тестирование)
Структура курса

кем)
был ли подобный курс

диаграммами указан размер репозитория

из себя набор взаимодействующих модулей, работающих одновременно.
≠ конвейерная обработка (суперскалярность)

≠ SIMD-расширения (MMX, SSE)
≠ вытесняющая многозадачность
= многоядерное программирование
= распределённые вычисления
«За время существование вычислительной техники скорость срабатывания элементов возросла в 106 раз, а быстродействие вычислений увеличилось в 109 раз».
«С 1986 до 2002 производительность однопроцессорных систем увеличивалась в 1.5 раза ежегодно. С 2002 – только 1.2 раза.»

one or more computers, where life periods of several tasks

intersect.
Sequential computing – there are no overlapping periods of tasks.
Parallel computing – tasks are executed physically simultaneously on different processors and/or cores of the same computer.
Multicore computing – computations when each processor has more then one core.
Shared memory processing (SMP) – refers to the work of parallel programs on systems with shared memory. In such systems all the processors/cores share common memory of one computer.
Distributed computing – sort of parallel computing, at which to calculations take place on processors located on different computers connected by a network, means one has to transfer programs and/or data through a network to perform calculations.

are parallel.
Parallel computing = multicore computing = SMP.

Not in

scope of the course:
Bit-level parallelism
Parallelism at the operand level – concurrency at the data level
Parallelism at the instruction level – superscalarity
Preemptive multitasking

(быстродействия существующих вычислительных систем не хватает > 1 Tflops) :
моделирование

климата;
генная инженерия;
проектирование интегральных схем;
анализ загрязнения окружающей среды;
создание лекарственных препаратов

2. В повседневной жизни программиста будущего (одноядерные смартфоны и ПК уже почти не продаются).

3. Игровая индустрия.

– многопроцессорность, многоядерность, GPGPU.
MPP (Massively Parallel Processing) – кластерные

системы, GRID (распределенные вычисления)

дешевизна разработки ПО.
По материалам проф. Бухановского

обмена.
– Высокая стоимость специализированного ПО.

создании суперкомпьютеров
По данным сайта top500.org

1.8 GFlops ($2,5 млн.) – 1995 г.,
8 х IBM SP2:

2.1 GFlops ($0.5 млн.) – 2000 г.
Появление парадигмы многоядерного построения процессоров.

Что способствует развитию параллельных вычислений

числа процессоров.
Закон Мура (Moore): мощность последовательных процессоров удваивается каждые 18

месяцев.
Закон Гроша (Grosch): производительность компьютера возрастает пропорционально квадрату его стоимости.
Сложность освоения принципов параллельного программирования.

Что замедляет развитие параллельных вычислений (1)

есть нераспараллеливаемая часть)

Отсортировать каждую часть независимо за своём процессоре.
Выполнить слияния отсортированных кусков.

Вычислительная

сложность на двухъядерной системе
С1*N*N  С1 *N*N/4 + С2 *N
Возможно почти четырёхкратное ускорение на двухъядерной системе!

скорость выполнения работы (ед. работы в секунду)
S(p) = V(p)/V(1) –

параллельное ускорение
E(p) = S(p)/p – параллельная эффективность

k – доля распараллеленных команд, w(p) – количество условных единиц

работы.

за время t.
.

M – количество нераспараллелива-емых операций, tc – время выполнения одной

операции, p – количество вычислителей, Ti – время выполнения программы при использовании i параллельных потоков на i вычислителях, α – масштабирующий коэффициент.

α = 0.05

автоматического распараллеливания.

Окружение
Компиляторы: gcc, icc, solarisstudio
ОС: любая разновидность Linux.

компилятора могут иметь параметры, которые программист должен установить).
Автоматизированный (ручное распараллеливание по

подсказкам профилировщика или статического анализатора кода).

Виды автоматического распараллеливания

ручного распараллеливания.
Эффективно распараллеливаются только циклы.
Невозможность распараллелить программы со сложным алгоритмом

работы.

Слабые стороны автоматического распараллеливания