Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Параллельные вычисления Учебный год – 2020/21, осенний семестр Группы P42 142
Содержание
- 1. Параллельные вычисления Учебный год – 2020/21, осенний семестр Группы P42 142
- 2. Write a single threaded program.Stop.Try automatic paralleling.Stop.Try
- 3. Process – процесс: наиболее тяжеловесный механизм; сложные
- 4. Жизненые цикл потока
- 5. Parallel programming terminology (2)
- 6. Not thread-safe, not reentrant
- 7. Thread-safe, not reentrant
- 8. Not thread-safe, reentrant
- 9. Thread-safe, reentrant
- 10. Hardware parallelism typesAccording to S. Akhter “Multi-Core Programming”
- 11. HyperthreadingAccording to S. Akhter “Multi-Core Programming”
- 12. On a single-processor (single-core) system you can
- 13. Measuring parallel efficiency.Instability of floating point calculation
- 14. Reasons:1. Background load presence.2. Random nature of
- 15. Universal tools:Unix utility time (measures the total
- 16. Solutions:Use thread-safe reentrant functions (for example rand_r
- 17. Subunit and super linear speedupsAccording to materials
- 18. Changing the results of floating point calculations1 thread: s = 14.3573578 threads: s = 14.393189Diff: 0.25%
- 19. Скачать презентанцию
Write a single threaded program.Stop.Try automatic paralleling.Stop.Try parallel libraries and data structures.Stop.Profile the application, estimate the maximum achievable paralleling effect.Stop.Parallelize bottlenecks and frequently called functions.Цель параллельного программирования – избежать параллельного программирования!Типовой
Слайды и текст этой презентации
Слайд 1Параллельные вычисления
Учебный год – 2020/21, осенний семестр
Группы P42142
Лекция 2
Преподаватели:
Балáкшин Павел
Валерьевич
Слайд 2Write a single threaded program.
Stop.
Try automatic paralleling.
Stop.
Try parallel libraries and
data structures.
Stop.
Profile the application, estimate the maximum achievable paralleling effect.
Stop.
Parallelize
bottlenecks and frequently called functions.Цель параллельного программирования – избежать параллельного программирования!
Типовой сценарий работы программиста
Слайд 3Process – процесс: наиболее тяжеловесный механизм; сложные или медленные механизмы
синхронизации общих переменных; процессы имеют независимые адресные пространства. Могут иметь
несколько потоков выполнения.Thread – поток = нить = тред: имеют общее разделяемое между ними адресное пространство и развитые механизмы синхронизации доступа к общим переменным. Используются механизмы синхронизации данных.
Fiber – волокно = легковесный поток: минимальные накладные расходы; отсутствие истинного физического распараллеливания; нужны для удобства программирования. Все волокна в отличее от потоков исполняются на одном и том же ядре.
Parallel programming terminology
Слайд 12On a single-processor (single-core) system you can use thread priorities
to arrange their access to the processor (on a multi-processor
system you cannot do it).On a single-processor system you need to pack structures more tightly to optimize the memory cache, and on a multi-core system you need to cut them by the size of the cache string to prevent False Sharing.
Multithreading on single-processor systems vs. multiprocessor systems
Слайд 13Measuring parallel efficiency.
Instability of floating point calculation results.
Race conditions.
Mutual interlocks.
The
ABA problem.
Inversion of priorities.
Load Balancing (LJF).
Scalability.
False sharing (+ hardware optimization).
Parallel
programming problems
Слайд 14Reasons:
1. Background load presence.
2. Random nature of the algorithm.
Problems measuring
parallel speedup
According to materials of Prof. A.V. Boukhanovsky
Слайд 15Universal tools:
Unix utility time (measures the total execution of a
program without possibility of any detail).
C-function clock (does not take
into account idle time).C-function ctime (not reenterable, see not cross-platform alternative to ctime_r).
C-function gettimeofday, clock_gettime.
Specialized tools:
Library function omp_get_wtime (maybe the function omp_get_wtick will need to be used).
Measurement of parallel program execution time
Слайд 16Solutions:
Use thread-safe reentrant functions (for example rand_r instead of rand).
Measure
the time several times and then:
1) take
minimum sampling/measurement OR2) calculate the confidence interval.
Measurement of parallel program execution time (2)
Слайд 17Subunit and super linear speedups
According to materials of Prof. A.V.
Boukhanovsky
Possible reasons:
Overhead costs (i.e. 1000 division instructions).
Caching effects.
Paralleling algorithm error.
Слайд 18Changing the results of floating point calculations
1 thread: s = 14.357357
8
threads: s = 14.393189
Diff: 0.25%
