Синтаксис директивы parallel

(type [,chunk])
ordered
private (list)
firstprivate (list)
lastprivate (list)
shared

(list)
reduction (operator: list)
collapse (n)
nowait

директивой.
Для циклов образуется общее пространство итераций, которое делится между

тредами.
Если опция не задана, то директива относится только к одному - непосредственно следующему за ней циклу.

встречаться директивы ordered.
В этом случае определяется блок внутри тела

цикла, который должен выполняться в порядке, установленном в последовательном цикле

синхронизация параллельно работающих тредов – дальнейшее выполнение происходит только тогда, когда

все треды достигнут данной точки (барьера).
Если подобная задержка не нужна, используют опцию nowait.
Это позволяет тредам, уже дошедшим до конца цикла, продолжить выполнение без синхронизации с остальными тредами.

{
int i, chunk;
float a[N], b[N], c[N];
// Some

initializations
for (i=0; i < N; i++)
a[i] = b[i] = i * 1.0;
chunk = CHUNKSIZE;
#pragma omp parallel shared(a,b,c,chunk) private(i)
{
#pragma omp for schedule(dynamic,chunk) nowait
for (i=0; i < N; i++)
c[i] = a[i] + b[i];
}
// end of parallel section
}

что итерации данного цикла не имеют информационных зависимостей.
Если цикл

не содержит зависимостей, его итерации можно выполнять в любом порядке, в том числе параллельно.
Соблюдение этого требования компилятор не проверяет, вся ответственность - на программисте.
Если дать указание компилятору распараллелить цикл, содержащий зависимости, результат работы программы может оказаться некорректным.
Задание – подобрать пример такого цикла, проверить выполнение параллельной программы.

секций кода, каждая из которых выполняется своим тредом.

firstprivate (list)
lastprivate (list)
reduction (operator: list)
nowait
{
#pragma

omp section newline
structured_block //отдельный тред
#pragma omp section newline
structured_block //отдельный тред
…
}

thread %d\n", n);
}
#pragma omp section
{ printf("section2, thread %d\n", n);
}
#pragma omp section
{ printf("section3,

thread %d\n", n);
}
}
printf("parallel region, thread %d\n", n);
}
}

обязательна.
Какие треды будут выполнять какую секцию, не определено.
Если

число тредов больше количества секций, то часть тредов для выполнения данного блока секций не будет задействована.
Если число тредов меньше количества секций, то некоторым тредам достанется более одной секции.

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

omp sections lastprivate(n)
{ #pragma omp section
{ n=1;
}
#pragma omp section
{ n=2;
}
#pragma omp section
{ n=3;
}
}
printf(«n on

thread%d: %d\n", omp_get_thread_num(), n);
}
printf(«n out of parallel region: %d\n", n);

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

присваивают своей локальным копиям n разные значения.
По выходе из

области sections значение n из последней секции присваивается локальным копиям во всех тредах.
Поэтому все треды напечатают число 3.
Это же значение сохранится для переменной n и в последовательной области.

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

в некоторых случаях (см. ранее for, sections) по умолчанию.
Опция nowait

отменяет ожидание.
Самый распространенный способ синхронизации в OpenMP – барьер.

СИНХРОНИЗАЦИЯ

этой директивы, останавливаются и ждут, пока все треды не дойдут

до этой точки программы, после чего разблокировываются и продолжают работать дальше.

ДИРЕКТИВА BARRIER

Message 1 и Message 2 могут появиться в произвольном порядке.
Выдача

Message 3 со всех тредов придёт строго после двух предыдущих выдач.

ПРИМЕР – СИНХРОНИЗАЦИЯ ПЕЧАТИ

должен выполняться в том порядке, в котором итерации шли бы

в последовательном цикле.
Директива for должна содержать опцию ordered

ДИРЕКТИВА ORDERED

из циклов.
Тред, выполняющий первую итерацию цикла, выполняет операции выделенного

блока.
Тред, выполняющий k-ую итерацию, должен сначала дождаться выполнения всех операций выделенного блока всеми тредами, выполняющими предыдущие итерации.

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

ordered
for (i=0; i

i);
#pragma omp ordered
{
printf("ordered:thread %d,iter %d\n",n, i);
}
}
}
Внутри тела цикла идут две выдачи – одна вне блока ordered, а вторая – внутри него.

ПРИМЕР – СИНХРОНИЗАЦИЯ ПЕЧАТИ

возрастанию номера итерации.
ПРИМЕР – СИНХРОНИЗАЦИЯ ПЕЧАТИ

предотвратить одновременный доступ к одному сегменту кода (критическому разделу!) из

нескольких тредов.
Один тред получает доступ только тогда, когда другие не выполняют данный код.

КРИТИЧЕСКИЕ РАЗДЕЛЫ

одного треда.
Если критический раздел уже выполняет какой-либо тред, то

все другие треды будут заблокированы, пока вошедший тред не закончит выполнение.
Как только работавший тред выйдет из критического раздела, один из заблокированных войдет в него.
Если на входе в критический раздел стояло несколько тредов, то случайным образом выбирается один из них.
Остальные заблокированные треды продолжают ожидание.

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

shared(x)
{
#pragma omp critical
x = x + 1;

}
// end of parallel section
}

ПРИМЕР – КОРРЕКТНАЯ РАБОТА С ОБЩЕЙ ПЕРЕМЕННОЙ

private (list)
firstprivate (list)
copyprivate (list)
nowait
{

structured_block //единственный

тред
}

ДИРЕКТИВА SINGLE

одноименным частным переменным (private и firstprivate), описанным в начале параллельной

области и используемым всеми её тредами.
Опция не может использоваться совместно с опцией nowait.
Переменные списка не могут быть перечислены в опциях private и firstprivate данной директивы single.

ОПЦИЯ COPYPRIVATE

copyprivate(n)
{ n=100;
}
printf("n (finish): %d\n", n);
}
Каждый тред присвоит переменной n значение, равное

своему номеру, и напечатает его.
В области single один из тредов присвоит переменной n значение 100.
На выходе из области это значение будет присвоено переменной n на всех тредах.
В конце параллельной области значение n печатается ещё раз .
На всех тредах n=100.

ПРИМЕР (COPYPRIVATE)

с оператора, расположенного за ним.
Неявной синхронизации директива не предполагает.
Синтаксис

директивы:

#pragma omp master newline
{

structured_block //master-тред
}

ДИРЕКТИВА MASTER

присваивания.
Синтаксис директивы:

#pragma omp atomic
statement_expression
ДИРЕКТИВА ATOMIC

переменная,
expr – скалярное выражение, в котором не присутствует переменная

х.
op - оператор:
+
*
-
/
&
^
|
<<
>>

запущенным в данный момент тредам, кроме треда, выполняющего операцию.
Атомарной

является только работа с переменной в левой части оператора присваивания.
Вычисления в правой части не обязаны быть атомарными

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

%d\n", count);
Чтобы предотвратить одновременное изменение несколькими тредами значения переменной, стоящей

в левой части оператора присваивания, используется директива atomic

ПРИМЕР

FLUSH

регистрах и кэш-памяти текущего треда, будут занесены в основную память.
Все

изменения переменных, сделанные тредом во время работы, станут видимы остальным тредам.
Если какая-то информация хранится в буферах вывода, то буферы будут сброшены и т.п.
Операция производится только с данными вызвавшего треда.
Данные, изменявшиеся другими тредами, не затрагиваются.

ОСОБЕННОСТИ ВЫПОЛНЕНИЯ

директиве barrier,
на входе и выходе областей действия директив parallel,

critical, ordered,
на выходе for, sections, single
в вызовах функций семафоров
flush вызывается для переменной, участвующей в операции, ассоциированной с директивой atomic.
flush не применяется на входе и выходе области действия директивы master