Лекция 10. Коллективные операции передачи данных в MPI. Тема 2. Автоматизация

Автоматизация проектирования
параллельных программ.

int rcvcount, MPI_Datatype rcvtype, int root, MPI_Comm comm)

MPI_SCATTER(SENDBUF, SENDCOUNT, SENDTYPE,

RCVBUF, RCVCOUNT, RCVTYPE, ROOT, COMM, IERR)

Входные параметры:
sendbuf — адрес буфера передачи;
sendcount — количество элементов, пересылаемых каждому процессу (но не суммарное количество пересылаемых элементов);
sendtype — тип передаваемых данных;
rcvcount — количество элементов в буфере приема;
rcvtype — тип принимаемых данных;
root — ранг передающего процесса;
comm — коммуникатор.

Выходной параметр:
rcvbuf — адрес буфера приема.

среди всех процессов (рис. 1). Содержимое буфера передачи разбивается на

несколько фрагментов, каждый из которых содержит sendcount элементов. Первый фрагмент передается процессу 0, второй процессу 1 и т. д. Аргументы send имеют значение только на стороне процесса root.

*sendbuf, int sendcount, MPI_Datatype sendtype, void *rcvbuf, int rcvcount, MPI_Datatype

rcvtype, int root, MPI_Comm comm)

MPI_GATHER(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, ROOT, COMM, IERR)

процессу с рангом root. Процесс root "склеивает" полученные данные в

буфере приема (рис. 2). Порядок склейки определяется рангами процессов, то есть в результирующем наборе после данных от процесса 0 следуют данные от процесса 1, затем данные от процесса 2 и т. д. Аргументы rcvbuf, rcvcount и rcvtype играют роль только на стороне главного процесса. Аргумент rcvcount указывает количество элементов данных, полученных от каждого процесса (но не суммарное их количество). При вызове подпрограмм MPI_Scatter и MPI_Gather из разных процессов следует использовать общий главный процесс.

Рис.2. Сбор данных при выполнении операции Gather

MPI_Datatype sendtype, void *rcvbuf, int rcvcount, MPI_Datatype rcvtype, int root,

MPI_Comm comm)

MPI_SCATTERV(SENDBUF, SENDCOUNTS, DISPLS, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, ROOT, COMM, IERR)

Входные параметры:
sendbuf — адрес буфера передачи;
sendcounts — целочисленный одномерный массив, содержащий количество элементов, передаваемых каждому процессу (индекс равен рангу адресата). Его длина равна количеству процессов в коммуникаторе;
displs — целочисленный массив, длина которого равна количеству процессов в коммуникаторе. Элемент с индексом i задает смещение относительно начала буфера передачи. Ранг адресата равен значению индекса i;
sendtype — тип данных в буфере передачи;
rcvcount — количество элементов в буфере приема;
rcvtype — тип данных в буфере приема;
root — ранг передающего процесса;
comm — коммуникатор.
Выходной параметр:
rcvbuf — адрес буфера приема.

их в буфер приема с указанным смещением

int MPI_Gatherv(void *sendbuf, int

sendcount, MPI_Datatype sendtype, void *recvbuf, int *recvcounts, int *displs, MPI_Datatype recvtype, int root, MPI_Comm comm)
MPI_GATHERV(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNTS, DISPLS, RECVTYPE, ROOT, COMM, IERR)

Список параметров у этой подпрограммы похож на список параметров подпрограммы MPI_Scatterv.

В обменах, выполняемых подпрограммами MPI_Allgather и MPI_Alltoall, нет главного процесса. Детали отправки и приема важны для всех процессов, участвующих в обмене.

процессам

int MPI_Allgather(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *rcvbuf, int

rcvcount, MPI_Datatype rcvtype, MPI_Comm comm)

MPI_ALLGATHER(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, COMM, IERR)

Входные параметры:
sendbuf — начальный адрес буфера передачи;
sendcount — количество элементов в буфере передачи;
sendtype — тип передаваемых данных;
rcvcount — количество элементов, полученных от каждого процесса;
rcvtype — тип данных в буфере приема;
comm — коммуникатор.

Выходной параметр:
rcvbuf — адрес буфера приема.

размещается в j-м блоке буфера приема recvbuf (рис. 3).

sendcount, MPI_Datatype sendtype, void *rcvbuf, int rcvcount, MPI_Datatype rcvtype, MPI_Comm

comm)

MPI_ALLTOALL(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, COMM, IERR)

Входные параметры:
sendbuf — начальный адрес буфера передачи;
sendcount — количество элементов данных, пересылаемых каждому процессу;
sendtype — тип данных в буфере передачи;
rcvcount — количество элементов данных, принимаемык от каждого процесса;
rcvtype — тип принимаемык даннык;
comm — коммуникатор.

Выходной параметр:
rcvbuf — адрес буфера приема.

Векторными версиями MPI_Allgather и MPI_Alltoall являются подпрограммы
MPI_Allgatherv и MPI_Alltoallv.

процессов и пересылка их всем процессам

int MPI_Allgatherv(void *sendbuf, int sendcount,

MPI_Datatype sendtype, void *rcvbuf, int *rcvcounts, int *displs, MPI_Datatype rcvtype, MPI_Comm comm)

MPI_ALLGATHERV(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNTS, DISPLS, RCVTYPE, COMM, IERR)

Ее параметры совпадают с параметрами подпрограммы MPI_Allgather, за исключением дополнительного входного параметра displs.
Это целочисленный одномерный массив, количество элементов в котором равно количеству процессов в коммуникаторе.
Элемент массива с индексом i задает смещение относительно начала буфера приема recvbuf, в котором располагаются данные, принимаемые от процесса i. Блок данных, переданный от j- го процесса, принимается каждым процессом и размещается в j-м блоке буфера приема.

*sendbuf, int *sendcounts, int *sdispls, MPI_Datatype sendtype, void *rcvbuf, int

*rcvcounts, int *rdispls, MPI_Datatype rcvtype, MPI_Comm comm)

MPI_ALLTOALLV(SENDBUF, SENDCOUNTS, SDISPLS, SENDTYPE, RCVBUF, RCVCOUNTS, RDISPLS, RCVTYPE, COMM, IERR)

Ее параметры аналогичны параметрам подпрограммы MPI_Alltoall, кроме двух дополнительных параметров:
sdispls — целочисленный массив, количество элементов в котором равно количеству процессов в коммуникаторе. Элемент j задает смещение относительно начала буфера, из которого данные передаются j-му процессу.
• rdispls — целочисленный массив, количество элементов в котором равно количеству процессов в коммуникаторе. Элемент i задает смещение относительно начала буфера, в который принимается сообщение от i-го процесса.

*result, int count, MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm

comm)

MPI_REDUCE(BUF, RESULT, COUNT, DATATYPE, OP, ROOT, COMM, IERR)

Входные параметры:
buf — адрес буфера передачи;
count — количество элементов в буфере передачи;
datatype — тип данных в буфере передачи;
op — операция приведения;
root — ранг главного процесса;
comm — коммуникатор.

каждой операции помещается в буфер результата result (рис. 4). MPI_Reduce

должна вызываться всеми процессами в коммуникаторе comm, а аргументы count, datatype и op в этих вызовах должны совпадать.

Рис. 4. Распределение данных при выполнении операции приведения

Определение собственных глобальных операций

int MPI_Op_create(MPI_User_function *function, int commute, MPI_Op *op)

MPI_OP_CREATE(FUNCTION,

COMMUTE, OP, IERR)

Входные параметры:
function — пользовательская функция;
commute — флаг, которому присваивается значение "истина", если операция коммутативна (результат не зависит от порядка операндов).
Описание типа пользовательской функции выглядит следующим образом:
typedef void (MPI_User_function)(void *a, void *b, int *len,
MPI_Datatype *dtype)
Здесь операция определяется так:
b[I] = a[I] op b[I]
для I = 0, ..., len - 1.

Удаление пользовательской функции
int MPI_Op_free(MPI_Op *op)
MP I_OP_FREE(OP, IERR)
После завершения вызова op присваивается значение MPI_OP_NULL.

*rcvcounts, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

MPI_REDUCE_SCATTER(SENDBUF, RCVBUF, RCVCOUNTS, DATATYPE,

OP, COMM, IERR)

Входные параметры:
sendbuf — стартовый адрес буфера приема;
rcvcounts — целочисленный одномерный массив, который задает количество элементов в результирующем массиве, распределяемом каждому процессу. Этот массив должен быть одинаковым во всех процессах, вызывающих данную подпрограмму;
datatype — тип данных в буфере приема;
op — операция;
comm — коммуникатор.

Выходной параметр:
rcvbuf — стартовый адрес буфера приема.
Каждая задача получает не весь результирующий массив, а его часть.

в результирующем буфере каждого процесса

int MPI_Allreduce(void *sendbuf, void *rcvbuf, int

count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

MPI_ALLREDUCE(SENDBUF, RCVBUF, COUNT, DATATYPE, OP, COMM, IERR)

Входные параметры:
sendbuf — начальный адрес буфера передачи;
count — количество элементов в буфере передачи;
datatype — тип передаваемых данных;
op — операция приведения;
comm — коммуникатор.

Выходной параметр:
rcvbuf — стартовый адрес буфера приема.

При аварийном завершении подпрограмма может возвращать код ошибки MPI_ERR_OP (некорректная операция). Это происходит, если применяется операция, которая не является предопределенной и которая не создана предшествующим вызовом подпрограммы
MPI_Op_create.