Оптимизация и измерение производительности

программа отлажена !!!
Не отлаженную программу оптимизировать категорически не рекомендуется
Для некоторых

компиляторов и некоторых программ оптимизация может привести и неправильной работе программы

порядка следования инструкций
Оптимизация исходного кода
Устранение повторяющихся операций
Оптимизация приема передачи данных
Оптимизация

распараллеливания

делает
Оптимизировать необходимо
Самые медленные участки программы
Самые часто повторяющиеся участки программы
Функцию f

необходимо оптимизировать
for(i = 0; i<100; i++) f(i);
Необходимо оптимизировать внутренний цикл
for(i = 0; i<100; i++)
for(j = 0; j<100; i++) …

обращаться последовательно

процессора
float[10][10]
float[100][100] - будет обрабатываться не в 100 дольше, а

более медленно
Желательно, чтобы размеры структур и буферов соответствовали размеру строки кэша

i++)
for(k=0; k

самым левым (для C) или самым правым (для фортрана)

a - b;
b++;
a = a * b;
return a;

}

Быстрее
#define foo(a, b) (((a)-(b)) * ((b)+1))

{
do_stuff(i);
}

for (i = 0; i < 100;

) {
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
do_stuff(i); i++;
}

MAX; i++)
/* initialize 2d array to 0's */
for

(j = 0; j < MAX; j++)
a[i][j] = 0.0; for (i = 0; i < MAX; i++)
/* put 1's along the diagonal */
a[i][i] = 1.0;

for (i = 0; i < MAX; i++) {
for (j = 0; j < MAX; j++) {
/* initialize 2d array to 0's */
a[i][j] = 0.0;
}
/* put 1's along the diagonal */
a[i][i] = 1.0;
}

y = pow(x, 2.0);
z = y * 33;
for

(i = 0; i < MAX; i++) {
h = 14 * i;
printf("%d", h);
}

x = w & 7; /* bit-and cheaper than remainder */
y = x * x; /* mult is cheaper than power-of */
z = (y << 5) + y; /* shift & add cheaper than mult */
for (i = h = 0; i < MAX; i++) {
printf("%d", h);
h += 14; /* addition cheaper than mult */
}

заранее значения

другие структуры с размерами отличающимися от степени двойки
Структуры должны быть

по возможности меньшего размера (правильная упаковка)
Часто динамическое выделение памяти получается быстрее статического
Размер порций данных уравнивается по границе строки кэша

float a;
double b;
float c;
double d;
short e;

long f;
short g;
long h;
char i;
int j;
char k;
int l;
};

/* sizeof = 48 bytes */
struct foo {
double b;
double d;
long f;
long h;
float a;
float c;
int j;
int l;
short e;
short g;
char i;
char k;
};

чаще и маленькими
Использовать асинхронный и не блокирующий ввод-вывод
Использовать специальные опции

протокола передачи данных для уменьшения задержек
TCP_NODELAY
Использовать настройки протокола для уменьшения времени задержки
Procfs
Уменьшать количество ненужных операций ввода-вывода

данных
Увеличивать гранулярность задач
Использовать асинхронные операции передачи данных
Send ahead
Лучше использовать

конвейерные методы, особенно для кластеров и гетерогенных систем
Для гетерогенной системы самые медленные машины должны быть самыми последними в цепочке

компилятора
Профилировщики
Специальные библиотеки

сети http://www.netperf.org/netperf/NetperfPage.html
MPI benchmarks
http://parallel.ru/
Тесты прикладных программ

на параллельной машине
Пользователи компилируют как угодно
Во входном файле указываются параметры
Размеры

блоков
Алгоритмы обмена
Максимальный полученный результат отправляется на top500