Слайд 1Оценка производительности вычислительных систем
Слайд 2Единица измерения производительности
Единицей измерения производительности компьютера является время: компьютер, выполняющий
тот же объем работы за меньшее время, является более быстрым.
Часто производительность измеряется как скорость появления некоторого числа событий в секунду.
Слайд 3Определение времени
астрономическое время
время ответа (response time),
время выполнения (execution time)
прошедшее время
(elapsed time
задержки выполнения задания (работа процессора, обращения к диску, обращения
к памяти, ввод/вывод)
накладные расходы операционной системы
время ЦП
Слайд 4Дискретные временные события
такты синхронизации (clock ticks)
такты (ticks)
периодами синхронизации (clock periods)
циклы
(cycles)
циклы синхронизации (clock cycles)
Слайд 5Время ЦП для программы
количество тактов синхронизации для программы, умноженное на
длительность такта синхронизации
количество тактов синхронизации для программы, деленное на частоту
синхронизации
Слайд 6Стандарты в области оценки производительности
Слайд 7MIPS
MIPS (миллион команд в секунду) - скорость операций в единицу
времени, т.е. для любой программы MIPS есть отношение количества команд
в программе к времени ее выполнения. Производительность может быть определена как обратная ко времени выполнения величина, причем более быстрые машины при этом будут иметь более высокий рейтинг MIPS.
Слайд 8MIPS
+ эту характеристику легко понять, особенно покупателю (более быстрая машина
характеризуется большим числом MIPS, что соответствует интуитивным представлениям).
- MIPS
зависит от набора команд процессора, что затрудняет сравнение по MIPS компьютеров, имеющих разные системы команд.
- MIPS даже на одном и том же компьютере меняется от программы к программе.
- MIPS может меняться по отношению к производительности в противоположную сторону.
Слайд 9MFLOPS
MFLOPS (миллионах элементарных арифметических операций над числами с плавающей
точкой, выполненных в секунду) - единица измерения MFLOPS предназначена для
оценки производительности только операций с плавающей точкой и поэтому не применима вне этой ограниченной области.
Рейтинг MFLOPS зависит и от машины, и от программы.
Слайд 10MFLOPS
- наборы операций с плавающей точкой не совместимы на
различных компьютерах
- рейтинг MFLOPS меняется не только на смеси целочисленных
операций и операций с плавающей точкой, но и на смеси быстрых и медленных операций с плавающей точкой
Слайд 13Тесты
Оценка эффективности вычислительных систем на специально подготовленных для этих целей
задачах (benchmarks), или оценочное тестирование, изначально имело цель дать прогноз
относительно возможностей исследуемой системы при решении интересующего класса задач
Слайд 14Категории тестов
тесты производительности процессора;
тесты производительности файловой системы;
тесты производительности сети;
комбинированные;
тесты корпорации
SPEC (Strandart Performance Evaluation Corporatiuon).
синтетические тесты
Слайд 15Синтетический тест Dhrystone
Синтетический тест Dhrystone позволяет оценивать эффективность процессоров
и компиляторов с языка C для программ нечисловой обработки.
Представляет
собой тестовую смесь, 53% которой составляют операторы присваивания, 32% - операторы управления и 15% - вызовы функций.
Общее число команд - 100.
Скорость выполнения программы измеряется в Dhrystone в секунду.
Слайд 16Пакет «Ливерморские циклы»
Пакет “Ливерморские циклы” представляет собой набор фрагментов фортран-программ,
каждый из которых взят из реальных программных систем, эксплуатируемых в
Ливерморской национальной лаборатории им. Лоуренса.
Пакет “Ливерморские циклы” используется для оценки производительности вычислительных машин с середины 60-х годов. Он включает типичные фрагменты программ численных задач. Появление новых типов машин, в том числе векторных и параллельных, не уменьшило важности данного пакета, однако изменились значения производительности и величины разброса между разными циклами.
Слайд 17LINPACK
LINPACK - это пакет фортран-программ для решения систем линейных алгебраических
уравнений.
Алгоритмы линейной алгебры весьма широко используются в самых разных
задачах, и поэтому измерение производительности на LINPACK представляет интерес для многих пользователей.
Слайд 18Тесты производительности файловой системы
Bonnie - тестируется ряд стандартных файловых
операций: вывод (посимвольно и блоками), обновление, чтение (посимвольно и блоками),
перемещение по файлу. Выдается скорость (KB/sec) и степень загрузки ЦП;
IOZONE - записывает на большой диск X-мегабайтный последовательный файл Y-байтными блоками, потом переворачивает его и считывает;
Nfsstone - измеряет производительность файловой подсистемы NFS.
Слайд 19Тесты производительности сети
MPI-тесты - система тестов для определения эффективности
программно-аппаратной среды выполнения параллельных приложений (на базе MPI);
comm - тесты
для измерения латентности и пропускной способности каналов в рамках MPI и PVM.
Netperf - тест производительности сети. Включает тесты скорости передачи (bandwidth) и задержки (latency) по протоколам TCP и UDP и др.
Nettest - тест производительности сети, разработанный в Cray Research;
ttcp - определяет скорость обменов по протоколам TCP и UDP между двумя машинами.
Слайд 20Тесты SPEC (Strandart Performance Evaluation Corporatiuon)
SPEC является разработчиком стандартных тестовых
систем, являющихся де-факто стандартами для оценки производительности современных микропроцессоров, проводит
тестирование и публикует результаты в специальном бюллетене "The SPEC Newsletter", размещаемом на сервере www.SPEC.com.
Слайд 21SPEC
OSG (Open Systems Group) - основной комитет;
HPG (High Performance
Group) - тесты для высокопроизводительных вычислительных систем;
GPC (Graphics Performance
Characterization Group) - тесты графики.
Слайд 22SPEC
CPU2000 - тесты вычислительной производительности;
JVM98 – тест виртуальной Java-машины;
HPC96 - тесты для HPC-систем: приложение сейсмической обработки SPECseis96 (Seismic),
приложение вычислительной химии SPECchem96 (GAMESS) и приложение моделирования климата SPECclimate (MM5);
SFS97 - тест производительности сетевой файловой системы;
WEB99 - тест для оценки производительности HTTP-серверов.
Слайд 23Комбинированные тесты
Комбинированные тесты – тестовые программы и пакеты, тестирующие сразу
несколько элементов архитектуры компьютера (ЦП, память, файловая система, сеть, и
т.д.).
Методика AIM направлена на сравнение и оценку производительности вычислительных систем, применительно к конкретному приложению и планируемому использованию
Слайд 24Критерии
пиковая производительность (выбор рабочей станции);
максимальная загрузка (выбор сервера);
обработка UNIX-утилит (выбор
станции для рабочего места разработчика программного обеспечения);
пропускная способность;
цена системы.
Слайд 25Тестовые смеси в прикладных областях
General Workstation Mix - среда разработки
программного обеспечения;
Mechanical CAD Mix - среда автоматизации проектирования в машиностроении
(с использованием 3-мерной графики);
GIS Mix - среда геоинформационных приложений;
General Business - среда стандартных офисных приложений (электронные таблицы, почта);
Shared/Multiuser Mix - многопользовательская среда;
Computer Server Mix - среда центрального сервера для большого объема вычислений;
File Server Mix - среда файлового сервера;
RBMS Mix - среда обработки транзакций реляционной базы данных.
Слайд 26Критерии ранжирования АВС
Один из наиболее популярных критериев оценки производительности компьютеров
- ранжирование по результатам теста LINPACK - Top500
Список 50 наиболее
мощных суперкомпьютеров по странам СНГ (Тор50) также основан на результатах теста LINPACK