Тестирование ПО Лекция 5. Методики тестирования

выполняет свое основное предназначение
Тесты на основании «правильных» входных данных
Тестирование с

целью проверки соответствий требованиям
Негативные тесты
Тесты для проверки устойчивости программы к негативным входным данным
Тесты на проверки устойчивости программы к ошибкам пользователя
Тесты на то что у программы нет неожиданных побочных эффектов
Тестирование с целью «сломаем это!»

в которой проводим эксперименты, может считаться входным параметром
Можем измерять выходные

параметры

полученных результатов с ожидаемыми

вариантов (по диапазону), как правило, невозможен!

Стратегии уменьшения числа тестов:

Классы эквивалентности
Граничные

условия

эквивалентны
Группа тестов представляет класс эквивалентности если:

Все тесты предназначены для выявление

одной и той же ошибки
Если один тест выявит ошибку, то и остальные это сделают
Если один из тестов не выявит ошибку, то и остальные этого не сделают

Дополнительные практические критерии:

Тесты включают значения одних и тех же входных данных
Для проведения теста выполняются одни и те же операции программы
В результате тестов формируются значения одних и тех же выходных данных
Ни один из тестов не вызывает выполнения конкретного блока обработки ошибок либо выполнение этого блока вызывается всеми тестами

треугольники
Равносторонние треугольники
Прямоугольные треугольники
Просто треугольники

Классы эквивалентности по некорректным входным данным:
Отрезки

не образуют треугольник
Числа больше sizeof(int)
Строка, содержащая буквы

данным:
День от 1 до 27
Последний день месяца
Последний день года
28

февраля високосного года

Классы эквивалентности по некорректным входным данным:
Месяц > 12
День > 31
Неверная строка

классах некорректных данных
Формируйте классы в виде таблицы или плана
Определите диапазоны

числовых значений входных данных
Проанализируйте варианты выбора из списков и меню
Поищите переменные значения которых должны быть равными
Поищите классы значений, зависящих от времени
Выявите группы переменных, совместно участвующих в конкретных вычислениях
Посмотрите на какие действия программа отвечает эквивалентными событиями
Продумайте варианты среды тестирования

выше вероятность возникновения ошибки


int safe_add( int a, int b )
{

int c = a + b ;
if ( a >= 0 && b >= 0 && c < 0 )
{
fprintf ( stderr, "Overflow!\n");
}
if ( a < 0 && b < 0 && c >= 0 )
{
fprintf ( stderr, "Underflow!\n");
}
return c;
}

значения лежащие максимально близко к границе с обоих сторон
Пример:
При покупке

более 100 единиц товара дается скидка 5%. Нужно проверить:
100
99
101

знаний (например конкретного языка программирования)
Позволяет найти проблемы в спецификациях
Можно создавать

тесты параллельно с кодом
Тестировщик может быть отделен от разработчиков

наличия четких и полных спецификаций
Невозможность сконцентрироваться на особо сложных частях

кода
Трудность локализации причины дефекта
Возможность не протестировать часть кода

имеем полный доступ к тестируемому коду
Стадии применения:
Unit-тестирование
Интеграционное тестирование

все вершины
Пройти всеми возможными путями
Пройти через вновь добавленные участки
Пройти через

известные проблемные участки

кода
Microsoft Visual Studio 2010(C++, C#)
DevPartner (C#, Java)
Codecov из Intel Compiler

(C, C++, Fortran)
Jtest (Java)
Devel::Cover (Perl)
PHPUnit (PHP)
Coverage (Python)
CoverMe (Ruby)

(например, обучение команды)
Нахождение проблем производительности
Более надежное разбиение на классы эквивалентности
Как

правило, ускорение цикла нахождение-исправление
Недостатки:
Не найдем пропущенное в коде
Дорого

устройство тестируемого объекта
Тестировщик находится на уровне пользователя
Пример:
Зная особенности реализации модуля,

создаем тестовые сценарии пользовательского уровня, которые покрывают потенциально проблемную область
Основная область применения: интеграционное тестирование

количество дефектов. Необходимо использование методов для выбора набора входных значений.
Основные

методы выбора входных значений:
Перебор всех возможных значений
Случайные входные данные
Предугадывание ошибки
Построение графов «причина-следствие»
Использование классов эквивалентности
Исследование граничных значений

комбинаций входных значений
Попарный перебор. Перебираем комбинации пары 2х входных параметров.

Работаем в предположении что параметры попарно зависимы. На практике находит ~80% функциональных дефектов низкого уровня

выбираются из большого тестового набора, который не успеваем проверить целиком

Часто

используется в нагрузочном тестировании
Необходимо иметь метод определения корректности выхода
Пример: программа подсчета числа вхождений символа в строку

известных проблемных местах вашего продукта
Знайте распространенные ошибки программирования и пишите

тесты для их поиска
Некорректная работа с памятью: переполнение, чтение за пределами, утечки памяти
Отсутствие обработки некорректных входных данных
Ошибки работы с типами данных: переполнение, приведение, приближение
Ошибки многопоточности: deadlock, data race
Отсутствие инициализации/сброса переменных
Недостаток привилегий, недоступность ресурсов
….