Сила есть - ума не надо?
В условиях ограниченных ресурсов, почему бы не провести стресс-тест для выявления багов функционала? Если стресс-тест сильный (выявляет больше багов, чем другие) почему принято начинать с функциональных и уж никак не смешивать функциональное тестирование со стресс-тестированием?
Можете привести примеры из Вашего опыта, когда ошибки функционала выявлялись стресс-тестами?
Комментарии (5)
RSS свернуть / развернутьЧтобы не путаться с терминологией. Я под стресс тестом считаю тест, при котором создаётся избыточная нагрузка на приложение через ввод данных и [или] ограничение ресурсов).
Вес функциональных ошибок, найденных при стресс тестировании может оказаться ниже, чем любая ошибка найденная без нагрузки на приложение из-за специфики появления.
На мой взгляд, даже в условиях ограниченных ресурсов необходимо просматривать (руками или автоматическими тестами) основные сценарии, связанные с целью (идеей) программы и сценарии нагрузочных тестов в этом не сильно помогают.
alsedi
Я не специалист по нагрузочному тестированию, занимаюсь по большей части ручным, но иногда и нагрузку приходится проверять. Согласно моему опыту стенды для нагрузки настраиваются дольше, а ошибки диагностируются сложнее. Это еще хорошо, если Вы у себя имеете возможность делать нагрузочное тестирование. А если надо его делать на оборудовании заказчика (а такое бывает)? И поехали туда, либо через VPNы полезли, а это еще затягивает все процессы (в больших компаниях все медленно делают).
Кстати, обычно рекомендуют нагрузочное тестирование напоследок не откладывать, а делать периодически после проверки определенной части функционала, чтобы к концу разработки проекта не оказалось, что были выбраны неверные архитектура/технологии. Так что заявление о несмешении для меня, честно говоря, открытие.
Пример привести могу. При нагрузке на систему выявлялись ошибки в реализации доступа к общим областям памяти параллельных потоков, что при функциональном тестировании выявить довольно сложно, если вообще возможно.
retverd
retverd
Например, программа виснет при попытке открыть 500Мб XML файл. Баг? Баг! Но 500Мб XML файл это стрессовый вариант (например, обычно файлы открываемые программой не превосходят 1Мб). Тогда у нас есть требование на исправление — сделать так, чтобы программа не висла, а сообщала об ошибке при неудачной попытке открытия чрезмерно большого файла и продолжала работать дальше. При функциональном тестировании мы бы попросили исправить так, чтобы программа смогла открыть такой файл. И опять же, как уже написал Рома, мы не можем быть уверенны, открывает вообще ли программа XML файлы или нет — все-равно проводить второй эксперимент и выяснять.
LeshaL
LeshaL
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.