13 окт. 2009 г.

Мифы и грабли: Цель тестирования - поиск ошибок

Одним из самых больших заблуждений тестировщика является миф о том, что его работа заключается в поиске ошибок. Давайте попробуем понять, в чем состоит это заблуждение. Такая постановка вопроса подразумевает следующее утверждение: завершенное тестирование означает, что все ошибки обнаружены. Но все мы знаем, что это такое утверждение невозможно.

Стоит ли перечислять причины - невероятное количество комбинаций действий пользователя, переменных окружения, входных данных и прочее. Это количество практически бесконечное и доказывает то, что процесс поиска ошибок никогда не может быть завершен. Даже если вы сможете провести это исчерпывающее тестирование и вписаться в более-менее разумные сроки, ваши потенциальные пользователи найдут к тому времени другую альтернативу.

Что ещё хуже, этот миф порождает ложные цели у тестировщика - "чем больше я найду ошибок, тем лучше" - думают они и дрючат бедное приложение в экзотическом окружении с невероятными данными. В принципе, любой пользователь может завалить приложение, если сильно постарается. Но по правде говоря, нормальных пользователей больше интересует то, что работает в приложении, нежели то, что не работает.

Отчеты о невероятных ошибках вызовут усмешку у разработчика и разочарование у заказчика, потому что это отбирает время и ресурсы от главной цели - убедиться в том, что приложение делает то, что нужно пользователю. Если вы не верите, что пользователи будут жертвовать таким "качеством" ради функциональности, просто посмотрите на количество известных ошибок у каких-нибудь популярных продуктов (например, у вашей любимой ОС, офисного пакета или браузера).

Также этот миф препятствует постоянному контролю основной функциональности, потому как вероятность обнаружения ошибки в ней достаточно мала и тестировщики теряют к ней всякий интерес. Но при разработке ПО, то, что работает сейчас, вовсе не означает что это будет работать всегда. И одна небольшая ошибка в жизненно необходимой функциональности будет стоить очень дорого. Даже если у вас есть огромный список известных ошибок, который вы получили при прочесывании всевозможных граничных условий и прочего, вряд ли он утешит пользователя\заказчика, когда основной функционал неисправен.

5 комментариев:

emeralda комментирует...

Да, такое заблуждение почти всегда встречается у начинающих тестировщиков. Я очень хорошо еще помню себя в начале работы, когда находила просто кучи разных ошибок - постила из в трекер и ожидала, что вот все они будут исправлены. Если не в этом релизе, так в следующем уж обязательно. Но с тех пор выпустили десятки релизов, а мои тогда еще найденные баги до сих пор далеко не все исправлены.
Я сначала недоумевала. Как это так. Это ж мы выпускаем некачественный продукт :(.
А пользователи при этом были довольны.
Понимание пришло со временем.
И сейчас я смотрю на эти баги уже с точки зрения менеджера проекта и вижу, что намного важнее для пользователей получить тот или иной новый функционал, чем привести к единому формату все даты на формах.

Алексей Лупан комментирует...

Этот миф рождается регулярно в каждой компании, которая еще находится на низком уровне культуры тестирования.

Это происходит, когда кругом только умные программисты, которые говорят "Эй, ты, тестер-тостер, найди мне баги!"

И ПМ каждый вечер требует отчета "Эй, тестер-тостер, сколько багов ты сегодня нашел? Что значит, ни одного? А ведь вчера нашел 12..."

Соответственно, тестировщик подлаживается под систему. Ему же надо домой деньгу унести, а не перевоспитывать всех кругом.

Отсюда вывод - миф устойчивый и будет таковым еще много лет.

Анонимный комментирует...

Спасибо за новост

Анонимный комментирует...

Профессиональный маг и волшебник Святогор исполняет желания и отвечает на вопросы, корректирую все, что желаете, выстраиваю финансовые каналы, убираю темные подключения, восстанавливаю ауру, энергетика, возвращаю и отпускаю любимых, возлюбленных. Психология, эзотерика и экстасенсорика
По интернету по телефону и лично
icq 391211112
skype pitlord
тел. 89266551099
Москва.

bugsclock комментирует...

Святогор, сделайте чтобы у всех тестировщиков развеялись мифы, раскрылись глаза и начал работать мозг.