Как сохранить нервы тестировщика или ускорить регресс с 8 до 2 часов Хабр

Эта работа является частью обязанностей данного сотрудника, но на больших проектах таких сотрудников может быть больше и такая работа является основной их обязанностью. Например, в группе сборки проекта Windows NT 3.0 было четыре человека (Pascal Zachary, Showstopper! , The Free Press, 1994). Смысл ежедневной сборки теряется без дымового тестирования.

Можно быстрее пошарить знания между членами команды тестирования, поручить выполнение чек-листа НЕ его автору. Но времени на описание и поддержку чек-листа тратится больше. Для проверки отображения отзыва в списке устанавливаем высокий приоритет. Если отзыв не отображается – это значит, что не работает ключевая логика разрабатываемой фичи. На тестирование передан неработающая функциональность и проводить дальнейшее тестирование по ней нет смысла.

Шаг 5: Анализ результатов и проведение повторных тестов, оптимизация

Руководство сервиса хотело провести тест функции «Add to Box», которая позволяла клиентам добавлять больше продуктов в их пакеты услуг. Тревор Лорбир (Trevor Lohrbeer) из консалтингового агентства Teikametrics & Lab Escape определяет данный метод, как «способ тестирования восприятия товара рынком до создания самого продукта». В-третьих, провели тест-анализ основного функционала чтобы наконец-то зафиксировать, как он реализован на текущий момент и какие есть возможности для более полного покрытия подсистем. При этом регресс-тесты мы серьезно расширили, до 2000 штук, потому что именно такое количество позволяло оптимально покрыть функционал. Для оценки поставленных задач мы проанализировали полноту текущего покрытия, а также прикинули какое количество кейсов нужно для более полного покрытия функционала. Но даже посмотреть, как все работает на стендах, у нас не было возможности, так как на проекте наблюдался недостаток машин, и не все они были в рабочем состоянии.

смоук тестирование

Smoke тестирование в первую очередь подразумевает высокую частоту выполнения тестовых запусков. Sanity тесты в первую очередь подразумевают обширный, но довольно поверхностный охват проверяемой системы. Эти наборы тестов могут совпадать, так как у них есть общая черта — предпочтительно малое время выполнения. Но цели и основной упор у таких наборов тестов разный. При всем желании нельзя учесть все нюансы использования, воссоздать ту среду, в которой будет использован продукт. Поэтому на данном этапе необходимо сделать акцент на том, что говорят пользователи.

ПРОБЛЕМ АВТОМАТИЗАЦИИ ТЕСТОВ ПРОБЛЕМЫ И ОГРАНИЧЕНИЯ В SELENIUM WEBDRIVER

Приведу пример разграничения понятий на моём текущем проекте. (Более правильно “санитарное тестирование” называется “тестированием согласованности”, но термин “санитарное” уже прижился у российских тестировщиков). Как только вы подготовите смоук-тест к запуску, первое, что вам понадобится — это трафик, и этот трафик должен быть правильным. В своей презентации Доминик поведал о 6 этапах смоук-тестирования, которые используются многими разработчиками и повсеместно считаются наиболее исчерпывающими. Если вы устанавливаете приоритетность планируемых экспериментов, вы, вероятно, уже знаете, каких результатов можно ждать от каждого испытания в случае его положительного исхода.

смоук тестирование

Если, чтобы провернуть Exhaustive testing нужен либо полный перебор либо его еквивалент. Вот этот еквивалент нам и должен быть интересен. И как его сделать знают те же математики, у которых вообще теоремы про бесконечно большие множества, и ничего, сделали. Цель данного этапа — создать документацию, объем которой будет охватывать детализацию, ход работ, а также вносить ясность для заказчика. Общение с другими командами, понимание желаний заказчика напрямую влияют на качество тестовой документации.

Зачем маркетологам смоук-тесты?

Первое время нам приходилось напоминать, уточнять и указывать в задачах затрагиваемые блоки. С одной стороны, мы смогли облегчить регресс, выбирая только необходимые кейсы. Но с другой стороны, тратилось достаточно много времени на коммуникацию, и постоянные уточнения.

  • Ведь если билд падает при установке, или если половина страниц сайта не грузится, то нет смысла продолжать тестирование, пока такие крупные дефекты не уберут.
  • Основной упор делался на то, что кейсы должны быть актуальны, максимально понятны и покрывать основной функционал -1 приоритета (блокеры).
  • Очень важно не принимать за аксиому то, что если какое-либо действие было пройдено один раз, оно будет всегда с положительным исходом.
  • Как результат, я прошел все собеседования и принят на испытательный срок.

Чем понятнее и лаконичнее отчет о падении, тем внимательнее его изучат. Чем проще архитектура, тем больше тестов будет написано и тем меньше времени будет занимать написание нового. Очень важно не принимать за аксиому то, что если какое-либо действие было пройдено один раз, оно будет всегда с положительным исходом. Smoke-тесты позволяют постоянно проверять, что основные функции не пострадали с течением времени или не были поломаны в течение долгого периода. Smoke-тестирование помогает убедиться, что ни одна из основных и очевидных неудач не оставлена на волю случая.

Ежедневные дымовые тесты

Один день закладывается на регрессионное тестирование, второй на smoke. Остальное время на разработку новых фич, исправление дефектов, написание и обновление документации, улучшение процессов. При наличии ошибок портала релиз-менеджер проверяет эти кейсы вручную и принимает решение об откате или об успешном завершении установки (если, например, «моргнул» тест). Важная особенность – это написание своих тест-кейсов. И главная причина – это свежий взгляд на процесс, его ключевые точки и особенности реализации.

☑ Проверить, что загруженные документы открываются правильно. ☑ Проверить, что будет, если удалить куки, находясь на сайте. ☑ Проверить, что будет, если удалить куки после https://deveducation.com/ посещения сайта. ☑ Все данные в списках в хронологическом порядке. Внедрять тестирование на прод среде или нет – это решение, направленное на повышение качества продукта.

Понравилась статья? Поделитесь впечатлениями или расскажите о вашем опыте.

Потому что каждой задаче – свой инструмент. Зачем нам полноценный браузер, если проверить нужно только код ответа? Мобильная версия живёт по тому же урлу, то чтобы её получить, нужно подставить в заголовки запроса user-agent строчку нужного мобильного устройства. С одной стороны, есть много разных представлений смоук тестирование нашей главной страницы Яндекса (десктопная, мобильная, тачевая, для телевизоров и т.д.). Даже если код менялся только для десктопа, сопутствующие изменения в конфигах могут разломать, например, мобильную морду. Ходить по всем и проверять что они живы – довольная скучная задача, которая легко автоматизируется.

Когда проводится smoke-тестирование

Тренируйтесь и находите наиболее удобный для вас подход. Например, мы хотим проверить, как отзыв отображается в списке отзывов образовательного курса – какие поля с какими значениями выводятся для любого отзыва в списке. Для каждой группы опционально можно указать общие предусловие или тестовые данные. Или просто добавить более подробное описание назначения группы проверок. Сначала заполняется шапка с названием и описанием чек-листа. Здесь же можно дать ссылку на требования (документ, задачу в системе управления проектами, макет и т.д.) и указать текущий статус готовности.


Posted

in

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *