Как все начиналось…

В 2019 году в нашей компании Solit Clouds в отделе QA назрел вопрос о смене инструмента управления тестированием (TMS). Для нас это был непростой и рискованный шаг, с точки зрения поддержания бесперебойного процесса тестирования. Как мы пришли к решению, что пора менять систему?

Существенных, хоть и банальных причин, несколько.

Причина № 1. UX и версионирование

В используемом на тот момент инструменте управления тестированием TestRail нам всегда не хватало гибкости, то есть возможности настроить инструмент под процессы, существующие в отдельном проекте, в отделе тестирования и в компании целом. Если с сотней-другой кейсов можно было справиться, то хранить десяток тысяч тестов уже сложнее (более 15 тысяч). В параллели нужно было выпускать несколько версий продуктов, что заставило принять решение о поиске альтернатив, т.к. TestRail не облегчал нам жизнь в указанных условиях.

Причина № 2. Поддержка

Время от времени мы сталкивались с проблемами сложной коммуникации, а также долгого отклика от технической поддержки. Компания, занимающаяся разработкой инструмента, не была готова к сотрудничеству в части развития своего инструмента, им это было не интересно. Все наши предложения по развитию оставались без должного ответа - общение сводилось к формальной отписке компании-разработчика.

Причина №3. Деньги

Дорого! Финансовые расходы на содержание инструмента управления тестированием возросли многократно. Это было связано с интенсивным ростом численности сотрудников отдела тестирования - в отделе на данный момент более 50 человек, а стоимость зависит от количества пользователей. А во-вторых, инструмент управления тестированием импортный, и растущий год от года курс валют делал его для нас всё менее привлекательным.

Как выбирали инструмент

Мы отчётливо понимали, что к выбору нового инструмента надо подойти ответственно, так как цена ошибки для отдела тестирования и продуктовых команд достаточно высока. Социально-значимые проекты (один из основных проектов, ЕМИАС - Единая Медицинская Информационно-Аналитическая Система, которая успешно работает в каждой поликлинике г. Москва) - наше ключевое направление, срыв срока выпуска версий из-за внутренних проблем для нас недопустим и может стоить крайне дорого.

По каким критериям выбирали новый инструмент:

• Адекватное соотношение цены и качества
• Удобный и надежный импорт тест-кейсов из других систем управления тестированием
• Возможность кастомизации инструмента под процессы отдела тестирования
• Открытость компании-разработчика к предложениям по улучшению инструмента
• Отзывчивая техническая поддержка
• Удобный, понятный и современный интерфейс
• Понятная и комфортная интеграция с автоматическими тестами
• Возможность интеграции с другими инструментами, например, с таск-трекерами

Общий список состоял более чем из 20 систем управления тестами. Мы начали подробно их анализировать и только несколько дошли до финального отбора, их функционал мы разбирали значительно глубже на соответствие нашим ожиданиям.

Затем определили наиболее подходящие системы управления тестированием, которые могли бы соответствовать установленным критериям:

• TestLink,
• Zephyr,
• Xray,
• QaSpace

Будем честными, полный список требований, которые мы выбрали для себя ключевыми, не сохранился, но часть истории мы подняли, к сожалению, указанные системы на момент перехода не соответствовали большинству критериев:

1. Удобный интерфейс: Возможность форматирования текста; Быстрая фиксация результатов; Наличие "дерева" не только в структуре хранения тестовой документации, но и в тестовом прогоне.
2. Скорость работы системы, отклика UI
3. Версионирование тестовой документации
4. Архивация базы данных с кейсами
5. Возможность использования тестовых наборов в разных прогонах
6. Удобство иерархии, использование вложенных кейсоd
7. Удобный анализ дефектов, найденных по итогам прохождения тест-рана
8. Неизменность данных в тестовом прогоне при изменении кейсов после фиксации результатов прохождения
9. Возможность импорта/экспорта из системы в систему
10. Выгрузка отчетности в разных форматах
11. История изменения кейсов, возможность сравнения версий
12. Гибкость настроек: Плагины, расширяющие возможности системы; Кастомизация полей; Подключение вспомогательных инструментов для проектирования кейсов.
13. Аудит действий пользователя
14. Фиксация времени прохождения тестового прогона, общая статистика
15. Уведомления о завершении работы, изменении статуса: мессенджеры, почта, смс
16. Гибкая система поддержки, компания-разработчик, открытая к предложениям и совершенствованию
17. Возможность интеграции с JIRA и другими инструментами

Мы все проанализировали, протестировали на триалах, но в результате не смогли окончательно определиться и выбрать инструмент, который подошел бы нам по всем параметрам. Самым близким по критериям оказался Testlink, если бы не слабая техподдержка продукта с открытым исходным кодом и недружественный интерфейс.

Поиски подходящего инструмента продолжались около года…

Случайно в одном из профессиональных сообществ мы познакомились с ребятами из российского стартапа Test IT, они в 2019 году только начинали свой путь и готовили первый релиз своего одноименного инструмента, но коммерческих клиентов у компании ещё не было. Мы и так уже перепробовали весь мировой рынок тмс-ок, поэтому попробовать еще одну - решить было несложно. После обсуждения возможных планов сотрудничества мы решили рискнуть и попробовать пилотное внедрение.

Те, кто это читает, сейчас подумали: ну вот, опять реклама. Спешим вас расстроить… Test IT настолько порадовали нас своей открытостью и тем, что приняли решение тягаться с перечисленными гигантами, что мы написали статью! Нам правда жаль, что многие о них еще не слышали.

Чем порадовала система Test IT и компания-разработчик?

Приведем лишь часть важных аргументов:

• Открытость и готовность команды Test IT улучшать свой продукт, учитывая наши пожелания.
• Обширная функциональность Test IT при сравнительно выгодной стоимости: совмещение ручных и автоматических тестов, удобная библиотека для хранения тестовой модели, API, интеграция с JIRA, возможности аналитики.
• Высокий уровень организации решения возникающих проблем, грамотная техническая поддержка.
• Возможность миграции тестовой документации из текущей системы управления тестированием.
• Приятный и современный интерфейс.

Как внедряли инструмент в компании

Мы разработали план постепенного перехода отдела на новую систему управления тестированием.

Во-первых, после пилота определили список критичных для полноценного старта работы в Test IT доработок и передали его разработчику TMS. Эти отзывы помогли компании Test IT усовершенствовать инструмент, выпустить обновления и пополнить ряды своих клиентов.

Во-вторых, составили дорожную карту перехода продуктовых команд на новую систему управления тестированием. На тот момент отдел тестирования трудился одновременно более чем над 15 продуктами, а мы понимали, что задержки при выполнении производственных задач недопустимы. Переход должен был быть практически бесшовным.

В-третьих, специалисты из Test IT рассказали про возможности новой системы управления тестированием и сопровождали в процессе перехода от начала и до конца.

Переход состоял из трех этапов миграции кейсов, и в общей сложности занял 4 месяца.

А что сейчас?

После завершения последнего этапа миграции тест-кейсов и полного внедрения Test IT прошло полтора года. И мы готовы поделиться своими впечатлениями о ежедневном использовании Test IT TMS.

Самое главное, что мы отметили для себя это то, что Test IT - живой и развивающийся продукт. Конечно, остаются моменты в Test IT, которые нужно улучшать и внедрять.

Например:

• Версионирование тест-кейсов - на текущий момент реализовано в виде истории изменений с подсветкой диффов и откатом версии, но в планах у разработчиков довести до полноценной аналогии GIT;
• Интеграция с автотестами, в т.ч. не совсем гибкая в настройке, которая усложняется постоянными изменениями;
• Структура ответов API местами бывает избыточна;
• Периодические проблемы с производительностью, в большинстве своём, решенные, и в настоящее время команда-разработчик реализует масштабный проект по нагрузке, что до конца года снимет проблему в полном объёме.

Даже глядя на этот список, можно увидеть, что команда Test IT много сил вкладывает в развитие своего продукта и готова дальше продолжать делать его только лучше. И тем самым помогать становиться лучше каждому продукту, который тестируется с помощью Test IT.

Спасибо, ребята!

В заключении хотим привести частные мнения наших специалистов по тестированию о работе в Test IT. Успешная работа с большим количеством продуктов и проектов, а также приведенные ниже отзывы подтверждают, что выбранная система управления помогает нам качественно решать задачи, поставленные перед отделом тестирования: