В ходе исследования, организованного CNews Analytics и «Перфоманс Лаб», было опрошено 274 компании из различных отраслей: банки и страховые компании, госсектор, телеком, ИТ и интернет, ритейл, промышленность, строительство, транспорт, ТЭК и др. Исследование показало, что бюджеты предприятий на тестирование и обеспечение качества ПО (программное обеспечение) в России в 2–3 раза меньше, чем в среднем в мире.

Так, по данным отчета World Quality Report 2014–2015, бюджет, выделяемый на тестирование и обеспечение качества программного обеспечения, в период с 2012 по 2014 гг. вырос с 18% до 24% от ИТ-бюджета и, скорее всего, продолжит увеличиваться – до 29% к 2017 г. В России в таких отраслях, как госсектор, транспорт и страхование, затраты на QA (quality assurance, обеспечение качества) не превышают 7% от ИТ-бюджета, в ритейле и телекоме они составляют 7–10%, в финансовом секторе колеблются от 10% до 20%. Таким образом, банковский сектор занимает лидирующую позицию с точки зрения зрелости процессов тестирования и обеспечения качества.

Доля затрат на тестирование и обеспечение качества в ИТ-бюджете российских компаний

Источник: CNews Analytics, 2015

Центры компетенций по тестированию – новая тенденция рынка

В среднем в мире, по данным World Quality Report, процент организаций, внедривших центры компетенций по тестированию (TCoE – Testing Center of Excellence), вырос с 4% в 2011 г. до 26% в 2014 г., при этом планируют внедрение TCoЕ еще 24% респондентов. В России тенденция по внедрению центров компетенций по тестированию присутствует в не меньшем объеме: 25% респондентов сообщили, что в их организациях произошли все организационные изменения для создания центров компетенций по тестированию, еще 30% из тех, у кого нет TCoE, планируют его внедрение в ближайшие несколько лет.

Несмотря на существенное количество центров компетенций по тестированию, большинство из них не являются достаточно зрелыми для непосредственной демонстрации ценности для бизнеса. Наиболее распространенными критериями для оценки эффективности работы отдела тестирования или TCoE являются качественные показатели, такие как количество найденных дефектов (49%), количество проблем, обнаруженных после установки на промышленные стенды (37%), сокращение потерь за счет предупреждения ошибок (30%) и процент покрытия требований к системе (28%). Лишь незначительная часть компаний использует метрики, связанные с сокращением времени вывода нового продукта на рынок (10%), а также оценивает затраты тестирования по стоимости обнаружения одного дефекта (5%) и средней стоимости одного тест-кейса (2%).

Показатели, применяемые респондентами для оценки качества тестирования

Источник: CNews Analytics, 2015

Нечастое использование организациями системы метрик, учитывающей качество, сроки и стоимость процесса тестирования, приводит к тому, что руководители не всегда понимают необходимость реорганизации процесса тестирования и создания полноценного центра компетенции по тестированию.

У большей части респондентов (59%) тестирование выполняется на этапе внедрения, что позволяет контролировать качество внедряемых изменений путем нахождения и исправления дефектов в разработанном программном продукте. Практика привлечения отдела тестирования для обеспечения качества всех этапов жизненного цикла программного обеспечения также присутствует в российских компаниях. 14% и 11% респондентов привлекают специалистов по тестированию на этапах планирования и сбора требований, что позволяет сокращать время тестирования за счет повышения качества продукта на более ранних стадиях. Чем ближе стадия жизненного цикла программного обеспечения к завершению, тем чаще привлекают отдел тестирования для контроля качества.

Тестирование на разных этапах жизненного цикла ПО

Источник: CNews Analytics, 2015

Исследование выявило, что многие российские организации, имеющие отдел тестирования и контроля качества, предпочитают использовать международные стандарты и методологии, при этом очень часто совмещая несколько из них одновременно. Только 15% организаций сообщили, что не используют никакие методологии для организации процесса тестирования в своей деятельности. Тем не менее большая часть респондентов (46%) используют методологии COBIT и RUP, которые затрагивают процесс тестирования только поверхностно и не позволяют правильно организовать его внутри отдела тестирования. Требования стандартов ГОСТ и ISO применяют в своей практике 38% опрошенных, что в большинстве случаев связано с внутренней политикой организации, требующей соблюдения российских стандартов в области ИТ.

Используемые методологии тестирования

Источник: CNews Analytics, 2015

Методологии TMMI и TPI, которые в последнее время набирают популярность во всем мире, используют по 18% респондентов. В связи со спецификой деятельности своих организаций, многие респонденты (26%) сообщили, что для их работы не подходят существующие стандарты в области тестирования и обеспечения качества, поэтому они разработали собственную методологию, удовлетворяющую их требованиям. Методологию ОПТ, предлагаемую компанией «Перфоманс Лаб», используют 2% респондентов наряду с такими методологиями, как SW-TMM (2%) и TDD (5%).

Agile в России

По результатам международных исследований, на мировом рынке распространение Agile-разработки составляет 93%, в то же время для российского рынка этот показатель составляет около 43%. Среди первых и главных пользователей Agile в России остаются системные интеграторы, провайдеры информационных сервисов, крупный ритейл и банки.

Длина итераций (спринтов) у опрошенных варьируется от 1 дня (3%) до 2–3 дней (8%), 4–7 дней (35%). Однако у большинства – 54% респондентов – она равна 14 дням. Данное распределение согласуется с де-факто стандартом длины итерации (спринта), рекомендуемым методологией Agile. При размещении команд большинство респондентов (37%) ориентируются на общее открытое пространство, что согласуется с принципами Agile, говорящими о тесном взаимодействии между участниками процесса разработки ПО, предпочтительно в формате личного разговора. Однако 21% опрошенных готовы к их удаленному взаимодействию, что расходится с этим принципом.

Полный цикл регрессионного тестирования успевают провести, по данным опроса, 66% респондентов. Это говорит о низком уровне применения автоматизации тестирования, а также о возможно неверном планировании сроков выполнения фаз анализа, разработки и тестирования программного обеспечения. По данным опроса, в России 59% организаций используют практики автоматизации тестирования в рамках проектов Agile, что лишний раз свидетельствует о важности применения автоматизированного тестирования при необходимости обеспечивать высокую итеративность разработки, но при этом показывает низкую зрелость процесса Agile-разработки в России.

Лишь 29% респондентов автоматизировали минимальный набор тестов на явные ошибки, что свидетельствует о низком уровне понимания, как использовать автоматизацию тестирования, и недостаточной квалификации специалистов по автоматизированному тестированию в области обеспечения качества. Одновременно только 7% команд используют практики разработки через тестирование. Если же посмотреть на внедрение автоматизированных процессов в жизненный цикл разработки, то тестирование сборки проводится у 8% респондентов, модульное тестирование – у 16%, автоматизированное развертывание и тестирование установки – у 14%, а наличие регрессионных авто-тестов имеется у 26%, что в явном виде показывает низкое развитие практик DevOps и перспективу к их развитию.

Применение автоматизации тестирования в разработке ПО

Источник: CNews Analytics, 2015

Таким образом, результаты исследования показали, что требования бизнеса, связанные со своевременным и качественным предоставлением услуг клиентам, заставляют многие организации пересматривать свой процесс тестирования и искать решения, зачастую требующие внедрения инновационных решений и методологий, тем самым создавая хорошие предпосылки для дальнейшего развития тестирования в России.

Полную версию отчета по исследованию можно посмотреть здесь.