Подобным же образом действовали тогда (и продолжают действовать сейчас) поставщики любых ИТ-услуг, для которых местонахождение конкретного исполнителя не имеет значения для получателя результата оказания услуги. В настоящее время судьба ДК в реорганизованном «СберТехе» непонятна. Непрямые продажи услуг тестирования в государственном секторе.

Для EPAM Systems была применена консервативная оценка – 1 млн рублей в год на тестировщика, что соответствует стратегии компании, формирующей команды из специалистов как из Москвы и Петербурга, так и из региональных центров, где уровень затрат ниже столичных. Нынешняя нагрузка на эти системы несопоставима с нагрузкой на бизнес-критические системы банков, но усилия регуляторов по приданию этим системам статуса инфраструктурных в рамках цифровой экономики безусловно приведут к повышению требований по функциональности, надежности и доступности. Пока с текущим развитием и тестированием этих систем более-менее справляется закрытый «клуб» разработчиков, регулярно выигрывающих конкурсы в рамках госзакупок.

Пример сценарного метода, тестирующего вставку элемента в очередь с приоритетамиВ целом тестовый сценарий описывает итераторы для всех методов данного класса, однако каждый раз разработчик теста решает только локальную проблему — как перебрать входные параметры одного-единственного метода. Общую задачу — как организовать последовательность вызов; как нужное число раз вернуться в одно и то же состояние, чтобы провести испытание еще для одного метода, еще для одного значения параметра; когда остановиться, чтобы не делать лишней работы — все это берет на себя инструмент. Разработка моделей и спецификаций связана с «математизацией» программирования. Попытки использовать различные математические подходы для конструирования и даже генерации программ предпринимались с первых лет возникновения компьютеров. Относительный успех был достигнут в теории компиляторов, реляционных баз данных и в нескольких узкоспециальных областях; серьезных результатов в большинстве практических областей достичь не удалось.

Начальной точкой отсчета истории рынка следует считать 1998 год, когда была создана первая компания, представлявшая только аутсорсинговые услуги тестирования ПО. Таким образом, в этом году у рынка тестирования юбилей – 20 лет. Но по факту (и юридически) это аутсорсинг на условиях T&M с длительным сроком оказания услуг и формированием реального объема услуг на основании спецификаций, поступающих от заказчика. Основной причиной именно такой формы работы является невозможность точного определения трудоемкости проекта до ознакомления с системой и начала тестирования, из-за чего оказание услуг по фиксированной стоимости аутсорсингового контракта не представляется возможным. Полностью реализованный программный продукт подвергается системному тестированию. На данном этапе тестировщика интересует не корректность реализации отдельных процедур и методов, а вся программа в целом, как ее видит конечный пользователь.

Тестирование По

Таким образом, объемы выручки компаний-разработчиков дополняют объемы выручки компаний-провайдеров, практически не пересекаясь с ними на общих проектах и заказчиках. Все большее число заказчиков – в основном, крупные банки, следующие примеру Сбербанка, но и не только они – переходят на разработку в методологии Agile/DevOps. Интернет-ориентированные ИТ-компании меньшего размера (интернет-торговля, сервисы на основе ИТ-платформ, мобильные приложения) уже сегодня потребляют аутсорсинговые услуги тестирования и, в принципе, могли бы стать новыми драйверами рынка, но их удельный вес в общей структуре экономики не так уж велик. Поэтому даже существенный рост в рамках потенциального сегмента вряд ли как-то кардинально скажется на объеме рынка разработки и тестирования. Поскольку стратегия Сбербанка по созданию новой технологической платформы, являющаяся одним из главных драйверов рынка услуг тестирования (и не только его), рассчитана до 2020 года, провайдеры, работающие со Сбербанком, могут расценивать свои бизнес-перспективы на ближайшие два года как достаточно стабильные.

Один из вариантов классификации видов и методов тестирования, привязанной к модели качества ПО и целям тестирования, приведен на Рис.1. Провести тестирование функционала CRM при взаимодействии со смежными системами. Отсутствие автоматической генерации собственно теста (это касается как входных воздействий, так и эталонных результатов или автоматических анализаторов корректности реализации). Новый всплеск интереса к формальным методам произошел в первой половине 90-х.

После проведения тестовых испытаний экспертной группой журнала «Авторевю» были сделаны следующие выводы. Для двоих пассажиров комфортно и в Polo, там больше места над головой. Есть в ней и мелкие удобства – крючки для одежды, карманы на дверях, подбутыльники. Все четыре автомобиля комплектуются подушками безопасности, но их только по две, для водителя и пассажира переднего кресла.

Количественные Показатели Рынка

Также проводится оценка чувствительности, в том числе к риску ликвидности и риску концентрации кредитования на отдельных отраслях экономики. Сопровождение клиента во время проведения приемочных тестов (заведение дефектов, отслеживание корректности и скорости выполнения тестирования). Возможно проведение приемочного тестирования полностью силами специалистов «Апланы», в таком случае услуга ничем не отличается от ручного функционального тестирования. В UniTesK используется единая архитектура тестов, подходящая для тестирования систем различной сложности, относящихся к разным предметным областям, и обеспечивающая масштабируемость тестов. Компоненты тестов, требующие написания человеком, отделены от библиотечных и генерируемых автоматически (см. рис. 4).

От этих интернет-гигантов, скорее, можно ожидать возможного выхода на рынок услуг тестирования в качестве провайдеров, но не в качестве заказчиков. Именно поэтому в 2015 году состоялся первый мегаконкурс Сбербанка по заказу услуг тестирования, а год спустя – второй. 3 видно, что основной как строить коммуникацию тестировщику компонент объема рынка – прямые продажи услуг тестирования – достаточно стабильно увеличивался от года к году. Эта стабильность, конечно, была обеспечена, в первую очередь, Сбербанком, и достаточно резким наращиванием объемов тестирования в объединенном ВТБ / ВТБ24 (см. Табл. 4).

Макропруденциальное Стресс

Кроме того, аутсорсинговая модель дает возможность черпать трудовые ресурсы в регионах, где обычно стоимость их существенно ниже, чем в Москве. Показательно, что существует концепция, объединяющая в себе разработку и тестирование – «Разработка, управляемая тестированием (Test-driven development)». По сути, это не столько техника тестирования, сколько стиль организации процесса разработки, жизненного цикла, когда тесты являются неотъемлемой частью требований (и соответствующих спецификаций). Обычно такое смешение и взаимозамена терминов происходят в маркетинговых публикациях, в названиях тематических мероприятий, в общении в рамках профессионального сообщества. Стресс-тестирование проводится в отношении крупнейших финансовых групп, на которые в целом приходится более 80% активов финансовой системы.

• В октябре 2018 года Банк России опубликовал Проект Указаний по расчету показателя долговой нагрузки микрофинансовыми организациями (см. Пресс-релиз).
• Для описания характеристик системы можно воспользоваться несколькими моделями в рамках нескольких формализмов.
• В разделе 6 «Сбербанк России – стратег на рынке тестирования ПО»).
• Таким образом, расчетные затраты ДИТ Москвы на тестирование ежегодно составляют порядка 0,7-1 млрд рублей.

Многие провайдеры услуг, рассматриваемые в данном обзоре, имеют не только региональные офисы в России, но и зарубежные представительства. Такие гиганты, как Luxoft Professional и EPAM Systems, вообще являются открытыми публичными компаниями со штаб-квартирами на Западе, и для них Россия всего лишь один из регионов присутствия (и далеко не самый большой с точки зрения выручки. Хотя негативный сценарий (стагнация или сокращение спроса) для российского рынка тестирования выглядит как маловероятный, совсем исключать его из рассмотрения не стоит. Более того, заказчика такого масштаба не смогут «переварить» и несколько объединившихся в пул провайдеров – из-за той же самой нехватки кадров.

Тестирование На Основе Моделей

Отчасти это действительно так, описанные в литературе примеры представляются либо простыми, но бесполезными, либо чересчур сложными и насыщенными какой-то непонятной математической терминологией. На самом деле сложность применения этого подхода преувеличена, она определяется сложностью используемых моделей, а их можно сделать достаточно простыми и при этом всё равно получить некоторые выгоды. Я покажу некоторые примеры, которые помогут вам понять, чем и когда может оказаться полезно тестирование на основе моделей, если у вас уже есть разработанные достаточно хорошие автотесты — как тестирование на основе моделей позволит вам сделать их ещё лучше.

Экономика Проектов Тестирования

Разработаны модели, которые связывают макропоказатели с финансовыми показателями компаний, и модели, связывающие финансовые показатели компаний с кредитным качеством ссуд. Такой подход позволяет более корректно оценивать кредитный риск, поскольку для каждого банка рассматривается именно его кредитный портфель, учитывается отраслевая специфика. Полученные оценки кредитного риска нефинансовых организаций также являются входными параметрами при анализе рыночного риска участников стресс-теста — в частности, определяют кредитные спреды по облигациям. Есть также еще один сегмент, который не рассматривался в обзоре – интернет-компании. Крупнейший игрок этого рынка Яндекс ведет разработки ПО в больших объемах, но преимущественно сам же весь этот объем разработки и тестирует; аналогичная ситуация – с Mail.Ru Group.

Зачем Нужен Аутсорсинг Тестирования?

Видно, что по стажу на рынке компании достаточно четко делятся на группы “ветеранов” и “новичков” (к “новичкам” относятся компании, созданные после 2011 года). Но при этом нужно помнить, что некоторые “новички”, на самом деле, являются дочерними структурами “ветеранов” (например, ИЦ «Ай-Теко») и по опыту своего персонала ничем не уступают последним. С другой стороны, у ряда “ветеранов” направление тестирования достаточно долго могло находиться в “следящем” режиме, и его активизация произошла относительно недавно, вместе с ростом рынка. С 2018 года НПФ будут обязаны проводить стресс-тестирование bottom-up, в 2017 году Банк России опубликовал параметры стресс-тестов и предложил рынку провести пробное тестирование. Также в последние годы проводилось развитие отдельных элементов секторального стресс-теста для целей финансовой стабильности.

Описаны опыты использования IID с длиной итерации всего в полдня. Каждая итерация завершается выдачей новой версии программного обеспечения. На каждой версии уточняются (и, возможно, меняются) требования к целевой системе и принимаются меры к тому, чтобы удовлетворить и новые требования. Стандартизованная схема жизненного цикла с четкой регламентацией необходимых работ и с перечнем соответствующей документации легла в основу так называемой «водопадной» или каскадной модели.

Важной составляющей этого инструмента является механизм проверочных «утверждений» . При помощи утверждений можно сформулировать требования к входным и выходным данным функций/методов классов в форме логических условий, в аналогичной форме можно задавать инвариантные требования HTML к данным объектов. Аппарат утверждений позволяет систематическим образом представлять функциональные требования и на базе этих требований строить критерии тестового покрытия (правда, Test RealTime автоматизированной поддержки анализа покрытия не предоставляет).

Основные Метрики И Гипотезы, Использованные Для Оценки Рынка

Исследование, проведенное Национальным институтом стандартов и технологии США, показало, что размер убытков, связанных со сбоями в программном обеспечении, можно уменьшить примерно на треть, если вложить дополнительные усилия в инфраструктуру тестирования, в частности, в разработку инструментов тестирования. Такой агрессивный рост был обусловлен начавшейся в 2015 году разработкой новой технологической платформы Сбербанка, включающей 3 компонента – Единую фронтальную систему (ЕФС), Платформу поддержки развития бизнеса (ППРБ) и «Фабрику данных». Полный перевод на новую технологическую платформу клиентов, продуктов и данных планируется завершить в 2020 году. Образ астрономической «черной дыры» неслучайно применен к «карманным» инсорсерам госкорпораций. Понятно, что госкорпорации для своего нормального функционирования нуждаются в крупной и сложной ИТ-инфраструктуре.

В ходе опроса при подготовке обзора практически все компании отметили факты перекупки специалистов Сбербанком с предложением существенно большего (примерно в 2 раза выше рыночного) уровня окладов. К оценке, полученной для федеральных ведомств было решено добавить оценку для крупнейшего регионального ИТ-ведомства – ДИТ Москвы. Годовой бюджет ДИТ в 2016 году составлял более 30 млрд рублей, а в 2017 году превысил 45 млрд рублей. По структуре html язык программирования бюджет ДИТ практически аналогичен суммарному бюджету федеральных ведомств, поэтому можно принять, что на создание и развитие региональных ГИС расходуется – в процентном отношении – такая же доля бюджета, что и на федеральном уровне (15%). Доля тестирования в этом бюджете развития также может быть принята на уровне 15%. Таким образом, расчетные затраты ДИТ Москвы на тестирование ежегодно составляют порядка 0,7-1 млрд рублей.

Косвенным подтверждением этой оценки служит то, что на конкурсах, проводимых крупнейшими заказчиками, регулярно появляются (хотя, и без заметных успехов) новые компании из категории среднего и малого бизнеса (некоторые со штатом тестировщиков не более 10 человек). На сегодняшний день практически все основные игроки рынка имеют региональные офисы. Помимо решения проблемы стоимости ресурсов исполнителей, это также теоретически дает возможность реализации проектов тестирования в регионах присутствия локальных офисов. Правда, о региональных проектах по тестированию пока значимых новостей не появлялось. Для периода “низкого” рынка, каким был сегмент тестирования ПО за два года до “Большого Взрыва”, порожденного конкурсами Сбербанка, движение провайдеров услуг в регионы было вполне оправданной тактикой.

Основные Этапы Приемочного Тестирования

В условиях стабилизации российского рынка тестирования ПО практически все основные игроки рынка неизбежно столкнутся с проблемой поиска новых заказов и новых заказчиков. Западные рынки для такого поиска представляются практически единственным возможным вариантом. Заслуживает внимания опыт компании «Аплана», системно подошедшей к решению данной проблемы. Принципиально новым в этой идее было то, что слушателем университета бесплатно мог стать соискатель «с улицы», успешно прошедший входное тестирование.

Эта инфраструктура существует, развивается и эксплуатируется, получая практически 100% необходимого объема и спектра ИТ-услуг от приближенных компаний-инсорсеров. Как «черная дыра» в астрофизике не выпускает свет за свой горизонт событий, так и инсорсеры практически не выпускают ИТ-бюджеты госкорпораций за пределы своего «горизонта финансов». Единственное исключение среди инсорсеров – «СберТех», который является уникальным примером «карманного» инсорсера, широко использующего в своей деятельности аутсорсинг ИТ-услуг. Все еще в статусе потенциально многообещающих заказчиков находятся госструктуры (в основном, федерального уровня и крупнейшие региональные – Пенсионный фонд России, ФНС, ФТС, ДИТ Москвы). Несмотря на то, что крупные QA-провайдеры называют «госов» и в числе своих сегодняшних заказчиков, это выглядит, скорее, как аванс самим себе на будущее.

При записи скрипта можно делать остановки для того, чтобы указывать, какие ответы системы в конкретной ситуации надо рассматривать как правильные, какие вариации входных данных пользователя возможны и т.д. При наличии таких вариаций при очередном воспроизведении теста инструмент самостоятельно будет выбирать одну из определенных альтернатив. При несовпадении ответа системы с ожидаемым ответом будет фиксироваться ошибка. В данном виде тестирования широко применяются инструменты записи-воспроизведения (record/playback); из наиболее известных продуктов можно назвать Rational Robot (компания IBM/Rational), WinRunner , QARun . Наряду с этим существуют инструменты для текстовых терминальных интерфейсов, например, QAHiperstation компании Compuware.

Если вы не согласны с тем, чтобы мы использовали данный тип файлов, то вы должны соответствующим образом установить настройки вашего браузера или не использовать сайт. Александр Петренко, Елена Бритвина, Сергей Грошев, Александр Монахов, Ольга Петренко ( @ ispras.ru) — сотрудники Института системного программирования РАН. В принципе, этим инструментом можно пользоваться при опережающей разработке тестов, но остается нереализованной все та же функция генерации собственно тестовых воздействий — эта работа должна выполняться вручную. Нет никакой технической и методической поддержки повторного использования тестов и утверждений.

Автор: Булат Яббаров