No Image

Тестирование платформ что это

СОДЕРЖАНИЕ
0 просмотров
22 января 2020

Чтобы оценить знания сотрудников, многие компании используют бумажные вопросники и проверяют ответы вручную. Это просто, если вы тестируете команду одного отдела.

Куда сложнее проверить сотрудников из всех филиалов сразу. Тогда бизнес-тренеры, как правило, отправляются в длительное турне по регионам — аттестация затягивается на несколько месяцев.

Система тестирования поможет быстрее просканировать знания сотрудников и сама составит отчёты по их успеваемости. Разбираемся, какие системы тестирования есть на российском рынке, кому подходят и сколько стоят.

Что такое система тестирования и оценки персонала

Это программа, в которой можно собрать тест или опрос, назначить сотрудникам и быстро получить результаты.

Как работает

Вы собираете тест. Программа отправляет ссылку на задания сотрудникам. Они отвечают на вопросы в удобное время с компьютера, планшета или телефона.

На выходе вы получаете подробный отчёт: кто прошёл тест, какой балл набрал и какие ошибки допустил. При этом не важно, сколько человек вы тестируете — пять, десять или целый департамент.

Типы систем тестирования

Системы тестирования делятся на два типа: коробочные и облачные. Коробочные устанавливают на сервер компании, а облачные работают через интернет — достаточно создать аккаунт.

Чтобы не прогадать с выбором, для начала определите возможности и бюджет. К примеру, в компании ещё нет сервера, на который установят программу. Нет и специалиста, который этим займётся. Тогда вам больше подойдёт облачная версия.

Если компании критически важно, чтобы информация хранилась в её базе данных, присмотритесь к коробке.

Ниже мы разберём четыре системы тестирования и аттестации персонала, популярные в России.

Сравнительная таблица систем тестирования

Система Тип Особенность Цена
1. SunRav Web Class Коробочная версия Площадка для хранения готовых тестов. Чтобы создавать задания, понадобится отдельный конструктор tMaker. 29 000 рублей за лицензию.
2. iSpring Облачная версия Платформа тестирования и дистанционного обучения для бизнеса. Автоматизирует аттестацию обучения и помогает перевести очные тренинги в онлайн-формат. от 82 рублей в месяц за пользователя.
3. StartExam Облачная версия Есть метод 360 градусов. от 6 000 рублей в месяц.
4. Indigo Облачная и коробочная версии Недорогое решение. Можно создавать тесты, анкеты и отслеживать результаты от 1 000 рублей в месяц.

Сравним системы тестирования по 9 критериям

  1. Пробная версия. Есть ли у системы тестовый период и что нужно сделать перед началом работы.
  2. Возможности. Можно ли создавать психологические тесты, проводить оценку 360 градусов и опросы лояльности сотрудников.
  3. Вид системы. Система работает через интернет или её нужно установить на сервер.
  4. Интерфейс. Насколько просто выглядит панель управления и сложно ли разобраться в настройках.
  5. Брендирование. Можно ли подогнать дизайн системы тестирования под брендбук компании.
  6. Типы тестов. Какие типы тестов и заданий позволяет создать система.
  7. Особые опции. Какие возможности есть у системы кроме создания тестов.
  8. Статистика. Какие данные о результатах тестирования система передаёт администратору.
  9. Цена. Сколько стоит и как строится ценообразование.

1. SunRav Web Class — простая система опроса и тестирования

SunRav Web Class — сервис от компании SunRav Software для онлайн-аттестации сотрудников.

Описание SunRav WEB Class

  1. Пробная версия. Вы получите доступ к программе после регистрации на сайте.
  2. Возможности. Web >

Обзор возможностей SunRav WEB Class

Кому подходит SunRav WEB Class

Подходит больше всего Не подходит
У вас ограничен бюджет. Нужна оценка 360 градусов.
Нужна программа, которую устанавливают на сервер. Нужна система аналитики, которая проверяет результаты тестов.
Нужно облачное решение.

Клиенты SunRav Software

Согласно официальному сайту, продуктами компании пользуется Орловчкая региональная академия государственной службы, МВД России и Сбербанк.

2. iSpring — платформа для онлайн-обучения и тестирования и сотрудников

iSpring помогает поставить аттестацию в компании на автопилот. Вы создаёте тест на платформе и назначаете его сотрудникам. Они решают задания в свободное время с компьютера или мобильного телефона. iSpring проверяет ответы и показывает в отчётах, кто набрал проходной балл и какие ошибки в тесте допустил. Оценивайте уровень подготовки каждого сотрудника в реальном времени и, если нужно, принимайте меры.

Обзор возможностей iSpring

iSpring — интернет-сервис. Не нужно устанавливать его на свой сервер и привлекать IT-специалистов для настройки. Создаёте аккаунт и тестируете сотрудников.

Платформа также помогает обучать онлайн все филиалы и служит единой базой знаний компании, куда можно загрузить неограниченное количество учебных материалов.

Описание iSpring

  1. Пробная версия. У iSpring есть бесплатная пробная версия на 14 дней. Чтобы её получить, заполните форму на сайте: имя, почта и номер телефона.
  2. Возможности. В iSpring встроен мощный конструктор для создания опросов, психологических тестов и тестов на проверку знаний.
  3. Виды тестов. В iSpring можно собирать опросы, психологические тесты и тесты на проверку знаний. В вашем распоряжении 14 типов заданий: на соответствие, выбор одного или нескольких вариантов ответа, выбор области, drag-and-drop, последовательность.
  4. Особые опции. Вы можете изменить дизайн каждого вопроса и задать правила тесту: установить баллы и штрафы, автоматически перемешивать задания перед тестированием, указать количество попыток и ограничить время ответа на каждый вопрос, чтобы сотрудники не списывали.
  5. Формат платформы. iSpring работает через интернет. Тестируйте и обучайте сотрудников онлайн сразу после регистрации.
  6. Уровень сложности интерфейса: 1 из 5.
  7. Брендирование. Вы можете оформить платформу под корпоративный стиль: добавить логотип, изменить цвета и URL-адрес.
  8. Статистика. В iSpring доступно 15 типов отчетов. Платформа самостоятельно проверяет, какие варианты ответа выбирают ваши сотрудники по каждому заданию, в каких вопросах они допускают ошибки, какие результаты получают и сколько времени в целом тратят на тест. Всю информацию система собирает в отчёты, которые можно скачать в excel-формате.
  9. Цена. Вы платите за количество пользователей. Цена за одного пользователя — 82 рубля в месяц. Минимальный пакет — 12 человек.

Кому подходит iSpring

iSpring подходит компаниям, которые регулярно проводят аттестацию. Платформа поможет быстро протестировать сотрудников, найти их слабые места и тут же закрыть пробелы в знаниях, назначив для изучения тесты, видеоуроки и курсы.

Управлять платформой может один человек, к примеру, менеджер по обучению или HR-специалист.

Подходит больше всего Не подходит
Планируете обучать и тестировать сотрудников дистанционно. Ищите коробочную систему тестирования.
Не хотите устанавливать систему на сервер компании. Хотите хранить результаты тестов в базах данных компании.
Хотите автоматизировать аттестацию .
У вас много филиалов — обучать сотрудников очно сложно.

Клиенты iSpring

Платформу используют как крупные корпорации, так и средний бизнес. Среди клиентов Johnson & Johnson, Redmond, «Яндекс», «Додо Пицца», «Альфа Капитал» и мясоперерабатывающий завод «Богородский»

3. StartExam — система онлайн-тестирования в аккуратном дизайне

StartExam — разработка «Милдсофт». В 2006 году руководство компании решило тестировать сотрудников, но не нашла подходящего решения на рынке и разработало своё.

Обзор возможностей StartExam

В StartExam включен конструктор тестов, центр тестирования и аналитики, который автоматически проверяет ответы сотрудников.

Описание StartExam

  1. Пробная версия. Чтобы получить доступ к StartExam, нажмите кнопку «Демо-доступ» и заполните форму на сайте: имя, номер телефона. С вами свяжется менеджер компании и отправит пароль от системы после подробного интервью: что за компанию представляете, для каких целей нужен StartExam, сколько человек планируете тестировать. Срок пробного периода разный — все зависит от того, как договоритесь с представителем StartExam.
  2. Возможности. В StartExam встроен конструктор тестов и опросов. Есть и сервис аналитики — он проверяет ответы и собирает отчёты. В самом тесте широкий выбор настроек: можно ограничить время на выполнения заданий и число попыток, включить автоматическое перемешивание вопросы перед началом теста.
  3. Формат платформы. StartExam работает через интернет и не требует установки на компьютер.
  4. Уровень сложности интерфейса: 2 из 5. Чтобы собрать тест и провести срез знаний, достаточно посмотреть пятиминутную видеоинструкцию — всё интуитивно понятно.
  5. Брендирование. Вы можете добавить логотип, перекрасить систему в нужные цвета и даже оформить отчёты в корпоративном стиле.
  6. Виды тестов. Создавайте опросы и проверочные тесты из 9 типов заданий: единственный и множественный выбор, сортировка, соответствие, текстовый ввод, эссе, шкала Ликерта, видеоинтервью и оценка 360 градусов.
  7. Особые опции. Помимо вопросов в тест можно добавить слайды информацией. Если сотрудник ошибётся, StartExam автоматически отправит его на этот слайд.
  8. Статистика. В отчёте StartExam по умолчанию 29 полей. Среди них ФИО, дата и время теста, количество набранных баллов, оценка доверия, верификации. Выбирайте нужные параметры и отключайте лишние.
  9. Цена. Зависит о количества тестирований в месяц. Минимальный пакет — 200 тестов за 6 000 рублей.

Кому подходит StartExam

Подходит больше всего Не подходит
Планируете поставить тестирование сотрудников на поток. Ищите коробочную систему тестирования.
Хотите запустить оценку 360 градусов. Результаты тестов важно хранить в базах данных компании.
Не хотите устанавливать систему на сервер компании.

Клиенты StartExam

Согласно официальному сайту систему используют в Efes Russia, Splat и Acer.

4. Indigo — система автоматизации тестирования с простым конструктором тестов

Indigo разработала одноимённая компания в 2010 году. Система одобрена Минкомсвязью России.

Описание Indigo

  1. Пробная версия. Чтобы протестировать систему, не нужно заполнять никаких данных — достаточно скачать Indigo с официального сайта и установить на компьютер.
  2. Возможности. В Indigo вы создадите тест с пятью типами вопросов. В настройках можно ограничить время выполнения каждого задания, добавить пояснения и подсказки — система покажет правильный ответ при ошибке. Ссылку на готовый тест программа самостоятельно отправит по почте указанным сотрудникам.
  3. Формат платформы. У Indigo есть коробочная и облачная версия.
  4. Уровень сложности интерфейса: 2 из 5.
  5. Брендирование. Можно сменить логотип.
  6. Виды тестов. Их три: опрос, тест на проверку знаний и обучающий тест. Последний показывает правильные ответы, если сотрудник ошибся. Конструктор тестов предлагает создать пять типов заданий: единственный и множественный выбор, ввод ответа, расстановка в нужном порядке и соответствие.
  7. Особые возможности. Нет.
  8. Статистика. Система покажет сколько баллов или процентов набрал сотрудник, какие ошибки допустил в тесте. Отчёты в формате XLS.
  9. Цена. Зависит о количества пользователей. Минимум — 10 человек. За эту группу вы заплатите 1 000 рублей в месяц, если пользуетесь облачной версией системы. Для сервера цена за 10 человек — 10 000 рублей единовременно.
Читайте также:  Трещит газовая колонка после выключения воды

Кому подходит Indigo

Подходит больше всего Неподходит
У вас небольшой бюджет. Если нужна оценка 360 градусов. Её нет в системе
Для задач достаточно простых тестов и опросов с пятью типами заданий.

Клиенты Indigo

Систему использовали компании «Газпром», РЖД, «Лукойл», «Ростелеком» и университеты РАНХиГС, РУДН.

Выводы

SunRav Web Class устанавливают на сервер. Нет встроенного конструктора тестов — придётся докупать отдельно. Большой функционал, но сложный интерфейс — понадобится время на изучение системы. Цена — 29 000 рублей. Чаще всего систему используют вузы и центры тестирования.

iSpring — интернет-платформа для быстрого запуска аттестации и онлайн-обучения в компании. Чтобы протестировать сотрудников, достаточно создать аккаунт.

В iSpring встроен конструктор курсов с 14 типами заданий. В тесты можно добавить видео, картинки, музыку и формулы, поменять дизайн. Чтобы сотрудники не списывали, достаточно ограничить время ответа на каждый вопрос и количество попыток.

Есть мобильное приложение, которое позволяет решать тесты даже без доступа в интернет. Цена платформы — от 82 рублей в месяц за сотрудника.

Подойдёт компаниям, которые хотят регулярно проводить аттестацию и дистанционно обучать сотрудников.

StartExam — система тестирования с приятным дизайном и встроенным конструктором заданий. Работает в интернете. Можно создавать опросы, тесты и оценку 360 градусов. Цена — от 6 000 рублей в месяц. Больше подходит небольшим компаниям.

Indigo — можно установить на сервер или работать через интернет, создавая тесты с пятью типами вопросов. Есть небольшая статистика: система покажет сколько баллов или процентов набрал сотрудник, какие ошибки допустил в тесте. Отчёты в формате .XLS. Чаще всего Indigo использует госсектор и вузы.

И вот настало то время, когда нашим нуждам тестирования стало тесно на рабочем столе тестировщика. Душа попросилась в облака. На самом деле нет. Не совсем.

(спешащий читатель, можешь мотать до следующего раздела)

Мы занимаемся разработкой финансового приложения для иностранного рынка, которое доступно в разных форматах: для десктоп-браузеров (веб-сайт и расширение для Google Chrome), для мобильных браузеров, а так же в виде гибридного приложения для телефонов. В связи со спецификой приложения, мы особое внимание уделяем тестированию приложения на различных конфигурациях и устройствах. Для нас важна стабильная и безопасная работа приложения как на настольных браузерах наших клиентов, так и на их любых устройствах.

Причиной поиска облачной фермы устройств для тестирования для нас стала смена формата работы с офисного на полностью удалённый и распределённый (между городами и странами). То есть, если раньше для тестирования мы могли раньше собрать разные устройства в кучу (в буквальном смысле) и протестировать в ручном режиме за одним столом очередную сборку, то сейчас это стало сделать попросту невозможно. Более того, с ростом функционала, для уменьшения ручной работы, регрессионные наборы важных тестов мы автоматизируем, а значит, после сборки нам нужно иметь возможность позвать тесты на желаемой конфигурации и устройстве, причём лучше это сделать сразу же, как только сборка раскатится на staging.

При этом самым простым и очевидным решением является использование эмуляторов для Android и симуляторов для iOS устройств в нашем DevOps конвеере. Однако, что сравнительно легко реализуется на рабочем компьютере разработчика, для использования в облаке становится сложной и дорогой задачей. Для быстрой работы того же эмулятора Android требуется x86 сервер с поддержкой HAXVM, а для симулятора iOS — только MacOS устройство с xcode. Но, к сожалению, даже решив такую задачу остаётся вопрос с разрывом между поведением программного обеспечения на эмуляторах и реальных устройствах. Например каждый второй релиз мы ловим странные баги на Samsung устройствах, которые не воспроизводятся на эмуляторах. Ну, и, конечно редкие экзотические «китайцы» «радуют» уникальным и багами, которые тоже хотелось бы ловить ещё на этапе разработки.

В результате у нас появилось понимание необходимости использования облачной фермы мобильных устройств, на которых мы могли бы быстро прогонять свои тесты и при необходимости производить отладку в ручном режиме. И к которой был бы доступ у всей нашей команды из любой точки мира (мы любим работать даже в путешествиях).

Наши тесты написаны на Python 3.7 (далее это будет важно), как стек мы используем tox + pytest + Selenium + Appium, ну и небольшой набор полезных питонячих библиотек. Мы обязательно тестируем машины на Windows и MacOS с браузерами Edge, Firefox, Chrome, Safari, а так же устройства на Android и iOS — с браузерами и приложением. Тестов у нас на каждое устройство не сильно много (меньше тысячи), но при тестировании в один поток на устройствах полный набор выполняется пару часов. Поэтому критерием выбора сервиса для нас будет:

  • Тестирование через API (Selenium/Appium)
  • Устройства iOS, Android
  • Поддержка мобильного браузер-тестирования
  • Поддержка загрузки и тестирования приложений
  • Наличие референсного устройства (GooglePixel (Android 9) и iPhone X (iOS 12+))
  • Ручная отладка
  • Логирование (плюс скриншоты, запись видео прогона)
  • Парк устройств и их доступность
  • Среднее время выполнения теста
  • Цена

Желательно, но не обязательно:

  • Поддержка python на уровне сервиса (что бы это ни значило)
  • Поддержка десктопных устройств браузеров

За неделю я пошерстил интернет и попробовал с десяток разных сервисов. Большинство из них предоставляет бесплатное время для тестирования возможностей. Результаты моего исследования, тем более выводы носят субъективный характер. Ваше мнение и результаты могут отличатся от моего.

На Хабре я нашёл статью за 2017 год посвящённую этой же теме, но с тех пор появились и новые сервисы, да и наша задача чуть строже. Так, например, «вкусные» сервисы вроде Samsung Remote Test Lab, Firebase Test Lab, Xamarin Test Cloud нам, увы, не подходят.

Вне игры

Samsung Remote Test Lab

Сервис бесплатно предоставляет возможность попробовать поработать с различными устройствами Samsung, в том числе с самыми новыми, включая телевизоры или умные часы на Tizen (ограничение — максимум 10 часов в день, за день сервис бесплатно выдаёт 10 кредитов, что равно 2,5 часам в день, минимальная сессия — полчаса (2 кредита)). Это очень неплохо для отладки и поиска корневых причин возникновения ошибок на определённых устройствах, сервис даже предоставляет доступ к удалённой отладке (remote debug bridge, доступ к консоли и системным логам), но, к сожалению, сервис не предоставляет API-доступ к устройствам. Единственная возможность «автоматизировать» — это записать пользовательские действия и затем их воспроизвести в местном средстве автоматизации.

Firebase Test Lab

Сервис от Google позволяет бесплатно (не совсем) протестировать своё приложение на устройствах под управлением Android и iOS. Но есть один нюанс — сервис требует использования либо нативных средств автоматизации (UIAtomator2 и Espresso для Android и XCTest для iOS), либо с помощью автоматических пауков (crawler) для Android — Robo Test и Game Loop Test. То есть использовать UIAutomator и Selenium увы, не выйдет. Что же касается бесплатности — бесплатный пакет ограничен 10 тестами на эмуляторах и пятью на реальных устройствах в день. Если нужно больше, то за каждый дополнительный час придётся заплатить еще $1 и $5 соответственно. В целом для наших задач это было бы неплохим выбором, если бы мы писали тесты с нуля, но перерабатывать несколько сотен тестов уже совсем не хочется — это попросту дорого. Да и получается, что нам пришлось бы сильно разойтись в тестах между десктоп-версиями и мобильными, что сильно усложнит поддержку.

Visual Studio App Center

Бывший Xamarin Test Cloud. Этот сервис наконец-то поддерживает Appium и позволяет проводить тестирование на тысяче разных устройств. Но, как и в случае с другими продуктами Microsoft жёстко прибит гвоздями к родному стеку, что значит, что для использования данного сервиса от вас потребуется как наличие VisualStudio, так и требование писать проект и тесты исключительно на Java. Но если вдруг у вас Java-стек (c MS VS), то цена вопроса — $99 за слот девайса в месяц, что сравнительно либерально.

Сервисы на выбор

AWS Device Farm

Пожалуй, самая мощная ферма для тестирования на виртуальных и реальных устройствах на сегодняшний день (более 2500 устройств). Для нас это был приоритетный сервис, так как наши сервисы как раз развёрнуты в облаке AWS, кроме того, цены за минуту времени устройства начинаются от 17 центов. AWS позволяет работать как с нативными фреймворками, так и с Appium, Calabash, и другими фреймворками автоматизированного тестирования. Помимо автоматизированного тестирования, сервис предоставляет возможность ручной отладки. Ну и 1000 минут «на попробовать» — это очень заманчиво. Однако, дьявол как водится, кроется в деталях. С точки зрения тестирования у AWS есть несколько особенностей.

Мы, как я уже упомянул, используем Python 3.7, однако AWS Device Farm до сих пор работает с Python 2.7.6 (см. мануал здесь). И из коробки ничего не знает про tox. Для нас это означает отсутствие ряда возможностей и необходимость переработки части тестов для обеспечения обратной совместимости, так и создания окружения в обход tox. Кроме того, достаточно странный механизм загрузки тестового пакета (архив) подразумевает так же и загрузку приложения для тестирования. В нашем случае, если мы будем тестировать наш сервис через мобильный браузер, то загрузка приложения — лишний шаг. Впрочем, приложение можно заменить «заглушкой», а в окружении Python 2.7 создать venv с Python 3.7, и тогда в нём создать окружение с tox, который…

Amazon не был бы Amazon, если бы всё упиралось в старые версии. В качестве альтернативы (и ни у какого сервиса ниже такой возможности не будет) AWS предлагает использовать AWS Device Farm через AWS CLI (command line interface) (см. мануал здесь). То есть, мы можем подключить устройство из облака как реальное устройство к нашему компьютеру в режиме удалённой отладки (remote debug), правда, предварительно заменив adb на патченое (в списке бинарника под linux нет, но уверен, в природе он существует). То есть, настроив AWS CLI, для тестирования нам потребуется выполнить буквально несколько команд (ведь мы не собираемся использовать GUI в виде AWS Device Farm App).

Читайте также:  Смартфон honor 9 lite черный

Если мы хотим тестировать приложение, его так же можно загрузить через AWS SDK.

Но я не рассказал ключевой нюанс здесь. Мы снова натыкаемся на дьявола в деталях. Дело в том, что опция удалённой отладки доступна только если для AWS мы используем Private Devices план. Во-первых, данная возможность доступна только под запрос (нужно написать письмо в Amazon), во-вторых опция доступна для региона us-west-2, а в-третьих, фактически эта опция нас возвращает к сценарию, когда у нас есть сервер для тестирования с набором (или хотя бы одним) устройств подключенных к нему. Плюсы очевидны — мы это устройство можем использовать монопольно, что очевидно безопаснее и быстрее, с другой стороны лишаемся главного преимущества — выбора и разнообразия устройств.

Сервис мне в целом понравился, но для нашей команды, увы, в нём слишком много «но».

Bitbar

Эта облачная ферма мобильных устройств первая выпадает по запросу в поисковиках. И не зря. Забегая вперёд, скажу, что у данного сервиса лучший выбор устройств (только реальные устройства) и лучшая производительность в пересчёте на один тест в сравнении с другими. Bitbar предлагает услуги по удалённому ручному и автоматизированному тестированию (используя Appium и другие фреймворки), а так же, при желании позволяет использовать что-то похожее на crawler от Firebase Test Lab (Robot Test) — AI TestBot. Главное преимущество BitBar’a — это неограниченное количество потоков тестирования (то есть своё приложение можно сразу протестировать на сотне устройств), выбрав нужный пул устройств предварительно. Если устройство занято, подберётся другое такое же, либо сессия будет поставлена в очередь. По окончанию запуска тестов формируется лог, запись тестирования, результаты сохраняются, и уведомление отправляется на почту. Хотя есть и возможности настроить взаимодействие и с разными CI/CD инструментами. Так же сервис предоставляет возможность тестирования десктопных браузеров в разных разрешениях, а при желании — создания, как и в AWS, своих приватных устройств. Правда, за все эти фишки нужно платить — каждая минута тестирования обойдётся в $0.29.

Процесс настройки прост, как взаимодействие двух перстов с асфальтом:

Kobiton

Ещё один сервис, предоставляющий услуги по тестированию на реальных устройствах. Выбор устройств скромнее Bitbar’a (350+), доступность устройств так же меньше. В целом очень похож по основному функционалу на BitBar, позволяет проводить ручное и автоматическое тестирование (с помощью Appium — тут без выбора фреймворков). Возможности потестировать на десктопных браузерах нет. Сервис так же позволяет организовать тестирование с неограниченным числом сессий и устройств, но пула устройств тут не создать. Цена на сервис очень либеральная — от $0.10 за дополнительную минуту тестирования, но во время пробного периода я обратил внимание на некоторую нестабильность сервиса — часто отваливался интернет на устройствах, один раз девайс повис. Так же, если устройство занято или забронировано, то все ваши запущенные тесты упадут. То есть, в отличие от Bitbar’a — очереди из сессий нет. Правда, с небольшими затратами её можно организовать. У Kobiton есть своё небольшое API.

Настройка так же очень проста, в отличие от bitbar’a почти что оригинальный Appium.

BrowserStack

Старый-добрый BrowserStack. О нём много чего писали и его много кто использует. Да, он позволяет проводить тестирование не только на разных браузерах, но и на разных устройствах. Как в ручном режиме, так и используя Selenium/Appium. В зависимости от потребностей — на мобильных браузерах или с использованием вашего приложения. По возможностям всё то же самое, что и у двух сервисов сверху, но в отличие от них здесь уже есть ограничения по количеству одновременных сессий. Правда, наоборот, платите $199 в месяц и тестируйте неограниченное время. Есть плагины для Jenkins, Travis CI, TeamCity, свой богатый API, отличные логи, и большой выбор устройств и десктопных браузеров на разных конфигурациях. Правда, в зависимости от того, чего вы тестируете будут различаться настройки — для тестирования браузеров (даже мобильных) используется Selenium хаб, а для приложений — Appium хаб. Более того, за тестирование приложения придётся платить отдельно. То есть, для того чтобы тестировать и мобильные браузеры, и приложения, нужно заплатить $199 и ещё $159 (цена за одновременно одно устройство для тестирования).

Experitest

Ещё один сервис, который предоставляет возможность тестирования в ручном и автоматическом режиме как мобильных устройств, так и десктопных браузеров с использованием Appium, Selenium и других фреймворков. Как и в случае с BrowserStack’ом, количество одновременных сессий ограничено, но цены немного иные — за тестирование мобильных приложений сервис просит $199 за месяц, а за кроссбраузерное тестирование всего $39 (за одну одновременную сессию). Кроме того, как и Bitbar c AWS позволяет собрать свою приватную лабораторию с устройствами, которые, впрочем, при желании можно миксовать и с публичным облаком из тысячи устройств, эмуляторов и браузеров разных версий и платформ (MacOS, Windows). Из интересных особенностей — наличие расширений для IntelliJ и Eclipse, своего инструмента Appium Studio, который позволяет использовать расширенный функционал устройств вроде взаимодействия c FaceID, управления голосом, сканирования штрих-кодов, установки качества связи, геопозиции и прочая. Из минусов могу назвать странный набор устройств для пробного периода, драконовскую тарификацию на пробном периоде, а так же требование использовать корпоративную почту (gmail не подойдёт).

SauceLabs

Один из старейших сервисов облачного тестирования. Почти 400 разных реальных устройств, богатый выбор симуляторов и эмуляторов, включая нетипичные эмуляторы устройств Samsung, есть и десктопные браузеры под разные ОС, включая Linux. Автоматизация на Appium/Selenium и нативных фреймворках. Главный плюс сервиса — наличие обширной коллекции конфигураций в том числе и старых ОС, браузеров, устройств. SauceLabs так же имеют ограничение в количестве одновременных сессий, но тут самый дешевый вариант включает не одну, а две одновременных сессии. Что необычно: тарифные планы на реальных устройствах и на эмуляторах отличаются. Так, самые дешевые варианты, включающие в себя две сессии с 2000 минутами тестирования в месяц на эмуляторах обойдутся в $149, а на реальных устройствах уже в $349. Есть интеграция с CI/CD, Slack.К сожалению, попробовать вживую SauceLabs мне не удалось, так как увы, не проходит регистрация, возможно из-за региона, но точно утверждать не берусь.

Perfecto

Последний провайдер облачного тестирования визуально больше всего похож на Experitest, но без расширенного функционала. Есть свой простой скриптовый язык. Очень странно, но в сервисе для не-корпоративных (Enterprise) тарифов нет предложения для тестирования на десктопных браузерах, так же нельзя наблюдать за выполнением тестов в реальном времени (только если это не ручное тестирование). В распоряжении к тестированию доступно порядка ста разных устройств. Есть интеграция с Jenkins, а так же, что интересно, с инструментами тест-менеджмента вроде HP ALM, IBM Rational, TFS. Так же в наличии весьма странные тарифные планы, вроде 5 часов тестирования в месяц (в пересчёте на минуты аж $0,33 (это самый дорогой сервис)), правда с возможностью докупить пакет с дополнительными часами, но опять-таки, странно, что нет поминутной или хотя бы почасовой тарификации по факту. Что же касается удобства использования, то во время пробного периода доступно только ручное тестирование, а так же общая лаборатория, так что все запуски от разных пользователей сваливаются в одну кучу. Так что судить точно об удобстве и скорости сервиса, увы, нельзя. Видно, что сервис в основном ориентирован на крупных корпоративных клиентов, при этом, по крайней мере по имеющейся информации, возможности у данного провайдера самые скромные из всех мною протестированных.

Сводные результаты

По всем критериям выбора сервисы весьма схожи, разница между сервисами в их производительности и цене (если нет особенностей, например, как в случае AWS). Поэтому сведём данные исследования в таблицу, посмотрим на скорость сервисов (с учётом подключения через US VPN), а так же на цену, для удобства сравнивая среднее месячное время тестирования на устройствах (5 релизов в месяц, по 2 часа тестирования на Andro >

Для меня было достаточно любопытно поисследовать и выбрать подходящий сервис для нашей команды. В целом, есть решения на любой вкус и под любые задачи, а по характеристикам и реализации сервисы весьма оказались похожи. В итоге, в зависимости от ваших задач я бы порекомендовал следующий выбор:

Вариант А: Если вам важна быстрота проверки, и нужны проверки сразу на десятках разных устройств — ваш выбор — Bitbar.

Вариант Б: Если у вас в приоритете результаты с референсных устройств, а конфигурационное тестирование вторично (но необходимо) — ваш выбор — BrowserStack. Это как раз наш кейс, так как статистически — 90% всех ошибок — это ошибки с референсных платформ и устройств (чаще всего баги общие для всех референсных платформ сразу). Оставшиеся 8% — это ошибки MS IE, с отказом от поддержки IE — 2% ошибки MS Edge, а 0,5% ошибки на специфичных конфигурациях.

Вариант В: Если вам важны проверки особых условий, вроде некачественной связи, геопозиции или Touch/FaceID, то ваш выбор — Experitest.

Ну а на долгосрочной перспективе, если ваша компания занимает большой офис, ваша работа Full-Time, то, как правило, организация своей, пусть даже мини-лаборатории с сервером под эмуляторы с подключенными 2-3 устройствами обойдутся дешевле и удобнее, чем использование специализированных сервисов.

    15.08.2019

Что такое кроссплатформенность?

Прежде, чем приступить к рассмотрению кроссплатформенного тестирования, давайте разберемся с понятием кроссплатформенности в целом.

Кроссплатформенность или межплатформенность – это способность программного обеспечения работать с несколькими платформами или операционными системами. Кроссплатформенность достигается с помощью высокоуровневых языков программирования, сред разработки и выполнения, поддерживающих условную компиляцию, компоновку и выполнение кода для различных платформ.

Самым распространенным и простым примером кроссплатформенного приложения является веб-браузер. Они отображают веб-сайты практически одинаково, вне зависимости от того, на какой платформе или операционной системе их запустили.

Кроссплатформенность будет реализована по-разному в зависимости от того какое приложение у нас – традиционное или веб-приложение.

Обычно, все веб-приложения позиционируются как кроссплатформенные из-за того, что доступны из любого веб-браузера и в разных ОС. Веб-приложения используют клиент-серверную архитектуру, но могут существенно отличаться по функционалу и сложности.

Читайте также:  Чем лучше звукоизолировать стены в квартире

Простые веб-приложения обрабатывают данные с сервера без сохранения состояния и направляют результат клиенту. То есть, взаимодействие пользователя с приложением осуществляется путем обмена запросами данных и ответами сервера.

Примерами более сложных веб-приложений могут быть:

– веб-сайт Google Maps;

– служба Bing от Microsoft.

Такие расширенные приложения обычно зависят от дополнительных функций, которые можно найти только в более свежих версиях популярных веб-браузеров. Эти зависимости включают Ajax, JavaScript, Dynamic HTML, SVG и другие компоненты многофункциональных интернет-приложений. Старые версии популярных веб-браузеров, как правило, не поддерживают некоторые функции.

Но, хотя популярность веб-приложений растет, многие продолжают пользоваться традиционными приложениями, не основанными на клиент-серверной архитектуре.

Такое программное обеспечение распространяется в виде двоичных файлов, которые поддерживают только ОС и компьютерную архитектуру, для которой они были построены. Поэтому, если приложение должно быть кроссплатформенным, для него создают несколько исполнительных установочных файлов – для каждой поддерживаемой платформы отдельно.

Но иногда, с помощью различных инструментов, нельзя создать сборки для всех поддерживаемых платформ. В этом случае разработчик ПО должен изменить код таким образом, чтобы он подходил для новой архитектуры компьютера или операционной системы.

Понятие и важность кроссплатформенного тестирования

Кроссплатформенное тестирование – это процесс проверки работы приложения или сайта на различных платформах.

Кроссплатформенное тестирование является очень важным этапом обеспечения качества ПО. Когда продукт разрабатывается для нескольких платформ, важно выделить все наиболее популярные и протестировать работу приложения на них. Для веб-приложений можно просто выбрать наиболее популярные версии браузеров и проводить тестирование на них. Для декстопных приложений количество комбинаций ОС/конфигураций системы слишком велико, поэтому необходимо проводить более глубокий анализ аудитории и выделять наиболее важные комбинации для тестирования.

Кроссплатформенное тестирование проводится для определения поведения приложения и веб-сайта в различных средах. Межплатформенное тестирование помогает в выявлении проблем, которые могут различаться в зависимости от платформы или конфигурации, таких как согласованность, пользовательский интерфейс, проблемы с юзабилити и производительность.

В приложении, которое предполагается запускать на нескольких платформах, важно, чтобы интерфейс разработки был согласованным. Дизайн должен быть разработан таким образом, чтобы не вызывать проблем с выравниванием или ненужным переносом текста в пользовательском интерфейсе.

Если приложение использует много данных, это может вызвать проблемы для устройств с низким кэшем и оперативной памятью. Также важно учитывать удобство использования устройства. Например, пользователи телефонов Android предпочитают приложения небольшого размера, которые не занимают много места на своих устройствах.

GUI со слишком большим количеством кнопок может быть сложным и недружественным для конечного пользователя. Очень важно знать, как конечные пользователи будут взаимодействовать с системой и какой тип ввода они предпочтут использовать. Например, в финансовых приложениях предпочтительной комбинацией ввода являются текстовые поля, но если пользователю предоставляются выпадающие списки и кнопки, это вызовет трудности.

Подобные проблемы вызывают у пользователей плохое впечатление и интерес быстро теряется.

Особенности, методы кроссплатформенного тестирования

Ниже приведен краткий список советов и методов для проведения кроссплатформенного тестирования:

Во избежание путаницы при тестировании важно определить четкие границы для кроссплатформенного тестирования. Выделить наиболее важные платформы, которые будут использовать реальные пользователи.

Матрица всегда полезна, когда речь идет о разработке тестовых сценариев. Подготовьте тестовую матрицу и используйте ее для выполнения тестовых случаев и для связи с конечными пользователями.

Выделите элементы, которые имеют высокий риск в тестовой матрице. Тепловая карта может быть полезна для идеального определения зон риска. Это помогает в правильной расстановке приоритетов, когда время и ресурсы ограничены.

Многомерная матрица вместе с тепловой картой будут полезны для определения того, что необходимо протестировать в первую очередь, а что может подождать. Желтые клетки в таблице – то, что нужно протестировать при наличии достаточного количества времени, а красные – «условия тестирования высокого риска», то, что нужно протестировать в первую очередь.

Наиболее популярные ОС, которые используются для кроссплатформенных приложений

Самыми распространенным операционными системами являются Windows, Android и iOS.

Andro > – операционная система, которая может использоваться на различных девайсах: смартфонах, планшетах, электронных книгах, цифровых проигрывателях, наручных часах, фитнес-браслетах, игровых приставках, ноутбуках, нетбуках, смартбуках, очках Google Glass, телевизорах и других устройствах.

Это наиболее распространенная операционная система для мобильных устройств в данный момент. При планировании кроссбраузерного тестирования необходимо учитывать отличия между версиями операционной системы и их распространенность.

Ниже размещена таблица популярности версий Android OS в 2019 году:

Версия системы Текущее распределение
2.3 Gingerbread 0,3%
4.0 Ice Cream Sandwich 0,3%
4.1 4.2 4.3 Jelly Bean 3,2%
4.4 Kitkat 6,9%
5.0 Lollipop 3%
5.1 Lollipop 11,5%
6.0 Marshmallow 16,9%
7.0 Nougat 11,4%
7.1 Nougat 7,8%
8.0 Oreo 12,9%
8.1 Oreo 15,4%
9.0 Pie 10,4%

iOS (до 24 июня 2010 года – iPhone OS) – операционная система, которая также может использоваться на различных девайсах: смартфонах, электронных планшетах, носимых проигрывателях и некоторых других устройствах. Эта операционная система разрабатывается и выпускается американской компанией Apple. Была выпущена в 2007 году; изначально – для iPhone и iPod touch, позже – для iPad. В 2014 году появилась поддержка автомобильных мультимедийных систем Apple CarPlay. В отличие от Android (Google), выпускается только для устройств, производимых фирмой Apple.

53% устройств, представленных в последние 4 года, используют iOS 12. Статистика популярности версий iOS:

По данным App Store на 10 октября 2018 года, на устройствах, представленных с сентября 2014 года.

Windows – семейство коммерческих операционных систем корпорации Microsoft, которые ориентированы на управление с помощью графического интерфейса. Windows была установлена не менее чем на 88,5% персональных компьютеров и рабочих станций, согласно данным за июнь 2019 года. По данным компании Net Applications, на июнь 2019 года рыночная доля Windows составила 88,33 %. Падение доли связано, в первую очередь, с тенденцией к сокращению продаж ПК в мире, а также с увеличением популярности конкурентов – macOS и Linux. Самой популярной версией Windows по данным W3Schools с июля 2017 года считается Windows 10 (около 37 %).

При планировании тестирования на Windows, необходимо учитывать особенности различных версий операционной системы, а также взаимодействия их с различными браузерами при кросс-браузерном тестировании.

Инструменты для проведения кроссплатформенного тестирования

Инструменты всегда полезны при любом типе тестирования. Особенно, когда необходимо проверить один и тот же функционал на различных платформах, на помощь придут инструменты для автоматизированного тестирования и эмуляции выполнения программы на различных платформах.

Некоторые из распространенных инструментов для кроссплатформенного тестирования:

Доступен как на iOS, так и на Android. Это HTTP-сервер, управляющий сеансами WebDriver. Он поддерживает тестирование в любой среде и на любом языке, который может создать запрос HTTP. Это инструмент с открытым исходным кодом для автоматизации нативных, мобильных и веб-приложений, а также гибридных приложений на платформах iOS и Android.

Также работает с Android и iOS, это инструмент с открытым исходным кодом, состоящий из трех компонентов, таких как IDE, сценарии и агенты. MonkeyTalk автоматизирует функциональные интерактивные тесты для приложений Android и iOS. Скрипты MonkeyTalk используют простой синтаксис ключевых слов и механизмы исполнения Ant of Java. Тесты могут быть обработаны данными из электронной таблицы в формате CVS.

Katalon – это бесплатный инструмент для мобильного тестирования, веб-тестирования и автоматизации, который совместим с последними версиями iOS и Android. Katalon предлагает полнофункциональное управление тестами, интерфейсы с двумя сценариями для начинающих и опытных пользователей. Выполнение сценариев на эмуляторах, реальных устройствах или облачное тестирование. Встроенные ключевые слова поддерживают GUI, API и тестирование данных, а также имеют встроенную интеграцию с JIRA, GIT и Kobiton.

EggPLANT – это коммерческий продукт для автоматизированного тестирования с графическим интерфейсом, разработанный TestPlant для iOS и Android, а также для тестирования веб-приложений. Полезен для автоматизации пользовательского интерфейса и функциональности, тестирования на основе изображений, мобильного тестирования, сетевого тестирования, веб-тестирования и кросс-браузерного тестирования. Можно использовать один скрипт для всех устройств и платформ, а также создавать дополнительные для конкретного устройства/платформы.

Широко используемый инструмент кросс-браузерного тестирования из-за его функций и доступных настроек. Он поддерживает IE, Firefox, Google Chrome, Opera, Safari, Minefield, Netscape и многие другие со всеми их версиями. Вы можете выбрать размер экрана, глубину цвета и параметр, позволяющий проверить состояние JavaScript, а также варианты включения или отключения Flash. Одна из проблем здесь заключается в том, что для получения результатов требуется много времени, и нет мобильных браузеров.

Обеспечивает тестирование веб-браузера в режиме реального времени с мгновенным доступом ко всем настольным и мобильным устройствам. Нет необходимости устанавливать приложение, поскольку оно основано на облаке. Для отладки и кросс-браузерного тестирования используются предустановленные инструменты разработчика.

Платформа с открытым исходным кодом, разработанная для приложений iOS, предназначенная для тестирования пользовательского интерфейса мобильного приложения и простого автоматизированного тестирования. Это интегрированная среда тестирования iOS, используемая для функционального тестирования, которая создает и выполняет контрольные тесты.

Xamarin имеет инструменты тестирования для кроссплатформенных мобильных приложений на iOS, Android, Blackberry и Windows. У Xamarin есть собственный инструмент разработки интерфейса и программа Xamarin University, где вы можете пройти онлайн-курсы; он позволяет запускать облачный автоматический приемочный тест пользовательского интерфейса.

Запущенный в 2010 году Browserling – это интерактивный кросс-браузерный инструмент для тестирования в режиме реального времени. Поддерживает тестирование на большинстве версий Internet Explorer, Chrome, Opera, Safari и Firefox. Поддерживаются операционные системы Windows XP, Windows Vista и Windows 8.1, а также Android Mobile.

Известный инструмент для тестирования почтовых ящиков, Litmus можно использовать и для тестирования веб-приложений. Litmus позволяет видеть, как страница отображается в известных веб-браузерах на мобильных и настольных платформах. Поддерживает браузеры Firefox, Chrome, Safari и мобильные версии, а также операционные системы Windows, iOS и Android.

Кроссплатформенное тестирование – важный вид тестирования, который необходимо проводить для понимания того, будет ли должным образом отображаться тестируемый продукт на различных платформах, используемых целевой аудиторией. Зачастую, для проведения этого вида тестирования, используются инструменты автоматизированного тестирования, которые доступны в большом количестве в магазинах приложений.

Комментировать
0 просмотров
Комментариев нет, будьте первым кто его оставит

Это интересно
Adblock detector