Из разговоров и комментариев в различных обсуждениях я понял, что тема работы на uTest.com интересна окружающим. Недавно закончился мой первый проект, подведены итоги, и я считаю, что уже готов описать свой небольшой опыт работы. Поскольку я еще не выводил заработанное, то финансовым аспектам будет посвящена отдельная статья.

Итак, краткое введение. uTest  — это интернациональный рынок услуг тестировщиков, где компании могут нанять специалистов для тестирования своих продуктов, а тестировщики — приобрести новый опыт, увидеть продукты до официального релиза и заработать. Заявлен широкий диапазон поддерживаемых приложений — веб-приложения, десктоп, мобильные и для игровых приставок.

Сейчас в системе зарегистрировано более 22 тысяч тестировщиков из 160 стран, количество заказчиков не уточняется. При регистрации необходимо указать свои навыки в области тестирования и доступные конфигурации устройств и систем.

По мере работы над проектами формируется подробная личная статистика. Наиболее интересными для потенциального работодателями являются, как мне кажется, следующие данные:

• Bug Approval Percentage — отношение принятых дефектов к занесенным;
• Сертифицированность — по умолчанию отсутствует, как получить — непонятно, в FAQ ни для заказчиков, ни для тестировщиков не видел ни слова. Однако у некоторых тестировщиков стоит статус Certified;
• Опыт (Beginner, Expert) - честно говоря, не очень понятно, как рассчитывается, явно в профиле не прописывается, можно посмотреть только в списке дефектов. Похоже, зависит от давности регистрации;
• Rating - формулы расчета тоже нет, прямо пропорционален количеству занесенных дефектов (непроверенные учитываются), обратно пропорционален количеству отклоненных дефектов. При соотношении Bug Approval Percentage = 68%, мой рейтинг примерно 3.9 из 5, так что похоже, что это не одно и то же.

Чтобы тестировать, нужно попасть в проект. Доступных проектов обычно не очень много: я не видел больше 6-8 одновременно, причем большинство из них было приостановлено. Возможно, проблема в моем небольшом стаже или рейтинге. От тестировщиков могут хотеть разного: провести исследовательское тестирование, проверить локализацию, пройтись на разных окружениях по составленному набору кейсов, зайти одновременно на сайт для проверки работы под нагрузкой. Для участия в одних проектах нет никаких требований, ссылки выкладывают в общий доступ, для других нужно подтверждение от менеджеров или подписывание NDA.

После получения доступа к исследуемому продукту каждый начинает стараться кто во что горазд: дефекты заносятся в системный багтрекер, заказчик или менеджер проекта их подтверждает либо отклоняет, отклоненные дефекты можно один раз опротестовать. Изменять занесенные дефекты нельзя, только добавлять новые подробности, что не всегда удобно и следует иметь в виду при занесении: сначала исследовать, выяснить точные причины возникновения, только потом документировать. Однако не все такие предусмотрительные, порой же бывают и совсем небрежные. Например, мне доводилось видеть, когда в задании явно указывается, какой функционал следует тестировать и в какие релизы следует заносить дефекты, при этом даже тестировщики с высоким рейтингом и статусом Expert заносят дефекты, противоречащие этим требованиям, видимо, в надежде, что это будет засчитано как Valuable Feedback, что также оплачивается. Такой подход добавляет работы проверяющим и дает повод усомниться в квалификации тестировщика, раз он не может даже требования изучить.

Фрилансер может столкнуться со следующими проблемами: при большом количестве тестировщиков на проекте с учетом пренебрежения требованиями заказчика заносится довольно много дефектов, а их приходится периодически перечитывать, чтобы не дублироваться и не снижать свой рейтинг; заказчики и менеджеры любят объявлять дефекты «out of scope» и отклонять их; я не видел системных требований к проектам, поэтому часто неоднозначно — дефект это или фича. Цена вопроса — понижение рейтинга. Можно, конечно, подождать дефектов от других тестировщиков чтобы примерно понять расклад, но каждый незанесенный дефект — недополученная прибыль. Впрочем о заработке напишу в следующий раз. 

Кроме предоставления платформы для тестировщиков и производителей ПО, компания uTest занимается проведением акций открытого тестирования общеизвестных систем, находящихся в эксплуатации, например, интернет-магазинов или социальных сетей. Однако адекватность сравнения полученных результатов вызывает сомнения: когда сравнивали результаты тестирования LinkedIn, MySpace и FaceBook, в отчете не учитывалось различие сложности этих проектов. Также при uTest есть форум для тестировщиков, организуются совместные вебинары с известными специалистами, например, с Джеймсом Уиттэйкером.

Отдельное спасибо товарищам, которые критично относятся к моим заметкам, за стимул вычитывать их очень тщательно :)

Надеюсь эта информация будет полезна другим, если будут вопросы — задавайте, отвечу после возвращения с каникул (после 10 января). Всем успехов!