Test.IO - площадка для краудсорсингового тестирования

Test.IO - площадка для краудсорсингового тестирования.

Для начала нужно зарегистрироваться, указать свои устройства имеющиеся для тестирования и заполнить свой профиль.

Приглашения начали присылать довольно быстро. Приглашения бывают двух типов - проект еще не запущен и есть время на ознакомление с описанием проекта и списком известных проблем или проект уже запущен и можно сразу приступать к тестированию.

Приглашения приходят на емейл. После получения приглашения переходим на сайт и видим описание проекта: разделы приложения, которые нужно тестировать; число созданных проблем по каждому разделу, если проект уже запущен; расценки за найденные дефекты; платформы для тестирования; время начала и окончания проекта; количество известных проблем. А сам список известных проблем не доступен на этапе просмотра описания проекта, поэтому чтобы с ним ознакомиться нужно вначале согласиться на тестирование проекта. Количество участвующих тестировщиков в проекте нигде не указывается, но по ощущениям оно не сильно большое (в пределах 20-30 тестировщиков на проект). В целом конкуренция на проектах чуть выше средней.

После принятия приглашения становится доступным чат, где можно задавать вопросы по проекту и можно ознакомиться со списком известных проблем. TL отвечают в чате зачастую с задержкой. В чате отображается число онлайн участников, которое косвенно может указывать на число тестировщиков в проекте.

На этом этапе уже достаточно информации, чтобы принять решение об участии в тестировании проекта, при этом есть возможность покинуть проект, нажав соответствующую кнопку и кто-то другой сможет впоследствии присоединиться вместо вас.

На площадке есть система рейтинга, где подробно расписано за что начисляются или снимаются очки. Учитываются очки заработанные в течении последних 60 дней.

Много проектов, где нужно искать только критические или серьезные функциональные проблемы, соответственно таких проблем иногда очень мало, в итоге тратится время на их поиск, что может не оправдываться стоимостью проблемы.

Воспроизведение найденных проблем в проекте на других устройствах оплачивается, если исходный дефект выкупается и само воспроизведение принимается. Зачастую, воспроизведения проблем уходят в отказ по не понятным причинам и эти причины невозможно так просто узнать - они не указываются при отказе. Можно уточнить причину отказа в чате, но каждый раз спрашивать не хочется, при этом иногда такие вопросы остаются без ответов. Видимо, площадка считает, что это малоквалифицированная работа и не особо поощряет ее. Из опыта: отказы по восроизведениям проблем могут быть просто ошибочными, после вопроса в чате могут быть приняты.

По окончанию или уже в ходе проекта баги верифицируются TL, принятые баги отправляются заказчику, который принимает финальное решение о судьбе проблемы.

TL очень субъективны - в одном случае они отправляют серьезную проблему в отказ даже не отправив заказчику, чтобы он принял финальное решение, а в другом случае минорную проблему принимают, хотя в описании проекта явно указано, что минорные вне тестирования в этом проекте. Много поспешных отказов от TL, потом приходится вступать в переписку с TL, чтобы узнать почему отказали и оспорить отказ. В итоге получается лотерея, не можешь предсказать, что создавать. TL с неохотой отвечают на ваши комментарии по отказанным проблемам, поэтому лучше их сразу отравлять на ревью. Но и здесь возможны ситуации, что ревьюверы реальные проблемы отправят в повторный отказ не особо вникая в суть и разбираясь. В итоге нет ощущения, что все работают на результат для заказчика. А есть стойкое ощущение, что много необоснованных отказов на площадке для реальных проблем.

Заказчик также может отказать в проблеме, например, если она ему уже известна, но при этом в списке известных проблем на площадке она не была указана. Может отказать с формулировкой - по предоставленному описанию проблемы нет возможности ее воспроизвести и это не смотря на то, что TL и другие тестировщики могли успешно воспроизвести эту проблему. Правда, и TL с такой же формулировкой отправляют проблемы в отказ не смотря на ее воспроизведение другими тестировщиками. Все такие отказы нужно отправлять на ревью в надежде, что все же примут, и проблема будет оплачена.

Поэтому кючевой проблемой площадки является: слишком много отказов на всех этапах проверки багов. Приходится тратить много времени на осппаривание отказов, что не всегда приводит к принятию проблемы.

Если ваш дефект отправлен в отказ, то есть возможность отправить дефект на ревью, где его проверят и вынесут окончательное решение об его судьбе. Но, внимание, если на ревью отправили за месяц больше четырех проблем, то нужно чтобы процент принятых дефектов был больше 60, иначе весь следующий месяц вы не имеете права отправлять проблемы на ревью. Читаем - все ваши отказы с причиной "не могу воспроизвести" не будут оплачены. Не говоря уже о других отказах.

Доступные методы оплаты: PayPal, Skrill and the Bank Account (for US only).

Например, при оплате на счет PayPal взимается комиссия: с €230 комиссия около €10.

В целом не плохая площадка. Далее краткие итоги.

Плюсы:
- Довольно подробная информация о приглашенном тестируемом проекте.
- Есть чат, где можно задавать вопросы по проекту.
- Платят за воспроизведение проблем на других устройствах.
- Видно количество известных проблем до момента принятия приглашения для тестирования.
- Много разных проектов в разных стадиях тестирования.

Минусы:
- Много отказов на всех этапах проверки багов. Много тратится времени на оспаривание отказов. Психологически очень неприятно работать в такой обстановке.
- Общее довольно плохое отношение к работе тестировщиков со стороны TL: необоснованные и/или поспешные отказы, частое занижение критичности проблем.
- Заказчик может злоупотреблять отказами с формулировкой: проблема уже ему известна или по предоставленному описанию проблемы нет возможности ее воспроизвести.
- Система ревью далека от нормальной. Можно запросто быть заблокированным на весь месяц - считай работаешь бесплатно, в случае отказов, что описаны выше.
- Много отказов по воспроизведениям проблем, причины которых не представляется возможным узнать.
- Много проектов, где нужно искать только критические или серьезные функциональные проблемы.
- Количество тестировщиков в проекте не указывается.
- Нет возможности выводить деньги на Payoneer.

Digivante.com (BugFinders) - площадка для удаленного тестирования

Digivante.com (BugFinders - название ранее) - иностранная площадка для удаленного тестирования.

После регистрации нужно заполнить свой профиль, где указать все устройства для тестирования.

Приглашения для участия в проектах будут присылать на емейл. Приглашения рассылаются не одновременно, а вначале тем тестировщикам кто недавно был авторизован на площадке, а после тем кто не заходил на площадку некоторое время. Из-за этого часть тестировщиков получает преимущество и может начать тестирование среди первых, когда еще никто не создал ни одного дефекта, другие же оказываются опаздавшими и на момент приглашения в проект уже видят список созданных проблем разной длины, что демотивирует начинать тестирование в проекте.

Принимая приглашение участвовать в проекте вы вначале принимаете соглашение о неразглашении, после этого становится доступно описание проекта, расценки на дефекты, список известных проблем, список созданных проблем.

Как правило в проектах очень высокая конкуренция, видимо, большое количество тестировщиков одновременно работают в нем, из-за этого баги создаются большим потоком. Это приводит к дубликатам, т.к. пока оформляешь дефект и создаешь его на площадке в это время такой же дефект могут создать уже несколько раз.

Зачастую в проекте тестировщики создают множество незначительных проблем, нет ориентира на качество, площадка допускает эту ситуацию. Из-за этого в проекте создают до 300 и более проблем.

Во время тестирования проекта нет возможности задавать вопросы по проекту, реализована только возможность прочитать новые указания по проекту от менеджера.

На площадке не реализована система рейтинга, есть лишь статистика тестировщика. Не знаю точно как используется эта информация, пока складывается впечатление, что особо ни на что не влияет.

В процессе ревьюрирования созданных проблем менеджером они автоматически выкупаются или уходят в отказ. Заказчик повтороно не ревьюрирует пробемы.

Оплата возможна на счет PayPal или Payoneer. Минимальная сумма для выплаты 10 GBP или 15 GBP соответственно.

Плюсы:
- Вся информация по проекту доступна тестировщикам до начала тестирования проекта.
- Нет наказания за неучастие в проекте, если до этого принимаешь соглашение о неразглашении и получаешь доступ к описанию проекта.
- Возможна оплата на счет Payoneer, а не только PayPal.

Минусы:
- Высокая конкруренция на проектах.
- Приглашения в проекты рассылают в разное время для разных тестировщиков, а не одновременно.
- Не известно общее количество тестировщиков участвующих в проекте.
- Нет возможности задавать вопросы в процессе тестирования проекта.

Fixber.com - площадка услуг по тестированию

Fixber.com - русскоязычная площадка для тестирования.

После регистрации нужно пройти небольшой тест, после проверки которого вы допускаетесь к тестированию.

Все запущенные проекты видны сразу всем зарегистрированным тестировщикам. Каждый может посмотреть описание проекта (полное описание сразу доступно в открытых проектах, а в закрытах - только краткое), список созданных проблем, количество тестировщиков в проекте, предполагаемый бюджет проекта, шкалу баланса проекта, которая показывает сколько денег на балансе проекта относительно его заявленного бюджета. Оповещение о новых проектах приходит на емейл.

Проекты на площадке бывают двух типов: открытые и закрытые. В открытом проекте может принять участие любой желающий, а в закрытых проектах заказчик решает кого допустить, выбирая из списка тестировщиков выразивших желание участвовать.

На площадке нет огромной конкуренции хоть проекты и видны всем. Видимо, число активных тестировщиков не велико, при этом все в разное время могут приступить к работе над проектом.

При создании дефектов тестировщик указывает критичность проблемы, в зависимости от критичности формируется итоговая цена проблемы. Тестировщики с определенного рейтинга получают возможность задавать свои расценки на дефекты, если заказчик не ограничил эту возможность на проекте.

В силу этого на площадке некоторые тестировщики упорно занижают цены, а друга часть их излишне завышает пытаясь срубить деньжат на этом. Площадка никак не отслеживает эти ситуации и не мотивирует выставлять корректные критичности. Все остается на усмотрение заказчика. Глядя на это опытному тестировщику с корректно выставленной критичностью порой не комфортно: либо его дефекты выглядят с завышенной критичностью, если остальные занижали, либо, наоборот, с заниженной, если кто-то упорно завышает. Получается смещение акцента с качества тестирования на товарно-денежные отношения с возможностью отступать от проффесиональных навыков.

Вопросы возникаемые по ходу тестирования можно задавать непосредственно заказчику, ответы на которые видны всем тестировщикам.

Заказчик в любое время может приступить к просмотру и выкупу багов не дожидаясь окончания проекта. Либо не приступить вовсе, попросту забив на проект и больше не появляться на площадке, либо выкупить проблемы частично.

Чтобы создать проект, заказчику требуется внести сумму в размере тысячи рублей, после чего проект доступен для тестирования. Некоторые заказчики попросту больше не пополняют баланс проекта, оставляя тем самым работу тестировщиков неоплаченной.

Поэтому прежде чем приступать к тестированию лучше изучить предыдущие проекты заказчика и посмотреть как выкупались проблемы, сколько было отказов и по каким причинам. Если заказчик новый, то лучше не рисковать создавая много проблем, а ограничиться небольшим количеством дефектов и посмотреть как себя поведет заказчик.

Заказчик может отправлять дефекты в отказ по разным причинам, если вы не согласны с отказом, то есть возможность отправить отказ на проверку модераторам.

На площадке реализована система рейтинга, которая особо ни на что не влияет, разве что только на ваш номер в списке рейтинга. Предполагается, что заказчик будет учитывать эту информацию, когда набирает тестировщиков в закрытый проект, на деле на это не очень то и смотрят.

Вывод средств возможен на Webmoney, при этом комиссию платежной системы оплачивает тестировщик. Минимальная сумма для вывода - 500 руб. Вывод средств происходит по запросу тестировщика.

Кратко резюмирую.

Плюсы:
- Русскоязычный интерфейс и отсюда в основном русскоязычное тестирование ПО.
- Возможность устанавливать свои расценки на дефекты.
- Не высокая конкуренция.
- Доступна вся информация по проекту на момент принятия решения по участию в нем.
- Есть возможность задавать уточняющие вопросы и получать ответы на них от заказчика.

Минусы:
- Работа тестировщика может остаться неоплаченной.
- Очень мало проектов.
- Некоторые тестировщики умышленно или по незнанию завышают или занижают критичность дефектов, следовательно, и стоимость.
- Не хватает менеджеров по проектам, которые бы грамотно ревьюрировали баги, а заказчик потом их только оплачивал.

Как итог площадка подходит для новичков, на ней им можно понабраться опыта, для опытных тестировщиков здесь можно лишь подзаработать на мелкие расходы.

uTest.com - фриланс площадка для тестирования

uTest.сom - одна из популярнейших фриланс площадок для тестирования мобильных приложений, сайтов, программ.

Первое, что нужно сделать, это зарегистрироваться и заполнить максимально полно свой профиль, указав все устройства на которых собираетесь тестировать. После этого вас могут пригласить в тестовый проект (называется песочница), либо сразу в платный проект. Тут у каждого своя история: кого-то сразу начинают приглашать в платные проекты, а кого-то могут полгода и более никуда не звать. Везение здесь играет большую роль, т.к. число уже зарегистрированных тестировщиков огромно, поэтому новички вовлекаются по мере необходимости.

Приглашения для участия в проектах бывают двух типов. Самый распространненный тип - это приглашение в уже запущенный проект (только что запустили или запустили некоторое время назад и сейчас донабирают тестировщиков), менее распространненный - приглашение в еще незапущенный проект (этот проект бывает просто для набора тестировщиков в будующие проекты или запустится в определенное время пойже).

Приглашение в запущенный проект приходит на почту, вы сразу можете посмотреть всю информацию по проекту зайдя на площадку: подробное описание проекта, расценки на баги, список известных проблем (обычно прикрепляется как файл к проекту), наличие тест-кейса, дату начала и окончания проекта, число уже созданных проблем в проекте, требования к устройствам для тестирования. К сожалению, убрали почему-то информацию о количестве тестировщиков уже принявших приглашение учатсвовать в проекте, поэтому число тестировщиков в проекте на этапе приглашения не видно, и вообще сейчас не известна квота тестировщиков для проекта. Вся эта информация позволяет решить принимать или нет текущее приглашение в проект. Если принять приглашение, но не найти ни одной проблемы и не пройти тест-кейс, если он доступен, немного понижают рейтинг. Принять приглашение и потом выйти из проекта нет возможности.

На uTest внимание рейтингу уделяют довольно большое. Есть известные правила за что рейтинг повышается (за нахождение ценных проблем) и за что понижается (за проблемы дубликаты, за проблемы найденные вне требуемой области тестирования).

У новичков на площадке еще нет рейтинга и для них действуют ограничения на количество создаваемых дефектов равное 5. Так что нужно подойти серьезно к поиску первых багов и постараться найти серьезные 5 первых проблем, что сразу положительно повлияет на ваш рейтинг и вашу репутацию, повысит шансы на последующие приглашения в новые проекты.

Приглашение в конкретный проект приходит ограниченному числу тестировщиков в одно и тоже время, тем самым уравнивая всех во времени, давая всем одинаковые возможности сразу начать тестирование. Приглашать могут чуть большее число тестировщиков на нежели чем расчитан проект. Поэтому кто не успеет вовремя принять приглашение может столкнуться с сообщением, что число участников уже набрано в проект.

Количество тестировщиков в проекте как правило около 20, но периодически бывают проекты и с большим количеством до 40 и даже до 70 и более.

Как только вы принимаете приглашение в запущенный проект, то сразу можете начинать тестировать. Если во время тестирования возникают какие либо вопросы, то их можно задавать в чате, который имеет каждый запущенный проект.

После завершения проекта дефекты ревьюрируются менеджером и впоследствии оцениваются и при этом выкупаются заказчиком в течении 35 дней. Каждый дефект в итоге получает свою оценку: somewhat, very или exceptional. В зависимости от оценки разная итоговая стоимость за дефект.

Девиз uTest - это качество превыше количества. Поэтому проблемы very и exceptional поощряются и приветствуются. Но как правило, даже если большинство проблем найдено серьезных, им могут не оценить как very или exceptional.

Оплата тестировщикам происходит дважды в месяц на счет PayPal или Payoneer. Никакие комиссии с тестировщиков не взымаются.

Подведу краткий итог сказанному в плюсах и минусах.

Плюсы:
- Всю подробную информацию о проекте можно посмотреть до принятия приглашения учавствовать.
- Приглашения приходят всем тестировщикам в одно время.
- В проекте учавствует как правило небольшое количество тестировщиков.
- Хорошее отношение TL к тестировщикам, очень мало необоснованных или поспешных отказов.
- Для каждого проекта есть свой чат, где можно задавать вопросы по проекту и получать указания от менеджеров.
- Тестировщики мотивированы находить и создавать качественные проблемы, тем самым снижается количество создаваемых незначительных мелких проблем, которые бы только захламляли список найденных проблем.
- Доступные методы оплаты: PayPal и Payoneer.

Минусы:
- Часто бывают проекты где мало дефектов, как правило, это релизное ПО.
- Переодически дефекты выкупаются со всего проекта без бонусов (very или exceptional), видимо, некому их тщательно разбирать со стороны заказчика. В итоге у тестировщика снижается рейтинг и нет соответсвующей оплаты для найденных серьезных дефектов.

GlobalAppTesting.com - краудсорсинговая площадка для тестирования

GlobalAppTesting.com - площадка для краудсорсингово тестирования.

После регистрации и успешного прохождения квалификационного теста начинают приходить приглашения для участия в проектах. Приглашения начали приходить почти сразу, долго ждать не пришлось. В приглашении указываются устройства и платформы, которые требуются для тестирования, начало (указывается просто дата, конкретное время не известно) и длительность тестирования, географические ограничения, если есть, краткое описание тестируемого продукта и тип тестирования. В приглашении каждый раз дается ссылка на форму, где нужно вводить данные тестировщика и его устройства для тестирования текущего проекта. Там же есть важное предупреждение, что если не примешь участие в тестировании проекта, на который подписываешься, то могут в будущем больше не приглашать в новые проекты.

Спустя некоторое время, если тестировщика включают в проект, приходит новое письмо с приглашением начать тестирование. На этом этапе доступно описание проекта, список известных багов и документация. Тестировщику дают доступ к баг-трекеру, где он может создавать дефекты.

После создания дефекта его нельзя уже удалить из баг-трекера, но при этом тестировщик никак не наказывается за дубликаты.

Все создаваемые дефекты другими участниками и изменения по ним сыпяться на почту. Не знаю, можно ли это отключить.

Количество тестировщиков в проекте не очень большое, примерно 10-20. Явной информации по этому параметру нет, можно лишь косвенно увидеть число людей читающих в данный момент документ, где гугл показывает значками читающих.

На площадке в явном виде нет никакой системы рейтинга тестировщиков, возможно, она ведется на внутреннем уровне.

Нигде не указывается стоимость дефектов в том или ином проекте, не понятно, отличается она от проекта к проекту или фиксированная для всех.

После завершения проекта модератор просматривает все заведенные дефекты, корректирует приоритет, если требуется.

По завершению проекта спустя несколько дней приходит оплата на PayPal счет, который указывается при регистрации. При этом еще и вычетается коммисия за платеж: с $6 взяли $0.56.

Хочу подвести итог в виде плюсов и минусов площадки, как я их себе представляю.

Плюсы:
- Нет большой конкуренции среди тестировщиков, видимо, приглашают в проект ограниченное число.
- За дубликаты никак не наказывают, при этом их нельзя удалить самому из баг-трекера.

Минусы:
- На каждое приглашение в проект нужно регистрироваться путем заполнения одной и той же информации, что отнимает время и немного нервирует, если приглашений несколько. При этом это только волеизъявление учавствовать со стороны тестировщика, а со стороны площадки могут потом не включить в участники.
- Не известно точное время начала проекта, при этом требуют обязательного участия в приглашенном проекте. Получается сложно планировать свое время. Можно запросто подписаться, а потом не смочь принять участия.
- Не известны расценки на дефекты, что очень странно.
- Не известно общее количество тестировщиков в проекте.
- На момент регистрации в проект не известно число известных дефектов. Например, их может быть под 300-400, но узнаешь об этом только когда пригласят тестировать уже в запущенный проект, на который раньше согласился учавствовать.
- Нет возможности во время работы над проектом оперативно получать ответы на свои вопросы.
- Оплата происходит только на счет PayPal. Было бы лучше, если бы использовались и другие системы оплаты, например, Payoneer.