Test.IO - площадка для краудсорсингового тестирования.
Для начала нужно зарегистрироваться, указать свои устройства имеющиеся для тестирования и заполнить свой профиль.
Приглашения начали присылать довольно быстро. Приглашения бывают двух типов - проект еще не запущен и есть время на ознакомление с описанием проекта и списком известных проблем или проект уже запущен и можно сразу приступать к тестированию.
Приглашения приходят на емейл. После получения приглашения переходим на сайт и видим описание проекта: разделы приложения, которые нужно тестировать; число созданных проблем по каждому разделу, если проект уже запущен; расценки за найденные дефекты; платформы для тестирования; время начала и окончания проекта; количество известных проблем. А сам список известных проблем не доступен на этапе просмотра описания проекта, поэтому чтобы с ним ознакомиться нужно вначале согласиться на тестирование проекта. Количество участвующих тестировщиков в проекте нигде не указывается, но по ощущениям оно не сильно большое (в пределах 20-30 тестировщиков на проект). В целом конкуренция на проектах чуть выше средней.
После принятия приглашения становится доступным чат, где можно задавать вопросы по проекту и можно ознакомиться со списком известных проблем. TL отвечают в чате зачастую с задержкой. В чате отображается число онлайн участников, которое косвенно может указывать на число тестировщиков в проекте.
На этом этапе уже достаточно информации, чтобы принять решение об участии в тестировании проекта, при этом есть возможность покинуть проект, нажав соответствующую кнопку и кто-то другой сможет впоследствии присоединиться вместо вас.
На площадке есть система рейтинга, где подробно расписано за что начисляются или снимаются очки. Учитываются очки заработанные в течении последних 60 дней.
Много проектов, где нужно искать только критические или серьезные функциональные проблемы, соответственно таких проблем иногда очень мало, в итоге тратится время на их поиск, что может не оправдываться стоимостью проблемы.
Воспроизведение найденных проблем в проекте на других устройствах оплачивается, если исходный дефект выкупается и само воспроизведение принимается. Зачастую, воспроизведения проблем уходят в отказ по не понятным причинам и эти причины невозможно так просто узнать - они не указываются при отказе. Можно уточнить причину отказа в чате, но каждый раз спрашивать не хочется, при этом иногда такие вопросы остаются без ответов. Видимо, площадка считает, что это малоквалифицированная работа и не особо поощряет ее. Из опыта: отказы по восроизведениям проблем могут быть просто ошибочными, после вопроса в чате могут быть приняты.
По окончанию или уже в ходе проекта баги верифицируются TL, принятые баги отправляются заказчику, который принимает финальное решение о судьбе проблемы.
TL очень субъективны - в одном случае они отправляют серьезную проблему в отказ даже не отправив заказчику, чтобы он принял финальное решение, а в другом случае минорную проблему принимают, хотя в описании проекта явно указано, что минорные вне тестирования в этом проекте. Много поспешных отказов от TL, потом приходится вступать в переписку с TL, чтобы узнать почему отказали и оспорить отказ. В итоге получается лотерея, не можешь предсказать, что создавать. TL с неохотой отвечают на ваши комментарии по отказанным проблемам, поэтому лучше их сразу отравлять на ревью. Но и здесь возможны ситуации, что ревьюверы реальные проблемы отправят в повторный отказ не особо вникая в суть и разбираясь. В итоге нет ощущения, что все работают на результат для заказчика. А есть стойкое ощущение, что много необоснованных отказов на площадке для реальных проблем.
Заказчик также может отказать в проблеме, например, если она ему уже известна, но при этом в списке известных проблем на площадке она не была указана. Может отказать с формулировкой - по предоставленному описанию проблемы нет возможности ее воспроизвести и это не смотря на то, что TL и другие тестировщики могли успешно воспроизвести эту проблему. Правда, и TL с такой же формулировкой отправляют проблемы в отказ не смотря на ее воспроизведение другими тестировщиками. Все такие отказы нужно отправлять на ревью в надежде, что все же примут, и проблема будет оплачена.
Поэтому кючевой проблемой площадки является: слишком много отказов на всех этапах проверки багов. Приходится тратить много времени на осппаривание отказов, что не всегда приводит к принятию проблемы.
Если ваш дефект отправлен в отказ, то есть возможность отправить дефект на ревью, где его проверят и вынесут окончательное решение об его судьбе. Но, внимание, если на ревью отправили за месяц больше четырех проблем, то нужно чтобы процент принятых дефектов был больше 60, иначе весь следующий месяц вы не имеете права отправлять проблемы на ревью. Читаем - все ваши отказы с причиной "не могу воспроизвести" не будут оплачены. Не говоря уже о других отказах.
Доступные методы оплаты: PayPal, Skrill and the Bank Account (for US only).
Например, при оплате на счет PayPal взимается комиссия: с €230 комиссия около €10.
В целом не плохая площадка. Далее краткие итоги.
Плюсы:
- Довольно подробная информация о приглашенном тестируемом проекте.
- Есть чат, где можно задавать вопросы по проекту.
- Платят за воспроизведение проблем на других устройствах.
- Видно количество известных проблем до момента принятия приглашения для тестирования.
- Много разных проектов в разных стадиях тестирования.
Минусы:
- Много отказов на всех этапах проверки багов. Много тратится времени на оспаривание отказов. Психологически очень неприятно работать в такой обстановке.
- Общее довольно плохое отношение к работе тестировщиков со стороны TL: необоснованные и/или поспешные отказы, частое занижение критичности проблем.
- Заказчик может злоупотреблять отказами с формулировкой: проблема уже ему известна или по предоставленному описанию проблемы нет возможности ее воспроизвести.
- Система ревью далека от нормальной. Можно запросто быть заблокированным на весь месяц - считай работаешь бесплатно, в случае отказов, что описаны выше.
- Много отказов по воспроизведениям проблем, причины которых не представляется возможным узнать.
- Много проектов, где нужно искать только критические или серьезные функциональные проблемы.
- Количество тестировщиков в проекте не указывается.
- Нет возможности выводить деньги на Payoneer.
9 коммент.:
К минусам ещё можно отнести отвратительную работу финансового отдела. По правилам, до 19-го числа вы можете запросить выплату. Но, если по каким-то причинам не запросили, то выплата на следующий месяц. Вот, только из-за кривых рук или дурдома, который там твориться мои деньги уже с прошлого года зависли, а техподдержка кормит баснями про реструктуризацию финансового отдела. Обходите мимо эту площадку.
Но на Пионер можно выводить средства.
На Payoneer нельзя выводить.
Сообщал об очень серьезных ошибках, которые могут привести к SQL инъекции - были отклонены! Хотя на все 1000% уверен, что эту информацию они продают владельцам площадки.
другие проблемы на протяжении недели просили что-то там исправить, и так далее. Когда всё сделал по их неадекватным требованиям, это дошло до абсурда, начали писать, что изменений в оформлении не видят, хотя и видео другое, и скриншот добавлен.
Удалил свой аккаунт, благо это произошло быстро, и без лишних нервов.
Результат: неделя потраченной времени, в общей сложности было найдено 6 багов в двух проектах. 2 бага очень серьезные, и при желании с помощью них можно сломать систему - Ни один из них не был принят!
Результат: не тратьте своё время!
Можно, я выводил
Не советую. Какие то очень небольшие деньги скорее всего сможете заработать, но нервов уйдёт очень много.
Отказов больше половины, чтоб как-то уворачиваться, приходится подстраиваться под каждого TL ( Team leader, ваш начальник в проекте).
Например есть TL Victor, наверно «наш». Не разбираясь лепит отказы за вложения, ему вечно не нравится видео. Опытный делает видео 42 секунды, ему одобряют, новичек делает тоже самое на 38 секунд, отказ за слишком длинное видео. По идее достаточно скрина, но этот TL сразу реджектнет не глядя.
Есть TL с сложным именем, наверно индус. Общается в чате, решает вопросы. Но отклоняет баг, из-за своей глупости, просто сам ошибается в одном из пунктов баг репорта и лепит отказ.
Большая часть времени тратится на отслеживание судьбы найденных тобой багов, и последующих споров с TL.
Обучающие материалы очень скромные, требования не сказал бы что хорошо прописаны, каждый TL трактует по своему, один может жестко придираться, другой даже не обратит внимание на тоже самое.
Ради заработков и каких то долгих отношений, точно не стоит даже регистрироваться. Платформа подходит только для набора минимального опыта, просто посмотреть как это и что тут. Просидеть пару ночей, понять что дальше нет смысла, и забыть. Если память хорошая, то между 11 и 19-ым числами ближайшего месяца вспомнить и вывести свои пару евро. И окончательно забы(и)ть
Согласна с предыдущими комментаторами, не советую тратить время на этой площадке. что-то можно заработать, поучиться. Но факт остается фактом - они отвергают реальные и серьезные ошибки и я, думаю, продают их. Больше всего неприятно, что "врут они как дышат", прикрывая отказы как только можно и нельзя. Опытные имеют безусловные преимущества, у новичков будут постоянные отвергнутые баги. Всё так.
А как можно вывести деньги с test io?
Вот тоже ищу, инфы для русскоязычных не так много по выводу. По факту тоьько пайпэл.
Отправить комментарий