А как поднять статистику

[basilis]

Тут по соседству страдают от того, что слово "заработал" люди используют не в гармонии с тонкой душевной организацией топикстартера, у меня проблема посерьезнее.

В общем, я хочу немножко поговорить за сириус статистику и прочую аналитику на основе ее. Для иллюстрации возьму вот такой комментарий. В этой таблице есть, например, четвертая колонка. Что в ней? Процент пилотов колоды, прошедших во второй день. Что мы знаем из этой колонки? Процент пилотов заданной колоды, прошедших во второй день. Что еще? - Ээээ... все. Точнее не все, но узнавание чего-то еще требует совершенно непропорциональных усилий. Моя проблема в том, что подавляющее большинство людей считает, что оттуда еще что-то можно узнать и понять здесь и сейчас. Проблема в том, что есть люди, которые принимают на основании вот таких колонок какие-то решения, касающиеся многих. Например, банят карты (это еще лайтовый вариант - по роду своих занятий я наблюдаю куда более серьезные решения, принимаемые на куда более идиотском анализе куда более идиотских данных). И то, что у них, быть может, статистика 101 за спиной и они могут посчитать среднеквадратичное отклонение или даже посчитать,  достаточна ли большая выборка их большая выборка, ничего не меняет.

Надо понимать, что ты собираешь и что выйдет из этого. Ну т.е., не знаю, если вы over 9000 раз перепутали при измерении фазовую скорость и групповую, с ошибкой меньше стапицот сигм получив при этом превышение скорости света, это не значит, что вы опровергли специальную теорию относительности.

Про конверсию с про-тура. Если мы хотим по конверсии оценить "крутизну" колоды, то беда даже не в драфтовых раундах, там и в малости выборки уже большие сложности - не так много игроков и выходит большой вес отдельно взятого матча.

Про баны. Представим такую ситуацию: перед выходом сета есть тир1 агрессивный моноред. Ему издают два прямых апгрейда, для надежности в слоте коммона. В остальные тир 1 деки прямых апгрейдов нет, их надо как-то перестраивать, возможно появляются еще и новые архетипы. В этой ситуации в модо после первой недели статистика может показывать тотальнейшую доминацию монореда и в присутствии в мете и в винпроцентаже, просто потому что для усиления монореда ничего не надо придумавать, для остального надо, к тому же новые колоды, пока находятся в стадии конфигурации и оптимизации, обычно уязвимы к агрессии (долгие матчи сильно выравнивают расклады, поэтому дыры с контролем можно вообще и не заметить). Опять же не забываем про фактор цены. И тут возникает проблема, что либо принимающий решение понимает вес всех этих факторов (статистически их очень, очень сложно выцепить), и статистика ему довольно бессмысленный костыль, либо не понимает, и он может забанить колоду, которая еще через неделю даже тир 2 не будет. Весь опыт наблюдения за- и взаимодействия с визардами говорит, что нам скорее пока везет, а не кто-то там умный.

Та же фигня с матчапами. Например: правильная общая стратегия игры матчапа может быть даже не общеизвестной, соответственно чем больше выборка по матчам условных рандомных людей, тем больше будет расхождение с опытом серьезных пацанов (ну мы тут все серьезные компотитив пацаны, да?).

Я это к чему - не все красивые таблицы/картинки с числами несут мало информации, но помните, что регулярно они несут куда меньше информации, чем кажется на первый взгляд (ну или несут совершенно иную информацию) . Включайте голову, короче:)

 

Изменено 9 февраля 2018 пользователем basilis

[maddy]

Плюсанул от души)

[drinkycrow]

Хочу рубрику "плохая статистика". Чтобы Василий брал всякие статистические статьи, типа обоснований банов и критиковал их.

Блин, кто-то из модераторов испортил мой пост :( Короче, имелась в виду не совсем критика, а чтобы с шутками-прибаутками, экспрессивными выражениями и пассажами о том, какие все в вотк дебилы. Зажигательно чтобы было, короче. Пятнично.

Изменено 9 февраля 2018 пользователем drinkycrow

[Nazar]

Я что-то упускаю, видимо, но из того, что читал я (и это вполне может как быть правдой, так и нет) относительно выборки, на которой принимаются решения, то используются полноценные спредшиты винрейтов. Я хщ делают ли они там дискриптив статистикс,  хотя я уверен, что базовая диаграмма парета с правильно выбранной зависимой переменной покажет основные проблемы, которые несложно интерпритировать. Про ковариацию винрейтов в разных парах я, кстати, прям где-то даже читал у кого-то из фронтфэйс вотков. Ну и да, тестинг тима обещала делать свои спредшиты с результатами по плей/дро и выборкой по отдельным картам, что, в теории, дает неплохую базу для регрессии и ановы. 

Я к тому, что какая разница, что в каких табличках? Сами по себе таблички - это первый уровень. Аналитика всегда требует какого-то синтеза и вопрос всегда в правильном выборе соотношения переменных и правильной интерпретации количественных результатов. Это не работа никого из тех, кого показывают по мтг-тиви. Или ты хочешь сказать, что в компании с оборотом в 8+ цифр нет маркетолога с профильным математическим образованием и они не платят внешнему консалтеру за такую работу? Ну с это как-то с большим трудом верится...

энивэй. Если тебя с этого бомбит, можем в свободное время провести такой эксперимент: вся инфа по типу времен марвела/котокомбо/хуманов есть. Можем посидеть за выборкой и подумать как следать регрессию по конкретным картам в винрейте. Посмотрим, то ли забанили:) выглядит все цивильно +-, а я в такие совпадения не верю, например.

[basilis]

Ну я не уверен, что ты прав по поводу легко интерпретировать и по поводу того, что там все вообще легко моделируется (но тут, справедливости ради, мне может просто не хватать образования). Хотя бы потому, что у меня в голове есть приблизительное видение, как построить ситуацию, где по числам вообще все норм, а по факту надо полформата банить.

Кроме того, у меня есть некоторые сомнения, что у них вообще критерии бана формализованы.

Все что я читал по поводу у вотцов немножко вызывало оторопь (если есть ссылки на разумное, я с удовольствием почитаю).

Я вполне верю, что они платят непропорционально много за сложную модель, которая дает приблизительно ту же точность оценки, что опрос отдельно взятого Сэма Блэка - что банить, это как раз в их духе. При этом они ее как-нибудь через задницу используют обязательно.

По моему инсайду - самое удивительное, что у них оборот 8+ цифр при том, какая у них там аналитика.

Я не знаю, зачем обсчитывать бан кота и марвела:)

Изменено 10 февраля 2018 пользователем basilis

[drinkycrow]

Насчет банов я встречал мнение, что проблема не в коптере, не в уламоге на четвертый, не в коте, а в картах вокруг них - у всех этих дек практически одинаковый шелл, на одной и той же механике(энергия) и в схожих цветах.

[korw]

Вася, пиши яснее! Я, вроде, себя мню математиком, но не смог понять, чего же ты хотел сказать.

[Erfar]

Самое интересное что Марвел то пофикшен весьма сурово. Абрейды, натуралайзы, дюресы, нигейды, форкасты есть ответы во всех цветах. Атюна для стабилизации нет, роги как темпокричи нету, уламогов как ультимативно марвелом нету. ИМХО Марвел уже не был бы так суров и ультимативно без этого шела. 

[basilis]

Назар, к нашему разговору:

https://magic.wizards.com/en/articles/archive/magic-digital/improving-our-approach-magic-online-data-2018-02-12

У них явно есть какая-то навороченная модель и явно нет мозгов:)

[kremen]

В 10.02.2018 в 19:53, korw сказал:

Вася, пиши яснее! Я, вроде, себя мню математиком, но не смог понять, чего же ты хотел сказать.

Вася прекрасен как он есть!

Дочитать не смог, так что просто плюсанул