Статистика в магии не работает или почему нынешние статьи про магию – фигня

[basilis]

Дисклеймер: тема большая, но я поймал себя на том, что хотя у меня батхерт давно и я грозился написать про это сто раз, так и ничего не написал. Поэтому коротко пишу в обеденный перерыв на работе, пока есть настроение (надо себя заставлять, ага), чтобы при случае продолжить, ну или хотя бы запустить широкую общественную дискуссию.

 

В нашем светлом будущем статьи генерить очень просто – думать не надо, надо говорить “смотрите, какая у меня большая дата”, опционально можно разбавить это бессмысленной инфографикой. Причем какой-либо анализ подменяется предположением, что большие циферки хорошо, а маленькие – плохо.

Это приводит меня совсем в ярость, потому что, вообще говоря, читатели статей – люди, играющие значительно выше среднего, или люди, которые активно хотят играть лучше (ключевое слово – активно, и это уже очень много). И все такие статьи прямо бьют по уровню игры этой аудитории, приучая к в корне неверным подходам.

Не подумайте, что я тут предлагаю заменить теорему Байеса альтернативной теоремой Василия С. и на этом построить новую математику, лучше прежней; если очень грубо формулировать, проблема всех (UPD. извините, это я в пылу праведного гнева загнул) статистических магических статей, что даже их авторы не представляют, где находится среднее, а уж читатели и подавно. И меня БЕСИТ-БЕСИТ-БЕСИТ, что все делают вид, будто это не так и все в порядке.

Беда происходит как в анализе констрактеда, так и в анализе лимитеда.

Сначала про лимитед.

У вас в статистике (кстати, исходно сдвинутой, потому что люди играющие с трэкером в среднем лучше людей без трэкера, и это должно быть очевидно, но оно если и упоминается авторами чудо-статей, то как невероятно нетривиальный факт) есть люди, которые совершенно не представляют, что они делают, есть люди, которые играют заведомо лучше вас, где вы относительно этого всего безобразия – совершенно неизвестно, может для вас конкретная карта будет работать, может нет, заведомо считать, что какая-то цифра вам поможет оценить карту - неверно. Но это полбеды, проблема в том, что у каждой ситуации структура распределения может различаться очень радикально, поэтому, например, сравнение циферки винпроцентажа по приходу у двух разных карт само по себе не говорит приблизительно ничего (грубо говоря, существо 10/10 за 1 ману приблизительно одинаково хорошо у всех, но есть карты, про которые надо очень, очень хорошо понимать, зачем они в колоде лежат, и только тогда они сломы).

В целом, несмотря на рост количества прямолинейно отбитых бомб, драфт все еще про сбор не отдельных карт, а колоды в целом. И вычленение некоторой абстрактной ценности карт уже идейно само по себе не очень хорошо, но чтобы это сделать разумно, нужно танцевать и танцевать с бубном. Авторы чудо-статей не танцуют, у них же проценты есть, они все показывают.

Вообще, понимание того, какие карты нужны в вашей конкретной колоде – главное для умения драфтиться выше определенного уровня. И читатели статей этого уровня заслуживают, а их кормят практически противоположным.

Про констрактед.

Матрицы матчапов – совершенно феерическая штука. С какого-то момента там начали доверительный интервал включать, что наивную публику немножко дополнительно обманывает, придавая статистике более значимый вид.

Есть матчапы, которые играются очень прямолинейно, вклад умения в результат матча там минимален. Есть матчапы, которые вообще чисто про исполнение.

Более того, разница в 4 сайдовые карты может практически полностью перевернуть матч, группировка по архетипам же в таких “анализах” идет по принципу “у колод цвета совпадают – один архетип”.

И опять же вы совершенно не знаете, как оно все внутри распределяется и куда вас заведет среднее.

Та же фигня с изолированными винпроцентажами колоды. Я напоследок даже пример приведу.

Представьте, что меня запихнули на турнир по неизвестному мне, но сильно скилловому формату с 15 лучшими игроками мира. Я на этом турнире сыграл 125542145214521452145 матчей, но поскольку ленив и туп, ни фига не прогрессировал в умении играть колодой. Колодой играл я один.

По результатам этих всех матчей винпроцентаж колоды, например, 42%. Худшая колода турнира, вот это все. Мне наверное не надо вам объяснять, что если учесть вводные данные, то это может быть адским сломом формата, тиром 0 и кандидатом на бан? (“может быть” только потому, что мне лень точнее прописывать исходные условия и строго исключать случаи вроде нестабильных неинтерактивных комб, значительно опережающих по скорости формат).

На этом мой тед-толк завершается.

ТЛДР – авторы совсем стыд потеряли и чатгпт вместо них уже сейчас будет улучшением; когда вам подсовывают статистику, задумывайтесь над нюансами ее интерпретации, автор этого не делает практически никогда (те, кто делает – молодцы)

Изменено 22 мая 2023 пользователем basilis

[Nazar]

Резервирую под яростный спор…

red.

Тэкс... ну во-первых спасибо за статью - интересная тема, есть что пообсуждать. Отмечу тот факт что наблюдения за статистикой и интерпретация безусловно требуют экспертизы и бездумно этим заниматься вредно, тут согласились.

Как говорил один вдумчивый и профессиональный руководитель:

Скрытый текст

 

Но, стоит также сказать, что Василий является жертвой сразу нескольких когнитивных искажений, проистекающих как ни странно из его опыта.

Говорить о том, что статистика в магии не работает это очень непонятное мне обобщение - статистика в магии отлично работает, это вообще единственное что в ней работает. То что ты умеешь видеть и пользоваться нюансами поверх статистики вовсе не говорит о том, что она бесполезна, а только о том, что у тебя есть более объективные инструменты в силу наигрыша.

Если конкретно, то короткий вывод должен быть такой, я полагаю: Статистика в магии позволяет избежать наиболее чувствительных потерь (без учета распределения вероятностей и tail-рисков). На этом все. Конечно, статистика и наблюдения на дистанции не позволят вам стать ЛСВ, но они позволят вам в незнакомом формате, новом лимитеде или взяв незнакомую деку, не делать откровенных глупостей и автоматом получить что-то около медианы результата (опять же без учета распределения вероятностей).

Хорошим примером тут будет сайдборд гайд. Вот отличный пример от канистера: 

Скрытый текст

 

 

Короткий информативный гайд, который дает вам набор наблюдений, основанный на анализе И статистике (статистическая компонента тут касается листов, паттернов игры и сайдбордных стратегий). Очевидно, что вариантов вагон и в блидах и в сайдпланах и в плейпаттернах. Также очевидно, что с чего-то надо начинать, можно конечно, самому шишек набить, но кажется, что гораздо проще взять чью-то статистику.

То же самое касается и оценки карт в лимитед. Статья Арсения про ансаммон - отличный пример. Многое из того, что сичтается само-собой разумеющимся для лимитедных про, вообще неочевидно для обычных игроков. Для них взгляд на лимитед сквозь пикордер вообще может быть разницей между накрабил на 1-2 и 3-0 стабильной агро-дечкой.

Вот что касается искажения статистики - тут, конечно, спорить сложно. Кто и как собирает данные - это большой вопрос. Тем не менее, на мой взгляд ожидать что куча народу умышленно подкручивают трекер я бы не стал - это иррационально. В связи с этим, я доверяю большей части наблюдений, если они не кажутся мне крайне нелогичными - тогда лучше проверить, что под капотом.

Итого: проблема не в статистике, а втом, что вы ожидаете от нее. И статьи они не для про и задротов, они для среднего игрока в магию, который должен прочесть, что руку без эквиппера кипать не надо в 7 если ты играешь молотками (есть нюансы!! но до них дойдешь позже, когда научишься не кипать руку без эквиппера). Это влияет на винрейт, влияет на дисциплину решений, влияет на понимание того, что какие бы ты решения в мтг не принимал, выиграешь ты 6 из 10 эт бест. И это прекрасно. 

В связи с чем - Вася прав, конечно, для него статистика в статьях не нужна и бессмысленна по большей части, но камон, Василий, для 99% игроков она реально полезна, если они просто будут делать что написано.

Изменено 22 мая 2023 пользователем Nazar

[Bawerus]

Про констрактед решается тем, что в основном там статистика с топов челленджей, а значит тейк про умение слабо уместен, но вообще при смене сборки винрейт меняется, но нужно время что бы он менялся для всего архетипа и на сайтах со статистикой. 

[basilis]

5 минут назад, Bawerus сказал:

Про констрактед решается тем, что в основном там статистика с топов челленджей, а значит тейк про умение слабо уместен

Это довольно сильное предположение и довольно ошибочное заодно. Плюс к тому же все еще остается вопрос, как транслируются приведенные проценты для случая читателя, он же ждет от статьи, что ему помогут сделать выбор колоды. Мне не кажется, что если читатель ждет тех же процентов при исполнении колодой (что бы это ни значило), то он сам виноват.

Но вообще даже проговаривание границ анализа и причин выбора таких границ неизмеримо лучше текущей ситуации.

[Gallexy]

"У вас в статистике (кстати, исходно сдвинутой, потому что люди играющие с трэкером в среднем лучше людей без трэкера, и это должно быть очевидно, но оно если и упоминается авторами чудо-статей, то как невероятно нетривиальный факт"

Я несколько раз уже людям в чатиках пытался это донести эту мысль, но не все в это верят.

А еще я ради прикола сделал колоду 60 островов и собирал положительную стату этой колодой - просто ждал, пока опп ливнет, а если не ливал из игры я трекер отключал, чтоб не засчитывало поражение.

[Daedr]

52 минуты назад, basilis сказал:

результатам этих всех матчей винпроцентаж колоды, например, 42

Если это едх то очень круто!

[basilis]

8 минут назад, Gallexy сказал:

Я несколько раз уже людям в чатиках пытался это донести эту мысль, но не все в это верят.

Я сейчас не могу проверить, но мне казалось, что просто есть открытые данные про средний винрейт пользователей трэкера - и он больше 50%

(в принципе это очевидно и из общих соображений, но так совсем наглядно)

[Bawerus]

36 минут назад, basilis сказал:

Это довольно сильное предположение и довольно ошибочное заодно. Плюс к тому же все еще остается вопрос, как транслируются приведенные проценты для случая читателя, он же ждет от статьи, что ему помогут сделать выбор колоды. Мне не кажется, что если читатель ждет тех же процентов при исполнении колодой (что бы это ни значило), то он сам виноват.

Но вообще даже проговаривание границ анализа и причин выбора таких границ неизмеримо лучше текущей ситуации.

Есть прекрасный сайт mtgmeta, он парсит статистику с челленджей, насчёт статей прошников не уверен. 

[Gallexy]

1 минуту назад, basilis сказал:

Я сейчас не могу проверить, но мне казалось, что просто есть открытые данные про средний винрейт пользователей трэкера - и он больше 50%

(в принципе это очевидно и из общих соображений, но так совсем наглядно)

Ну да, зачем мне трекер, если я и так знаю, что плохо играю. 

[basilis]

53 минуты назад, Nazar сказал:

Резервирую под яростный спор…

Жду. Я не думаю, что яростный спор будет, но я не очень доволен формулировками, которые на ходу сочинил. Меня наверное больше всего бесит, когда люди неявно имплицируют интерпретацию, а по сути вообще ничего кроме сырых данных не выдают.

[basilis]

11 минут назад, Bawerus сказал:

Есть прекрасный сайт mtgmeta, он парсит статистику с челленджей, насчёт статей прошников не уверен. 

И что вам дает эта статистика, расскажите. Вы заблуждаетесь, считая, что уровень игроков не скачет. В случае челленджей есть ненулевое влияние (тоже очень сильно скачущее от случая к случаю) результатов предыдущего челленджа на результаты следующего, это делает интерпретацию несколько, извините, челленджин, если мы будет брать вышедшие средние значения.

[legion]

Есть выход: игнорировать статьи, идти на 17lands и ручками все, ручками.

[Nazar]

1 час назад, basilis сказал:

Жду. Я не думаю, что яростный спор будет, но я не очень доволен формулировками, которые на ходу сочинил. Меня наверное больше всего бесит, когда люди неявно имплицируют интерпретацию, а по сути вообще ничего кроме сырых данных не выдают.

поправил свой пост вверху

 

[basilis]

8 часов назад, Nazar сказал:

поправил свой пост вверху

 

Мне кажется, что как раз у тебя искажение основанное на опыте - ты не читаешь случайных людей, бгг. А я периодически тыкаю в случайные статьи в дайджесте и волосы дыбом встают (особенно если в описании есть слово "анализ"). Я не могу сказать, что это чисто из-за наличия доступа к данным возникло, но есть заметный тренд движения от формата статей, где шарящий чувак рассказывает про формат, деку, этц (тут не принципиально, как шарящий чувак пришел к своим знаниям, статистика тут может быть очень большим бонусом, потому что ему ее интерпретировать куда проще), к формату статей, где рандомный дебил приводит 45675467456745675476546745675467 чисел, пишет вокруг ничего не значащих слов, и делает вид, что он на основе статистики сделал всем хорошо. Проблема в нормализации такого метода. И у меня очень субъективное ощущение, что разумных слов вокруг чисел становится все меньше. Тут есть естественная проблема, что этот контент генерить проще и авторов найти проще (ну и соответственно можно их за еду заставлять работать), а спрос с авторов за фигню приблизительно никакой. Вот я не выдержал и спросил.

Изменено 23 мая 2023 пользователем basilis

[Nazar]

@basilis так это не проблема статистики - это проблема качества контента  тогда фокус в первом посте надо было сместить с вопроса "статистика не нужна" на "авторы не нужны"

[basilis]

34 минуты назад, Nazar сказал:

@basilis так это не проблема статистики - это проблема качества контента  тогда фокус в первом посте надо было сместить с вопроса "статистика не нужна" на "авторы не нужны"

Ну не совсем так. Проблема еще в том, что люди верят, что если в стране дураков колода А имеет винрейт 56%, а колода Б 53%, то тут единственный возможный вывод - всем надо взять колоду А. И авторы статей либо из этих людей, либо цинично таковыми прикидываются, и статьи у них по содержанию такие - вот есть колода А, она из 100 раз выигрывает 56, а еще синенькая; вот колода Б, она выигрывает меньше и это жабы - вот какой у меня исчерпывающий обзор формата, до новых встреч, дорогие читатели. Кто понаглее, тот еще вывод явно проговаривает.

И нередко никакого запредельного уровня игры не надо, чтобы эта подразумевающаяся рекомендация по колоде была плохой.

В констрактеде я думаю с такими статьями чуть легче, в лимитед совсем трэшак (привет бесконечным топ 10 андеррейтед карт и тир-листам, что самое обидное, в таком теряются нормальные статьи даже на те же темы). В констрактеде правда есть увлекательные люди, играющие по двадцать часов в день, подходя к процессу в 100 раз серьезнее оппонентов, и говорящие: смотрите какой винрейт у моей деки, все срочно берите ее, я сломал формат. Повторять процесс каждую неделю с новой колодой, контент-то сам себя не создаст.

Изменено 22 мая 2023 пользователем basilis

[TheFamilyMan]

Это что, тизер нового сезона Топдек Анлимитед? 

[SadSido]

Блин, не могу не поделиться историей. Работал я в крупной софтверной компании, и пришёл к нам на проект новый менеджер. В первую очередь он занялся тем, что попросил программистов обложить все действия пользователей метрикой, чтобы потом "собрать статистику". Окей, обложили, собрали. Он денёк другой поковырялся с данными и выдал презентацию, в которой было примерно следующее: "фичу "А" использует 9.5% пользователей. Это крайне мало, фичу надо выпилить. С другой стороны, фичу "Б" использует 7.3% пользователей. Это крайне мало, фичу надо доработать". Я его в общем чатике и спросил, мол, почему фичу Б использует меньше людей, и мы её будем дорабатывать, а фичу А - больше людей, и мы её выкинем? И он мне снисходительно так ответил: эх ты, мол, деревня! Числа вообще не важны, важно, какие выводы ты из них делаешь!

Запомнив эти простые, но в то же время великие слова, разберём проблему с Magic. Дело тут не в статистике и не в авторах, и вообще ни в чём. Данные сами по себе достоверные, авторы (которым нужно как-то выжимать из себя статьи) вполне искренне вам их предоставляют. Дело тут в читателях, которые из этих данных делают неправильные выводы. Если автор написал вам, что у условных Hardened Scales винрейт против Boomer Jund, скажем, 55% -- это не значит, что вы (играя исключительно FNM исключительно в полутрезвом состоянии) сможете выиграть 55 игр из 100 у вашего кореша с джандом. 

[goodspeed]

Ребят, а эти статьи, о которых говорит автор, они с нами здесь, в этом треде?

[basilis]

10 минут назад, SadSido сказал:

Блин, не могу не поделиться историей. Работал я в крупной софтверной компании, и пришёл к нам на проект новый менеджер. В первую очередь он занялся тем, что попросил программистов обложить все действия пользователей метрикой, чтобы потом "собрать статистику". Окей, обложили, собрали. Он денёк другой поковырялся с данными и выдал презентацию, в которой было примерно следующее: "фичу "А" использует 9.5% пользователей. Это крайне мало, фичу надо выпилить. С другой стороны, фичу "Б" использует 7.3% пользователей. Это крайне мало, фичу надо доработать". Я его в общем чатике и спросил, мол, почему фичу Б использует меньше людей, и мы её будем дорабатывать, а фичу А - больше людей, и мы её выкинем? И он мне снисходительно так ответил: эх ты, мол, деревня! Числа вообще не важны, важно, какие выводы ты из них делаешь!

Запомнив эти простые, но в то же время великие слова, разберём проблему с Magic. Дело тут не в статистике и не в авторах, и вообще ни в чём. Данные сами по себе достоверные, авторы (которым нужно как-то выжимать из себя статьи) вполне искренне вам их предоставляют. Дело тут в читателях, которые из этих данных делают неправильные выводы. Если автор написал вам, что у условных Hardened Scales винрейт против Boomer Jund, скажем, 55% -- это не значит, что вы (играя исключительно FNM исключительно в полутрезвом состоянии) сможете выиграть 55 игр из 100 у вашего кореша с джандом. 

Каждый, кто работал со статистикой, знает, что если данные долго насиловать, то они покажут что угодно, особенно заранее придуманный результат.

Я ОЧЕНЬ, ОЧЕНЬ не согласен, что спрос тут исключительно с читателей. Авторы либо ждут, что читатель такой вывод сделает, либо сами в него верят. Потому что иначе возникает вопрос, а в чем статья, если кроме этой информации в ней ничего нет.

[Nazar]

7 минут назад, basilis сказал:

Каждый, кто работал со статистикой, знает, что если данные долго насиловать, то они покажут что угодно, особенно заранее придуманный результат.

If you torture data long enouph, it will confess (c)

40 минут назад, basilis сказал:

Ну не совсем так. Проблема еще в том, что люди верят, что если в стране дураков колода А имеет винрейт 56%, а колода Б 53%, то тут единственный возможный вывод - всем надо взять колоду А. И авторы статей либо из этих людей, либо цинично таковыми прикидываются, и статьи у них по содержанию такие - вот есть колода А, она из 100 раз выигрывает 56, а еще синенькая; вот колода Б, она выигрывает меньше и это жабы - вот какой у меня исчерпывающий обзор формата, до новых встреч, дорогие читатели. Кто понаглее, тот еще вывод явно проговаривает.

И нередко никакого запредельного уровня игры не надо, чтобы эта подразумевающаяся рекомендация по колоде была плохой.

В констрактеде я думаю с такими статьями чуть легче, в лимитед совсем трэшак (привет бесконечным топ 10 андеррейтед карт и тир-листам, что самое обидное, в таком теряются нормальные статьи даже на те же темы). В констрактеде правда есть увлекательные люди, играющие по двадцать часов в день, подходя к процессу в 100 раз серьезнее оппонентов, и говорящие: смотрите какой винрейт у моей деки, все срочно берите ее, я сломал формат. Повторять процесс каждую неделю с новой колодой, контент-то сам себя не создаст.

Ну, справедливости ради, в этом посте написано, что правды нет и виноваты все. Потому что не используют голову. Согласились, но тогда про что крик души, в первом посте?

[basilis]

Я кстати вспомнил, когда в прошлый раз собирался поднять эту тему. Когда был скандал Карлсен-Ниманн, все резко стали шахматными дата-аналитиками. И меня неприятно поразило тогда, что даже более безумные заходы чуть бережнее обращались с интерпретацией данных, чем магические авторы. 

[Prischepka]

Кратко о манипуляции статистикой

[CrazzyJagger]

@basilis 

1) наверное, стоит начать с бородатого анекдота (года эдак из 2001..2003) "согласно интернет-опроса 99% людей пользуются интернетом". В этом самая большая проблема статистики - селективность выборки (метода отбора исходных данных) на 80% определяет результат.

2) если же без смечучёчков, то начать стоит с того, что, в большинстве своем, статьи, основывающиеся на статистике (анализ пикрейтов в лимитед, матрицы матчапов, етц), ориентированны на тех, кому влом врубать моск. НО... вам не кажется изначально странным, что в игре, предполагающей активное использование мозга, есть значительный пласт людей, которые не хотят включать моск, играя в неё?
Собственно, наличие таких статей - всего лишь ответ на потребность в них. А вот потребность в них говорит о упомянутой группе "прослоек между стулом и клавиатурой".

3) Теперь о специфике. Как ни странно, но в случае БО1 + повального нетдекинга матрица матчапов - достаточно неплохой инструмент (особенно там, где эта матрица собирается выше платины).
Т.е. да, ты можешь нарваться на rogue-карты у оппонента, которые заметно смещают матчап, но на длинной дистанции ты будешь боль-менее соответствовать статистике. Хотя опять же - при условии, что ты имеешь желание извлекать опыт и развиваться (как минимум, если хочешь играть деками с развитым деревом решений). Но даже если ты тупенько, пытающийся играть в "очко" на контроле/тулбоксе - твоя  личная статистика все-равно будет заметно коррелировать с матрицей матчапов (просто будет сильно ниже: не в разбросе условных 35..70%, а в разбросе, скажем, 10..50% - но профиль будет весьма схожий).

 

Теперь пару слов о п.2: 
Наличие в Арене режимов БО1 очень способствует увеличению этой группы лиц - с одной стороны. С другой стороны - именно наличие БО1 делает Арену особо привлекательной и вовлекает массы новичков в МТГ. На собственном примере: при наличии маленького ребенка я не имею уверенности, что смогу полноценно отыграть БО3 (пусть даже 2:0 или 0:2, не говоря уже про третий матч) без того, что меня не отвлекут в процессе. Плюс к этому меня в последние пару месяцев несколько подзавалило работой и сыграть БО1 в качестве перерыва между задачами - норм, а БО3 - это перебор.

Изменено 23 мая 2023 пользователем CrazzyJagger

[Nazar]

@CrazzyJagger Мне вполне нормально включать мозг, но, допустим при подготовке к гп/пт я с удовольствием воспользуюсь пикордером от про команды или парой хороших листов в новом типке. Просто чтобы больше времени осиалось на осмысленный тестинг, а не на перебор вариантов, чяднт?