Прикладная статистика в магии

[context_noiz]

Всем привет!

 

Последнее время на магию уделять много времени не получается, а способную деку иметь хочется. Читать отчеты прошников, конечно, интересно, но как и в любом гуманитарном знании, имхо конкретного автора (если что, я далеко не противник этого!) там часто стоит выше объективных факторов, которые именно для декбилдерства, как мне кажется, имеют первостепенную роль. И даже утверждения известных людей вида "В этой деке нужно не 4 копии карты Х, а 3, потому что Y" постоянно ставят меня в тупик, поскольку их обоснованность в конечном счете весьма сомнительна в силу субъективности.

 

В связи с этим и тем, что я немного программирую, я попробовал приспособить избыточные компьютерные мощности в качестве вспомогательного инструмента для декбилдинга. Мои исследования начались совсем недавно и пока я не двигался дальше простеньких статистических экспериментов с одной декой. В планах попробовать написать небольшой симулятор, который позволил бы тестировать произвольные деки друг против друга. Разумеется, я не планирую заниматься полноценным ИИ к магии, который был бы способен обыгрывать любого прошника, на это не хватит никаких сил ресурсов и вообще над дип блю работало огромное количество людей. Несмотря на это, как показывает практика, какая-то статистика гораздо лучше, чем никакая, или, что в моем случае то же самое: долгое нудное сидение и вытещивание дек в инете или с друзьями.

 

Если у кого-нибудь есть конструктивчику по данному вопросу, милости просим.

Кроме того, может быть кто-нибудь слышал о применении прикладных статистических методов в магии? Какая-нибудь вариация метода монте-карло для оценки способности одной колоды против другой? Может быть кто-то уже сейчас пользуется статистическими методиками помимо банальных? Если не жалко, поделитесь.

[BioLogIn]

(я аж залогинился от ужаса)

 

context_noiz

Внезапно - пилоты разного уровня могут исполнять теми же 75 картами совершенно по-разному. Ну померял кто-то, как псевдо-ИИ играет колодой А против колоды Б, генеря случайные опции каждый ход. Это не дает никакого представления о том, как эти колоды играют, если их пилотируют люди, которые вооружены хотя бы годовым опытом игры и соответствующими накопленными эвристиками. Поэтому полученный в текстах с друзьями результат 4 на 6 куда информативнее натесченного генератором случайных чисел 666666 на 333333... да и играть колодой в процессе тестов можно случайно подучиться.

 

Чуть обобщая - багаж игрока в магию состоит из _огромного_ количества эвристик, как самых общих (лучше играть инстанты в конце хода оппонента) так и матчап-ориентированных (в деке оппонента много ремувала, поэтому перед ключевым в этом матче существом нужно сыграть другое, чтобы выманить), и из рамок применения этих эвристик. Попытка поиграть в магию методом Монте-Карло занятная, но, учитывая количество возможных точек ветвления (передач приоритета) довольно легко (точнее - довольно сложно) представить, сколько понадобится опытов, чтобы "оттестить" хотя бы один матчап, и сколько понадобится эвристик, чтобы отсечь хотя бы очевидный человеку с минимальным опытом игры "мусор" (чтобы полученный результат имел хотя бы что-то общее с реальной магией). И количество работы, которая потребуется, чтобы хотя бы эти эвристики запрограммировать.

 

Тут еще была стена текста про годность дек в сферическом вакууме, про метагейм и т.д. И про то, что магия, в отличие от тех же шахмат, игра с закрытой информацией и психологией. Но в общем это такие банальности, что их даже неудобно как-то проговаривать, да и на фоне вышеозвученного это такие мелочи...

Изменено 22 июля 2012 пользователем BioLogIn

[context_noiz]

 

Школа капитанов Разумеется, все эти вещи мне известны и понятны. Я скажу больше, я слышал нечто похожее о различных областях: от прогнозирования экономических показателей компаний (собственно диссертация у меня именно по этой тематике) до предсказания погоды или построения роботов, играющих на биржах. В целом, насколько мне удалось понять, такие рассуждения в первую очередь вытекают из недоверия людей к статистике как таковой. Люди считают, что мир (или хотя бы некая отдельная карточная игра, как часть этого мира) очень сложен и непредсказуем, и какие-то редуцирующие методики типа статистики ничего особого нам не дают. С этим можно отчасти согласиться, ведь, например, к пониманию сути, они действительно дают не так много. Но вот с практической точки зрения тем не менее оказываются крайне полезны (примеры, я надеюсь, приводить не нужно).

 

Теперь по существу:

"Внезапно - пилоты разного уровня могут исполнять теми же 75 картами совершенно по-разному. Ну померял кто-то, как псевдо-ИИ играет колодой А против колоды Б, генеря случайные опции каждый ход. Это не дает никакого представления о том, как эти колоды играют, если их пилотируют люди, которые вооружены хотя бы годовым опытом игры и соответствующими накопленными эвристиками. Поэтому полученный в текстах с друзьями результат 4 на 6 куда информативнее натесченного генератором случайных чисел 666666 на 333333... да и играть колодой в процессе тестов можно случайно подучиться."

 

- Конечно, да. Однако у "генератора" (назовем его так) есть несколько неоспоримых особенностей:

1. Будучи написан, он практически не требует времени и ты можешь не отходя от кассы провести эксперимент с пришедшей 5 минут назад в голову идеей, а не тратить несколько лишних часов жизни на оценку ее жизнеспособности.

2. Задача генератора не в том, чтобы понять, как конкретно ты играешь с кем-то (и уже тем более не научить тебя играть!), а в том чтобы оценить в вакууме или в заранее созданном синтетическом контексте, насколько то или иное решение хорошее или плохое. Разумеется, качество таких оценок очень зависит от конкретной реализации, но непреодолимых фундаментальных проблем здесь нет.

3. Накопленные жизненным опытом эвристики вполне поддаются учету при написании геренатора. Я даже когда-то затевал написать бота под mws, который бы лазал спектатором по играм и сохранял их логи, на которых можно было бы потом замутить неплохой data и process mining, но тогда, к сожалению, не сложилось. Поверьте, безумное количество комбинаций в чем-то - еще не аргумент для отказа от исследования. Есть такая красивая метафора, вполне описывающая как зачастую человек взаимодействует с реальностью: на широком поле было две дороги - одна вдоль, другая поперек. То есть число комбинаций хоть и огромно, но люди выбирают достаточно небольшой набор стратегий, вполне поддающийся учету (это разумеется относится далеко не только к магии).

 

"и сколько понадобится эвристик, чтобы отсечь хотя бы очевидный человеку с минимальным опытом игры "мусор" (чтобы полученный результат имел хотя бы что-то общее с реальной магией)"

- Отсекать мусор вполне реально. Опять же, вопрос как к этому подойти в конкретной ситуации, но фундаментально здесь нет проблем.

 

 

"И количество работы, которая потребуется, чтобы хотя бы эти эвристики запрограммировать."

- Разумеется работа не на 2 часа! Но это, во-первых, интересная работа и, во-вторых, если она грамотно проведена, то имеет шанс существенно сократить временные затраты в будущем, причем не одному человеку.

 

"годность дек в сферическом вакууме"

- Никто не говорит только о вакууме. Регулировать контекст волен создатель генератора по мере своих возможностей. Если у тебя в клубе все играют делверами, то нет нужды проводить эксперименты против UB и т.д.

 

"И про то, что магия, в отличие от тех же шахмат, игра с закрытой информацией и психологией."

- Про игры с закрытой информацией я в курсе, а вот про закрытую психологию не слышал... то есть скорее не слышал про открытую психологию, поскольку любая психология как мне кажется вполне себе закрыта. Вопрос в том, насколько закрытая информация непредсказуема. И что самое главное, насколько сами правила являются закрытой информацией. То есть насколько велика вероятность при игре, например, против делвера, что противник топдекнет шестерку бубей и сломает ей ваш под. Слава Богу в магии, правила являются открытой информацией, а закрытой является только некая часть внутриигровой информации. Например, для стандарта или лимитеда, где число карт сравнительно небольшое закрытость информации представляет собой меньшую проблему, чем в винтаже, это очевидно. С другой стороны, все это можно регулировать. Например, на сайте http://mtgstats.com/ очень толково сделана классификация дек по архетипам, где каждому архетипу поставлен в соответствие некий набор карт, корреляция с которым позволяет причислить конкретную деку к той или иной категории. Можно ориентироваться на такую интерпретацию архетипов и тем самым сильно ограничивать пул карт для тестирования.

 

 

Почему оценки генератора могут вообще представлять интерес, хотя персонально к тебе и не иметь отношения и вообще быть не до конца точными? Хотя бы потому, что рыбу лучше ловить в том пруду, где много рыбы, несмотря на то, что даже в пруду с тремя карасями тебе может посчастливиться выловить всех троих. В этом и заключается логика статистики.

Изменено 22 июля 2012 пользователем context_noiz

[amarto]

Раз Бу уж встрял в обсуждения, не буду ему мешать. Отмечу только одну важную вещь.

Например, для стандарта или лимитеда, где число карт сравнительно небольшое закрытость информации представляет собой меньшую проблему, чем в винтаже, это очевидно.

Например, в винтаже в любой момент времени число условно-играбельных карт существенно меньше, чем в стандарте. Если вам очевидно что-то обратное, то у вас большие проблемы с очевидностью.

[context_noiz]

Раз Бу уж встрял в обсуждения, не буду ему мешать. Отмечу только одну важную вещь.

Например, в винтаже в любой момент времени число условно-играбельных карт существенно меньше, чем в стандарте. Если вам очевидно что-то обратное, то у вас большие проблемы с очевидностью.

 

Я бы не стал переходить на личности, в конце концов у любого человека проблемы с очевидностью, поскольку боюсь никто не знает, что такое самая последняя и безусловная очевидность. Если говорить о реальной игровой практике, то да в винтаже играбельных карт и дек может быть действительно меньше чем в какой-то итерации стандарта. Однако вопрос в потенциале. Если для стандарта за умеренное время можно перекурить все хоть сколько-нибудь значимые комбинации, то винтаж в силу безумного числа карт в гораздо большей степени полагается на уже протоптанные тропинки. Разумеется есть и другие факторы, например, изданные на заре магии поломы, которые вынуждают игроков идти тем или иным путем. Однако потенциал у этого формата, как мне кажется, гораздо больше, чем современное состояние игровой практики в рамках него. Именно это я и имел в виду.

[amarto]

Я не перехожу на личности, я просто сообщаю, что у подавляющего большинства карт магии есть более качественные аналоги.

[dee_fg]

http://mtgo-stats.info/

Вот тут есть все, что тебе нужно.

[LsD_LOR]

В связи с этим и тем, что я немного программирую, я попробовал приспособить избыточные компьютерные мощности в качестве вспомогательного инструмента для декбилдинга.

Запахло чем-то зеленым и толстым =О

[context_noiz]

http://mtgo-stats.info/

Вот тут есть все, что тебе нужно.

Решает ту же задачу, что и http://mtgstats.com/ , но немного по-другому. Хороший, спасибо.

[context_noiz]

Запахло чем-то зеленым и толстым =О

 

ШАРИК БЫЛ ЗЕЛЕНЫМ И ООООЧЕНЬ ТОЛСТЫМ!!! Можешь написать на меня модераторам, чтобы проткнули, я не против.

[Арготианская Выхухоль]

Для каждого архетипа придется писать своего "игрока", и для каждой конкретной реализации архетипа его доводить. Для тестирования пасьянса в вакууме (типа пушки против деки без контров итд) ИИ будет не такой уж и сложный.

[context_noiz]

Для тестирования пасьянса в вакууме (типа пушки против деки без контров итд) ИИ будет не такой уж и сложный.

 

Совершенно верно! Года три кажется назад я писал примитивный симулятор для составления оптимального турбофога по похожему принципу вакуумного пасьянса. Теперь хочется пойти дальше.

 

Для каждого архетипа придется писать своего "игрока", и для каждой конкретной реализации архетипа его доводить.

 

Я придерживаюсь мысли, что "игрока" можно написать достаточно универсального, а вот для каждого архетипа определять стратегии конечным набором правил, которые в теории можно вообще создавать автоматически, если набрать статистику ведения игр, например с помощью ботов для Кокатрикса или MWS.

[BioLogIn]

Но вот с практической точки зрения тем не менее оказываются крайне полезны (примеры, я надеюсь, приводить не нужно).

...

качество таких оценок очень зависит от конкретной реализации

...

Но это, во-первых, интересная работа и, во-вторых, если она грамотно проведена

Это всё правильно, ради бога. Просто я хочу подчеркнуть, что речь уже не столько о "генераторе пасьянсов" и не о методе Монте-Карло, а о "легком ИИ" на эвристиках и вероятностях. Подкрепленном статистической базой. И это ни разу не задача на несколько вечеро и не об объеме выборки...

 

Хотя бы потому, что рыбу лучше ловить в том пруду, где много рыбы, несмотря на то, что даже в пруду с тремя карасями тебе может посчастливиться выловить всех троих. В этом и заключается логика статистики.

С "моей колокольни" это больше напоминает другую аналогию - про поиск часов, потерянных в лесу, под фонарем около дома - там хотя бы светло, может найдем хоть что-то, а в лесу-то темно, там мы точно ничего не найдем...

 

Для тестирования пасьянса в вакууме (типа пушки против деки без контров итд) ИИ будет не такой уж и сложный.

Объем времени, за который вы пишете ИИ для одной конкретной неинтерактивной деки против другой конкретной неинтерактивной деки, всяко больше времени на простой тест этого матчапа (при котором вы учитесь играть и т.д.). Причем при смене деки большУю часть работы нужно делать заново и с нуля.

Изменено 23 июля 2012 пользователем BioLogIn

[context_noiz]

Это всё правильно, ради бога. Просто я хочу подчеркнуть, что речь уже не столько о "генераторе пасьянсов" и не о методе Монте-Карло, а о "легком ИИ" на эвристиках и вероятностях. Подкрепленном статистической базой. И это ни разу не задача на несколько вечеро и не об объеме выборки...

 

 

С "моей колокольни" это больше напоминает другую аналогию - про поиск часов, потерянных в лесу, под фонарем около дома - там хотя бы светло, может найдем хоть что-то, а в лесу-то темно, там мы точно ничего не найдем...

 

 

Объем времени, за который вы пишете ИИ для одной конкретной неинтерактивной деки против другой конкретной неинтерактивной деки, всяко больше времени на простой тест этого матчапа (при котором вы учитесь играть и т.д.). Причем при смене деки большУю часть работы нужно делать заново и с нуля.

 

Расскажите, а у Вас что-нибудь написано по нашей теме, сами эксперименты проводили? Если да и Вам не жалко (и если не на асмемблере, конечно), то я был бы рад взглянуть.

[mtgshnik]

 Это невозможно сделать, так как в различных ситуациях есть вариативность решений, которые могут никогда больше не повториться. Слишком много факторов нужно учесть от уровня игроков до элемента случайности, а также ошибок игроков в случайный момент времени. А ещё уровень знания правил. 

Изменено 23 июля 2012 пользователем mtgshnik

[AliraSirin]

 Это невозможно сделать, так как в различных ситуациях есть вариативность решений, которые могут никогда больше не повториться. Слишком много факторов нужно учесть от уровня игроков до элемента случайности, а также ошибок игроков в случайный момент времени. А ещё уровень знания правил. 

даже в шахматных движках научились эмулировать уровень игроков и ошибки, если что. Но дело то со всем не в этом.

 

Естественно это возможно на определенном уровне. Если поставить реальные цели, то можно получить реальный результат. Это самое сложное в данной задаче - понять границы, при которых можно получить полезную информацию и при этом трудозатраты будут не настолько велики, что реализация непосильна.

Я неоднократно представляла себе подобный инструмент, что бы я от него хотела и как его можно было бы реализовать. Обв дело до дела не дошло ни разу) Мне кажется самым реальным подходом тут является что-то типа датамайнинга. То есть сделать приближенную модель интересующего процесса на столько близкую к действительности, на сколько это нужно в наших рамках. В этой модели может быть много "черных ящиков", заглушек и допущений - главное понимать зачем они и как они влияют на результат. Далее пропускать через эту модель наборы выборок, и результаты уже датамайнить. Какой-то профит можно получить точно. Соответственно самое интересное - придумать какой профит может быть максимальным и стоит ли он вообще того)

[mtgshnik]

Ну пусть попробует, конечно, но мне не верится, что будет необходимый результат. На мой взгляд факторы, которые необходимо учесть слишком разные, чтобы их можно было увязывать между собой.

[Амариллен]

Помимо получения некоторого "усредненного" условного результата нужно еще понять, как этот результат можно интерпретировать относительно того, кто будет пилотировать ту или иную деку.

[aze]

Я в восторге, пожалуйста, не останавливайтесь..

 

Ясен-красен, что расчитать произвольный матчап с учетом всех околоигровых факторов с точностью до третьего знака малореально, но это и не нужно. Но вот получить картину хотя бы в первом приближении - я думаю осуществимо.

Но дело все в том, что результат не будет иметь ни малейшего практического значения.

Ну и в добавок, при знании ключевых факторов, таких как метагейм например, экспертная оценка будет давать куда более правдоподобный результат.

 

Хотя, в вакууме все это очень интересно конечно.

[Амариллен]

Помимо получения некоторого "усредненного" условного результата нужно еще понять, как этот результат можно интерпретировать относительно того, кто будет пилотировать ту или иную деку.

Но дело все в том, что результат не будет иметь ни малейшего практического значения.

Я это уже написал.

[aze]

Я это уже написал.

Извини меня пожалуйста, но я пока еще не научился читать твои мысли.

[amarto]

Я это уже написал.

Но дело все в том, что чтение твоих сообщений не будет иметь ни малейшего практического значения.

[aze]

"Добрый_коп & Злой_коп" в действии =)

[AliraSirin]

Но дело все в том, что результат не будет иметь ни малейшего практического значения.

Если ставить целью получить результат, который не будет иметь практического значения, то его и получишь. Но зачем? Что мешает поставить целью получение полезной для практики информации?

 

Наверное все слышали про то, как статистика применяется в неназываемой игре. Она имеет там вполне себе практическое значение, хоть цифры процентиков иногда кажется слишком мало разнятся, чтобы решить в конкретной ситуации. Это вам самый тупой и прямолинейный пример.

[amarto]

Зоя, я боюсь, что в случае, если ты не гриндишь в МОДО 8 часов в день, дистанция будет совершенно недостаточна для того, чтобы подобный бот дал тебе какую-то информацию, способную существенно повлиять на твои результаты. А если гриндишь, то твоя экспертная оценка будет, скорее всего, лучше оценки, данной ботом.