Подгонка под ответ
Это перевод статьи Paulo Vitor Damo da Rosa от 17/04/13
Привет!
Недавно на форуме нашей плейтест-группы мы обсуждали то, насколько сильно наши результаты на турнирах зависят от предварительной подготовки. Кто-то справедливо указал на то, что в некоторых случаях мы много готовились (например, к Нагойе и Барселоне), но результаты были так себе, а в других (в Монреале, в частности) подготовка была слабой, а результаты - напротив, очень хорошими.
Когда мы играли Монреаль, часть людей просто не приехала. Еще часть была слишком занята покером, другие большую часть времени жрали, в итоге мы расселились по куче номеров в отеле, и у нас даже не было хорошего места, чтобы пошлепать картоном. В общем, всё что нужно для "хорошего" тестинга. В итоге из нас трое зашли в топ-8 и одного мы "потеряли" в топ-16.
И встает вопрос: может, мы переоцениваем тестинг? Может, подготовка на самом деле не так важна, как мы привыкли думать? Может быть, стоит сменить понимание того, что включает в себя "хороший плейтест"? Или эти турниры не показательны, а своего рода статистическая аномалия?
В Магии нередки ситуации, когда вы думаете, что что-то правильно, но доказательства говорят об обратном. Это касается не только внутриигровых ситуаций, но и выбора колод, способа подготовки к грядущим турнирам, и к куче других вещей. Что же делать в таком случае? Следовать пути, который кажется логичным и правильным, или идти за зовом сердца? Вот об этом мы и поговорим.
Подгонка под ответ
В общем виде, всегда существует два способа понять ситуацию: теоретический и эмпирический (опытный). Представьте, что мы собираемся подбросить монетку и хотим угадать, что выпадет. В теоретическом смысле мы видим, что у монетки две стороны, и каждая имеет равный шанс выпасть при броске, то есть шансы 50/50. Еще можно миллиард раз бросить монетку, посчитать статистику, и в результате получить циферки, очень близкие к идеальным 50/50.
Что мы не должны делать, так это, бросив три раза монетку и три раза выбросив на ней орла, определять для себя, что в следующий раз на монетке тоже покажется орел. То же самое, кстати, вы делаете, когда оправдываете свой мисплей фразой "в прошлой игре это сработало".
Пример. Два моих друга играют миррор моноредов. Игрок 1 в маленьких хитах, у него несколько существ на столе, у всех существ защита 2. Игрок 2 в двух хитах, у него есть Blinkmoth Nexus и Pyroclasm, который он собирается покастить. На столе ничего нет, кроме земель, и в руке только земли (и пироклазм).
Игрок 2 оживляет Blinkmoth Nexus в атаку, потом понимает, что совершил ошибку. Такая последовательность действий приведет к тому, что Blinkmoth Nexus погибнет от Pyroclasm, чего можно было бы избежать, если покастить Pyroclasm первым, а уже потом сбегать в атаку.
Игрок 2: "Блин, я не так хотел, можно переиграть?"
Игрок 1: "Извини, нет"
Игрок 2 жмет плечами, атакует Blinkmoth Nexus и потом сносит всё пироклазмом.
Игрок 1 антапается, поднимает Molten Rain. Его оппонент в 2 хитах, но на столе только базовые горы - нексус погиб в прошлом ходу. Несколько ходов игрок 2 топдекает существ и выигрывает партию.
Что мы можем почерпнуть из этой истории? То, что надо всегда стараться убивать своих существ пироклазмом? Или то, что если оппонент слезно просит переиграть, то надо ему разрешить? Нет, это было бы подгонкой под ответ. Мораль истории в том, что действия, которые приводят к победе в конкретной партии, не всегда правильны. Если этот игрок в следующий раз окажется в такой же ситуации, нужно ли ему сносить пироклазмом свой Blinkmoth Nexus? Блин, конечно нет!
Резюмируя: иногда перед тобой встает выбор из двух вариантов - один приносит победу в 70% случаев, а другой в 30%. И не важно, сколько раз ты выбрал 70% и проиграл, всё равно в следующий раз нужно выбирать 70%.
Это кажется очевидным, но много народу предпочитают забивать на это логичное правило. Чаще всего это касается муллиганов. Игрок оставляет руку из двух земель и пяти спеллов, не получает третью землю за всю партию, и в следующий раз он такую руку муллиганит. Потом однажды вы оставляете такую руку, топдекаете две земли и выигрываете. Теперь уже вы настроены оставлять 2-5 руку, потому что ”в тот-то раз она сработала!” А если бы она в тот раз не сработала, то вы бы помуллиганились. Суть в том, что прошлая история таких рук не должна влиять на ваше решение о муллигане конкретной руки в будущем.
Если логика говорит, что в подобных ситуациях не нужно опираться на прошлые результаты, то почему люди продолжают это делать? Хороший вопрос. Это, наверное, связано с психологией - мы лучше запоминаем хорошие события, эти ситуации тем и запоминаются, что они необычны. Эти события - статистические аномалии. И ещё они предлагают нам простой выход - зачем думать, если можно просто повторить действие, которое в прошлый раз сработало!
С другой стороны глупо говорить, что прошлые результаты вообще ни на что не влияют. Все смотрели "Человек, который изменил всё", и мы все понимаем самое важное. В конце-то концов, мы хотим победить. Не важно, если кто-то там не хочет, чтобы вы побеждали. Если вы победили, становится очень трудно признать, что вы где-то ошиблись. Особенно, если вы выиграли, потому что где-то ошиблись. Как же справляться с таким дерьмом?
Ключ к пониманию того, когда нужно верить теории, а когда - ощущениям, лежит в умении взвесить два базовых аргумента: насколько сильна теория и насколько сильны контрпримеры. Чем сильнее теория, тем больше и сильнее эмпирические доказательства требуются, чтобы ее пересилить. Если теория слабая, или если ее вообще нет, тогда подгонка под результат начинает казаться всё более привлекательной, и вам нужно всё меньше и меньше данных для принятия решения, потому что наличие низкого шанса на победу лучше, чем отсутствие любого. Но если теория крепкая, то вам нужно много эмпирических доказательств, чтобы свернуть с нее.
Сила теории
Чтобы определить силу теории, нужно проследить откуда эта теория взялась. Что заставило вас поверить в то, что вам надо убить этим Lightning Bolt того Wild Nacatl? Вы хорошо знакомы с обеими колодами? Вы хороший игрок и вам кажется, что нужно заболтить кошку прямо сейчас? Или вы прочитали о подобной ситуации в отчете какого-нибудь прошника? Или вы посчитали ситуацию и поняли, что если не заболтить кошку сейчас, то такая возможность вам не представится ещё пять ходов и суммарно накатль вам обойдется в 15 жизней?
Часто наше мнение основывается на прошлом опыте - тоже своего рода подгонка под результат, но под гораздо большую выборку результатов, чем у нас на руках прямо сейчас. Если вы встаете перед выбором: довериться опыту пяти лет игры, или довериться опыту прошлой недели, то вы, конечно, выберете большую, так сказать, “кучу”.
Иногда у нас просто нет базиса для выработки мнения. Если бы пару месяцев назад я спросил у вас: "кто самый крутой игрок в мире?", вы бы наверное ответили: "Юя Ватанабе". Если я спрошу сегодня, ваш ответ скорее всего будет другим. Сейчас и Юя, и его основные соперники, как и три месяца назад, по-прежнему в хорошей форме, но вы уже точно не знаете кто из них всех круче. У вас ни малейшей мысли насчет того, кто из них круче играет. Давайте по-честному: даже я понятия не имею, кто круче всех, так что вы, скорее всего, и подавно.
Но, не смотря на это, вы можете дать ответ! (Как и я, конечно). Вопрос был "кто самый крутой игрок в мире", а не "кто объективно сейчас больше выигрывает", но за неимением исходных данных вы делаете предположение, что "кто чаще выигрывает, тот круче всех играет", к тому же вы можете поднять статистику и посмотреть кто больше всех выигрывает. Это трудно назвать теорией или мнением. Это предположение, основанное и подкрепленное стопроцентными "фактами". И даже с учетом того, что этих фактов, со стороны строгой логики, недостаточно чтобы ответить на заданный вопрос. Тем не менее, это приемлемый способ принятия решения - не оптимальный, но лучший из тех, что вам доступны.
Пусть вы пришли к заключению, что Финкель - самый крутой игрок. В таком случае ваша теория не очень сильна - пусть вы угадываете исходя из каких-то фактологических предпосылок, но всё же не до конца уверены. Юя выступал в прошлом сезоне лучше, чем Финкель, но не намного. Ваша теория не очень сильна, но эмпирические контраргументы тоже слабые. В этом случае, результат сравнения слишком заставить вас колебаться.
Теперь, представьте, я говорю: "самый крутой игрок в мире - это мой сосед Джош Смит". Джош посетил много турниров, нигде ничего не выиграл. У меня есть мнение, выстроенное на основе теории, но эмпирические контрпримеры просто сметают эту теорию, сминают ее. Больше похоже на то, что моя теория не верна, чем на статистические аномалии, которые никак не дают Джошу навыигрывать на кубок уже долгие годы.
В примере с Blinkmoth Nexus не может произойти такого большого количества таких случаев, которые бы совокупно заставили меня передумать - я знаю, что корректный способ сыграть в этой ситуации - это не убивать свой нексус. И я останусь при своем мнении, не важно сколько партий при мне выиграют, отскочив от Molten Rain.
Сила эмпирической контраргументации
Теперь, вернемся к тому случаю с монетками. Моя теория, по которой монетка упадет орлом, довольно сильна, так что я не начну колебаться на ровном месте.
Теперь представьте, что вы подбросили монетку тысячу раз, и тысячу раз подряд выпала решка. Если бы мне предложили сделать ставку - какой стороной монетка упадет в 1001 раз, я бы ставил на решку. Более того, я бы ставил на решку даже если бы знал, что шансы 49/51 в пользу решки. Умом я понимаю, что шансы 50/50, но тысяча бросков, и все решки, намекают, что тут что-то не так. Может, монетка какая-то специальная? Может, там с двух сторон решка? Мне не обязательно знать почему это происходит, я вижу что происходит, и эмпирическая контраргументация, в этом случае, очень сильна. И не смотря на то, что у меня есть сильная теория о шансах 50/50, эта теория не абсолютна, потому что я, например, не уверен в том, что это нормальная монетка, к которой вообще применима эта теория.
Тогда почему этот подход не применяют к магии на регулярной основе? Потому что, для того чтобы сменить теорию, вам нужно намного больше данных, чем вам обычно доступно. В магии мы обычно подбрасываем не больше трех монеток за партию, а не тысячу, а три опыта не достаточно для того, чтобы выдвинуть предположение о наличии в теории поведения монетки какой-либо ошибки. Получается, что нам больше известно о том, почему так происходит, чем о том, что на самом деле происходит, потому что "что происходит" на выборке из малого числа опытов проследить труднее.
Иногда трудно определить, что ваш эмпирический багаж уже достаточен для того, чтобы опрокинуть теорию. Одна из вещей, которые могут помочь в этой ситуации, и на которую надо обратить внимание, это "фактор повторения". Обратите внимание, ваше нетрадиционное решение игровой ситуации прокатило один раз, потому что что-то случилось только один раз, или это происходит постоянно? Например, если я оставил ноль-лендер и выиграл, очевидно, мне не стоит ожидать, что я теперь всегда буду себе сдавать по три-четыре земли строго в нужном порядке, потому что это разовое событие, и оно не должно накладывать отпечаток на мою дальнейшую игру и принятие решений в других матчах. А если я, например, оставляю медленную руку и умираю к 4 ходу от активной агры, то, очевидно, ничего сверхъестественного тут не произошло - вполне обычная ситуация, которая закономерно повторяется достаточно регулярно, и я могу смело утверждать, что в будущем, если я оставлю против агры медленную руку, то она меня опять переедет. И это должно повлиять на мою игру, стать частью моего опыта (очевидно, мне не стоит оставлять уж слишком медленные руки против взрывных агродек).
Когда мы тестим UWR, например, мы часто проигрываем даже если затягиваем партию в лейт-гейм. Каждый раз я такой "хм, почему я проиграл, я же должен выигрывать лейт-геймы. Чувак, это нетипично". Только вот если это повторяется раз за разом, то, может быть, это не так уж и нетипично? Я решил разобраться, посмотреть что происходит, и оказалось, что главная проблема в том, что в поздней игре колода начинает сдавать много "воздуха" - Pillar of Flame, земли, вот это всё - вместо Sphinx’s Revelation. Из-за того, что в колоде много воздуха и всего три Sphinx’s Revelation, это порождает такой эффект. И этот эффект имеет тенденцию повторяться чаще или реже, в зависимости от порядка карт в колоде. Но это, как выяснилось, не ненормально. Да, из-за этого дека иногда проигрывает лейт-геймы, но это не "нетипично".
Еще очень важно убедиться, что вы используете правильные сравнения в правильных случаях, потому что иногда трудно понять как именно некоторые вещи связаны друг с другом. Например:
Гипотеза: офигенно важно покастить Mana Leak в Squadron Hawk в этом матче, поэтому UB должен ходить первым.
Факты: Вафо-Тапа выбирает ходить вторым в этом матче и у Вафо-Тапы выигрывает UB чаще, чем у всей остальной планеты вместе взятой, поэтому, очевидно, нужно ходить вторым.
Тут проблема в том, что связь между двумя фактами, которые вы рассматриваете, не только не доказана формально, а, возможно, даже не существует. Нет никакой уверенности в том, что Вафо-Тапа выигрывает этот матч, потому что ходит вторым. Возможно, Вафо-Тапа просто настолько хорошо навострился играть колодой, что выигрывает вопреки тому, что ходит вторым. На самом деле вообще не важно сколько таких матчей он выигрывает, потому что между его выигранными матчами и тем, каким он выбирает ходить, может тоже не быть никакой связи. Если взять идентичные билды дек и принять аксиому, что никто не читерит во время игры, то вот почему Вафо-Тапа может выигрывать бразиллион таких матчей:
1. Вафо-Тапа ходит вторым
2. Вафо-Тапа играет лучше чем вы, а его оппонент - хуже, чем ваш
3. Вафо-Тапа сдает себе как черт
Если мы учтем весь гекатохейлион матчей, которые он выиграл, то сможем нивелировать влияние третьего пункта, но останутся ещё два пункта, и мы не знаем, как между ними распределено удельное влияние. Чтобы понять, от чего больше зависит исследуемый результат, нам нужно рассматривать их независимо друг от друга. Правильный научный способ: это посадить Вафо-Тапу играть миллиард матчей с одним и тем же оппонентом, заставив его ходить первым, а потом - ещё миллиард, заставив ходить вторым. Рядом с механическим Вафо-Тапой нужно посадить двух случайных людей, которые параллельно будут наигрывать этот же матч. После двух миллиардов матчей вам нужно подвести статистику. Если КТО УГОДНО больше побеждает "на дрове", то, очевидно, вам в этом матче нужно дроваться. Если только Вафо-Тапа больше выигрывает на дрове, значит, есть другой или другие факторы, которые нужно продолжать анализировать.
Надо заметить, что если в нашем сценарии кто угодно больше выигрывает на дрове, то и это не вполне значит, что нужно ходить вторым. Может быть какая-то причина, которая выглядит так же, как обнаруженная, например, то, что игра вторым обычно приводит игрока к более "защищающемуся" стилю игры. Может быть, если ходить первым, но играть более "защитно" и безопасно, то этого будет достаточно, чтобы поднять матч.
Конечно, ни у кого нет времени и нужного числа Вафо-Тап, чтобы провести такой тестинг. Вам придется провести где-то черту. Мы возвращаемся к исходной точке, это опять вопрос о том, как сильно вы доверяете своей теории. Если вы не имеете ни малейшего понятия, почему лучше ходить вторым (потому что, вообще говоря, ходить первым кажется лучше в любом матче), то вы можете подогнать свое мнение под ответ: "Вафо-Тапа ходит вторым и тащит, и я буду ходить вторым и тащить". Если же у вас есть повод не верить в такое объяснение, потому что вы понимаете как важно поконтрить первого Squadron Hawk, то множественные победы Вафо-Тапы не станут доказательством правильности позиции "надо ходить вторым", и вам нужно будет провести более детальные исследования, прежде чем вы сделаете какой-то окончательный вывод.
Заметьте, я не говорю, что вам надо этим всем заниматься. Когда я оказался в этой конкретной ситуации, я решил, что моя теория достаточно прочна и что потребуется слишком много времени, чтобы получить весомые доказательства обратного. Так что я решил не заниматься этим всем и ходить первым.
Приведу ещё один похожий пример, на этот раз с полуфинала про-тура Филадельфия. Сэм Блэк играл моно-синим Шоалом (с Inkmoth Nexus/ Blazing Shoal/ Dragonstorm), а Джош Аттер-Лейтон выступал нашим большим Зоопарком. Пара друзей Сэма натестили для него матч, в результате чего ими было установлено, что в этом матче лучше ходить вторым.
Для них это имело смысл. Они заключили, что этот матч - игра на выносливость, а значит, игрок, который ходит вторым, оказывается в лучшем положении из-за дополнительной карты. Эта теория подтверждается практикой, так что с ней не так? Суть в том, что это не вполне их теория. Это стало их теорией, когда они пытались объяснить практические результаты плейтестов. Они пережили то, что я объяснял вам на примере с монеткой. "Наверное, монетка с подвохом, раз на ней выпала решка тысячу раз подряд", а не "монета с подвохом, видишь - подряд тысяча решек!", а это совершенно другой коленкор. Их изначальная теория была в том, что ходить первым выгодно зоопарку - исторически это применимо для любого зоопарка против любой комбо-колоды (и, на самом деле, против вообще любой колоды), так что, я уверен, они начали именно с этого - как я начал с предположения о том, что шанс монетки выпасть каждой стороной 50/50.
Наша теория заключалась в том, что ходить первым критически важно, потому что, помимо обычных причин, это позволит Джошу развивать ситуацию на столе без риска внезапно умереть. Если Сэм ходит первым, он может начать с Inkmoth Nexus и Джош просто не сможет себе позволить сыграть парня на первый ход, потому что если он не убьет нексус и получит комбо, он просто проиграет на второй. Так же, если Сэм ходит первым, он может поставить на второй ход Blighted Agent, и Джошу придется его убивать, из-за чего Джош не сможет обеспечивать необходимое давление. Если же Джош ходит первым, то ход, потраченный на убийство агента ещё содержал бы в себе атаку на пять.
Это довольно сильная аргументация. Чтобы убедить меня в том, что мы ошибаемся, мне нужно увидеть много матчей в других сценариях. Конечно, если мы сыграем 100 матчей и игрок, который ходит вторым, выиграет в 80 из них, я предпочту ходить вторым, даже если не смогу понять, почему происходит так, как происходит. Но если я сыграл только 10 матчей? Тогда неее. Я не думаю, что друзья Сэма сыграли 100 матчей. Я не думаю, что у них была настолько репрезентативная выборка, чтобы на основе ее результатов можно было отбрасывать какие-либо логичные теории. У них была сильная теория и слабое опытное опровержение, но они предпочли решение на основе опыта, и я считаю это предпочтение ошибочным.
Определение весов
Вы можете спросить: "а если они, например, сыграли 25 партий?". Ну, я не знаю. Я не студент курса статистики, или математики, я не знаю как определить потребное число матчей, на основе которого вы можете адекватно принять подобное решение. Это больше вопрос того, как вы чувствуете происходящее - если у вас есть стройная теория, не дайте паре игр ее испортить. Теория и понимание ценнее не подкрепленной выборки. Если я сыграю 25 игр "зоопарк против пойзона" и игрок, который ходит вторым выиграет в каждой, я скорее всего начну ходить вторым. Если я сыграю 25 таких игр и игрок, который будет ходить вторым, выиграет 65% игр, то я, скорее всего, продолжу ходить первым. Если я сыграю 500 игр, и "второй" выиграет 60%, я буду ходить вторым. Еще раз - тут нет готовой формулы, вам нужно самостоятельно оценить насколько сильна ваша гипотеза и насколько сильны ваши опытные данные.
Возьмем, для примера, нашу эспер.дек. Мы играли эспером на про-туре и, не смотря на то, что играли мы как надо, всё равно результаты получились не очень. Я зашел ею 2-3. Но я всё ещё думал, что колода классная - я опирался на теорию, согласно которой эта колода классная. Поэтому я решил играть ею и в Квебеке.
В Квебеке я выступил нормально, вошел в топ-64. Я проиграл несколько матчей, которые не ожидал проиграть. Я начал думать, что, может быть мне не стоит играть этой колодой, но никак не мог понять, почему именно я проигрываю. Более того, я не мог понять, почему все остальные тоже проигрывают этой колодой - ею почти никто хорошо не выступил.
Я решил, что выборка недостаточно большая, и что моя теория (о том, что колода крутая) всё ещё имеет больший вес, а факторы, из-за которых я проигрываю, не носят повторяющийся характер. То, что вы не можете покастить Supreme Verdict на четвертый ход, или то, что в поздней игре вы можете топдекнуть пять земель подряд, не является нормальным поведением колоды, которое можно включать в анализ. Более того, я не хотел подгонять свое решение под результат. В конце концов, хорошего игрока отличает как раз умение 10 раз из 10 выбрать правильную тактику, и, даже в случае 10 провалов, выбрать правильную тактику и одиннадцатый раз. Это относится и к декчойсу, так что я выбрал эспер.
Я играл эспером на гран-при Рио. И снова я выступил плохо, и снова никто не выступил этой колодой хорошо. В этот раз я смирился - поскольку я не знал почему конкретно все показывают этой колодой плохой результат, я не буду играть ею снова, до тех пор, пока не узнаю почему я выступил ею плохо и как это исправить.
В этот момент я почувствовал, что опытные данные перевесили теорию. У меня была средняя по силе теория и крепкие практические результаты, выступающие против этой теории. Возможно, проблема колоды в том, что её подфлуживает в поздней игре, или у нее есть проблемы в стабилизации в цветах. В любом случае, я до сих пор думаю, что эспер кажется хорошей колодой, но больше не думаю, что он является хорошей колодой. По крайней мере в том варианте, которым я играл.
Итак, резюмирую:
Подгоняться под результат - плохо. Понимание теоретического слоя происходящего всегда важнее предыдущих результатов, поскольку дает основу для более точного предсказания будущих результатов.
Если у вас нет теории, или если она недостаточно надежна, то вам не требуется большое число опытов для того, чтобы выбрать точку зрения. В этом случае ориентироваться на результат приемлемо.
Если у вас есть теория, которая конфликтует с практическим результатом, вы должны взвесить то и другое. Чем лучше и крепче ваша теория, тем больше фактологических контрпримеров вам нужно, чтобы её сломать.
Автор статьи Paulo Vitor Damo da Rosa
Источник: www.channelfireball.com
Автор (любительского) перевода: Толмачёв Николай
