Автоматизированный анализ драфта

[rx303]

Всем привет. Я намедни написал небольшой сайт, на который можно закачать лог сыгранного драфта из МТГО, проанализировать, и компьютер выдаст оценки карт из бустера в каждом пике. Карта с наиболее высокой оценкой - наиболее правильный пик. Соответственно, можно проверить свои решения или сравнить, насколько сильно пики карт друг от друга отличаются. В качестве примера первые два драфта - это с PT BFZ из визардовского draft viewer. И еще несколько просто найденных в интернете. Что скажете?

[Кирдман]

Почему сайт в первом же драфте предлагает williamjensen пикать retreat to coralhelm p1p3?

[ZvEroBoY]

Остается добавить автодекбиллер и прикрутить к модо ?

[rx303]

Почему сайт в первом же драфте предлагает williamjensen пикать retreat to coralhelm p1p3?

Понятия не имею ) Может, потому что пока что его дека ближе к Ux-контролю, чем к UB-ingest. Хотя есть некоторые карты, которые комп ценит выше, чем я. Это как раз Retreat to Coralhelm, Salvage Drone и играбельные бесцветные карты - заметно на Kozilek's Channeler, Breaker of Armies и Bane of Bala Ged.

 

Остается добавить автодекбиллер и прикрутить к модо ?

Где бы данные по декбилдингу найти? Колоды, собранные на драфте или даже пускай на силеде. Но визарды хитрые, они не постят результаты силедных дейликов. Только пткушки, да и то лишь топ-8. Этого мало.

[ZvEroBoY]

Драфтим конкретный сет, у карт уже оценка есть ( или критерии, по которым пикаем). Из надрафченного сверяются суммарные оценки в цветовых сочетаниях, предлагаются для выбора упрощенные прямые сборки сколько то существ ремувала разгона . Если пользователь очень супердрафтер, то он под свою стратегию пишет набор правил, хорошоиграющим может быть и не нужен. плохоиграющим пригодится ( типа меня)

Изменено 13 января 2016 пользователем ZvEroBoY

[GrBob]

А по каким данным оценивается правильность? Киблеру вон с 60% вероятностью в P1P2 предлагает Turn Against брать - карту, про которую все пишут, что она сильно переоценена и на самом деле довольно посредственная. По какой выборке робот учился?

[rx303]

А по каким данным оценивается правильность? Киблеру вон с 60% вероятностью в P1P2 предлагает Turn Against брать - карту, про которую все пишут, что она сильно переоценена и на самом деле довольно посредственная. По какой выборке робот учился?

По той, что есть - драфты, сыгранные на http://tappedout.net/mtg-draft-simulator/. Понятное дело, что там далеко не прошники играют. Но зато достаточно большой объем данных - по тому же BFZ-BFZ-BFZ там наиграно около 40К драфтов и сделано около 1 млн пиков.

[Dimk]

А по каким данным оценивается правильность? Киблеру вон с 60% вероятностью в P1P2 предлагает Turn Against брать - карту, про которую все пишут, что она сильно переоценена и на самом деле довольно посредственная. По какой выборке робот учился?

А кто писал, что она переоценена? Я в этом паке больше с компьютером согласен.

[crokodil]

Пока нет времени подробно посмотреть, но уже доставило как первым пиком Киблеру предлагают взять рг дуалочку вместо аутнамбера. Она даже не очень дорогая.

 

Про Turn Against интересно, что у него стоит нереальные 63%, но если его исключить, то остальные цифры очень близки к моему собственному мнению. Возможно у него "накрутили" рейтинг пацаны, драфтящие его на http://tappedout.net, когда ещё было мнение, что это брокен.

 

Dimk, например, ЛСВ и Дюк.

Изменено 13 января 2016 пользователем crokodil

[AliraSirin]

По той, что есть - драфты, сыгранные на http://tappedout.net/mtg-draft-simulator/. Понятное дело, что там далеко не прошники играют. Но зато достаточно большой объем данных - по тому же BFZ-BFZ-BFZ там наиграно около 40К драфтов и сделано около 1 млн пиков.

А данные то ты как обрабатываешь? Какие параметры используешь для определения правильности пика? Или алгоритм тоже не ты писал?

 

Для примера - можно учитывать номер пака и пика, с какими картами одновременно находится в паке конкретная карта (и подбирать похожие с заданной погрешностью наборы данных), какие карты были взяты ранее, какие карты пропали с круга итд

а можно просто например просуммировать вероятность пика каждой карты в паке из общей статистики пикабельности этой карты, и выдавать относительную долю в процентах из этой суммы. Типа Карту1 берут в 80% случаев когда видят в паке, Карту2 в 60%, Карту3 в 10% и Карту4 в 10%, всё сложили, получили 160, и дальше "Правильность" пика Карты1 вышла 50% итд

Изменено 13 января 2016 пользователем AliraSirin

[rx303]

А данные то ты как обрабатываешь? Какие параметры используешь для определения правильности пика? Или алгоритм тоже не ты писал?

В 21 веке люди алгоритмы уже не пишут )

 

Есть обучающая выборка с tappedout - те пики, которые делали реальные люди.

Входные данные - это карты в очередном бустере + уже пикнутые карты. Выходные данные - это карта, которую надо взять. Зависимостями между пиками в одном драфте ("отпустил на круг" и т.д.) пренебрегаю.

На этих данных обучил нейронную сеть.

Т.е. по сути сеть изначально оперирует только порядковыми номерами карт. Она не ориентирована явно на манакост, цвет, тип, редкость и прочие параметры карты. Но эти признаки она вполне могла выделить в ходе обучения. Что там получилось внутри - я не анализировал. Сеть при обучении, как известно, старается подобрать некоторую весьма сложную функцию с кучей параметров, которая будет максимально совпадать с исходными данными и позволит достоверно предсказывать выходные значения для новых входных данных - тот самый "алгоритм" )

[Dimk]

Dimk, например, ЛСВ и Дюк.

А Дюк - хитрец. Написал, видимо, чтобы ему ее передавали. http://www.top8draft.com/draft/2/ReidDuke/3/2/

Вообще, по всей видимости, эта нейросеть превратилась в Дюка. Ноль ошибок за драфт по ее версии.

 

Ощущение, что у нее смещение в сторону рар. А во входных данных результата драфта нет? А то ведь обучат ее плохому. А так можно было бы на выходе про-драфтера получить, если бы она точно знала, что вот так надо пикать, чтобы выигрывать, а вот так, чтобы проигрывать.

[rx303]

А Дюк - хитрец. Написал, видимо, чтобы ему ее передавали. http://www.top8draft.com/draft/2/ReidDuke/3/2/

Вообще, по всей видимости, эта нейросеть превратилась в Дюка. Ноль ошибок за драфт по ее версии.

 

Ощущение, что у нее смещение в сторону рар. А во входных данных результата драфта нет? А то ведь обучат ее плохому. А так можно было бы на выходе про-драфтера получить, если бы она точно знала, что вот так надо пикать, чтобы выигрывать, а вот так, чтобы проигрывать.

Если знаете ресурс, где есть собранные колоды с результатами или какими-нибудь банальными оценками в звездочках - было бы круто. Но я таких не нашел.

Я вообще рассуждаю так - есть некоторый неизвестный идеальный алгоритм драфта в заданном формате. Люди стараются ему следовать, но совершают ошибки, и довольно много - это как наложение шума на сигнал. Но если взять кучу таких сигналов и усреднить, то от шума можно более-менее избавиться.

[Dimk]

Если знаете ресурс, где есть собранные колоды с результатами или какими-нибудь банальными оценками в звездочках - было бы круто. Но я таких не нашел.

Я вообще рассуждаю так - есть некоторый неизвестный идеальный алгоритм драфта в заданном формате. Люди стараются ему следовать, но совершают ошибки, и довольно много - это как наложение шума на сигнал. Но если взять кучу таких сигналов и усреднить, то от шума можно более-менее избавиться.

С одной стороны так, с другой, если собирать шум, то можно получить только больше шума. Например, большинство людей плохо драфтятся, и не могут даже близко следовать этому алгоритму, а она будет делать примерно так же, как большинство. Поэтому, ей желательно уметь отличать хороших и плохих игроков. В целом она неплохо справляется, но косяки есть. Есть возможность добавлять результат драфта, как необязательные входные данные? И обучается ли она до сих пор, когда в нее пользователи добавляют свои драфты? Если да, то можно с миру по нитке и накидать своих драфтов, у кого что есть

[rx303]

С одной стороны так, с другой, если собирать шум, то можно получить только больше шума. Например, большинство людей плохо драфтятся, и не могут даже близко следовать этому алгоритму, а она будет делать примерно так же, как большинство. Поэтому, ей желательно уметь отличать хороших и плохих игроков. В целом она неплохо справляется, но косяки есть. Есть возможность добавлять результат драфта, как необязательные входные данные? И обучается ли она до сих пор, когда в нее пользователи добавляют свои драфты? Если да, то можно с миру по нитке и накидать своих драфтов, у кого что есть

Плохо драфтятся-то по-разному. Один в одном месте сделал ошибку, другой - в другом.

Выставить дополнительные веса-оценки по уровню игрока или результатам, несомненно, было бы неплохо, но эти данные надо либо как-то найти, либо сформировать из сдрафченного набора карт. Но ручной обработки хотелось бы избежать.

Онлайн-обучение по каждому новому драфту возможно, но есть ряд аргументов "против". Например, сервера для веб-хостинга плохо подходят для машинного обучения. А также в случае такого обучения как раз будет сильно сказываться шум, потому что мы не будем усреднять данные, и качество сети быстро ухудшится. Когда я обучал сеть, я обрабатывал данные блоками от 250 до 10000 пиков (т.н. mini-batch).

[iktash]

Идея очень крутая. Думаю, если её дальше развивать, то можно много полезного сделать. Сейчас сайт вообще не юзер-френдли.

 

Если нужны еще руки готов подключиться к разработке.

 

По поводу обучения новым драфтам. Можно же не сразу это делать, а ждать, когда наберется некая масса и скармливать её нейронке? Я бы еще подумал где брать и как правильно использовать данные о цене карт.

[UnrealMistake]

Я сам недавно начал нейросети изучать.

По поводу сложения шума, есть проблема, что есть глобальные ошибки. Например, люди пикают высоко денежные рарки, чтобы оценить, какие колоды у них получатся в реальном драфте, когда они будут делать то же самое. Отдельные карты неправильно оцениваются большим количеством людей по другим причинам. В итоге все эти ошибки передадутся нейросети.

А в целом научить нейросеть играть в магию - довольно интересная идея. А потом вменяемого бота к модо прикрутить.

[rx303]

UPD: Прикрутил возможность играть против ботов. Повысил качество нейронной сети. Пока что все еще только BFZ-BFZ-BFZ.

Интерфейсом особо не занимался, так что там местами едет верстка.

[AEdroth]

Попытался подрафтить, в середине второго бустера вылетела 500-я ошибка.

[sash]

Ну что я могу сказать,

Середина второго бустера. У меня собираются отчетливые РВ-аллики с двумя мундами. Однако ранних дропов не сады и стабилизации нет никакой.

Компьютер мне говорит, что надо брать черно-белого аллика, и не брать красного аллика медведя, обязанного атаковать без других алликов.

Вы что, серьезно?

[rx303]

Можно, кстати, ссылки непосредственно на пики давать: http://top8draft.com/draft/33/sash/2/8/

Я могу парировать, что в отчетливых РВ-алликах там 1 второй дроп и 0 третьих (Kozilek's Sentinel можно поиграть, но не хочется). Четыре красных карты, из которых три пришли во втором бустере. Несколько тяжелых летунов с лайфгеном, которые куда лучше смотрятся в БВ. Плюс в вакууме Drana's Emissary в разы сильнее Reckless Cohort

Может быть, компьютер в такой ситуации посчитал, что второй цвет еще не достаточно определился.

[JakeBurchill]

Я не уверен, что рандомайзер работает нормально.

 

http://top8draft.com/draft/44/Jake/

 

Две Kiora, Master of the Depths и два Greenwarden of Murasa за один драфт это нормально?

[rx303]

Я не уверен, что рандомайзер работает нормально.

 

http://top8draft.com/draft/44/Jake/

 

Две Kiora, Master of the Depths и два Greenwarden of Murasa за один драфт это нормально?

Конечно, не нормально. Сейчас как раз займусь потихоньку всеми этими мелочами.

Изменено 17 февраля 2016 пользователем rx303

[sash]

Можно, кстати, ссылки непосредственно на пики давать: http://top8draft.com...ft/33/sash/2/8/

Я могу парировать, что в отчетливых РВ-алликах там 1 второй дроп и 0 третьих (Kozilek's Sentinel можно поиграть, но не хочется). Четыре красных карты, из которых три пришли во втором бустере. Несколько тяжелых летунов с лайфгеном, которые куда лучше смотрятся в БВ. Плюс в вакууме Drana's Emissary в разы сильнее Reckless Cohort

Может быть, компьютер в такой ситуации посчитал, что второй цвет еще не достаточно определился.

Здесь как раз мысль в том, что две мунды обеспечивают нам газ, который превращает летунов за 6 в очень хороших летунов и в РВ - то есть они затащат нам хиты, если мы будем снизу. но для этого нам надо получать газ.

 

Но мысль понял и она пожалуй поглубже, чем мне казалось.

 

 

[Lotar]

Конечно, не нормально. Сейчас как раз займусь потихоньку всеми этими мелочами.

Стоит поискать инфу по принтранам, или просто собирать базу наборов с драфтов и крутить их (если возможно).

А то мне пак без двух цветов попался (одного вообще не было, второй только в составе многоцветной карты).