"Мечтают ли андроиды о хороших топдеках?"

[Hertz]

Привет!

Не найдется ли у вас пяти минут поговорить о Господе нашем... Нет, не так... Возможно, вы уже слышали про такую штуку, как ChatGPT... О чем это я? Разумеется, вы про нее не только слышали, но и успели устать настолько, что при любом упоминании от навязчивого рассказчика хочется лишь отмахнуться рукой, пробормотав "да знаю я, знаю..." и как можно быстрее перейти к другой теме, избежав странноватых рассуждений о том, что такое ИИ, свобода воли и когда же уже все-таки Скайнет пошлёт молодого Арнольда Шварценеггера забирать вашу одежду и мотоцикл, изъясняя свои пожелания с сильнейшим австрийским акцентом.

Примерно так же отмахивался и я, но, не выдержав общего напора, решил все-таки поэкспериментировать. Мне было совершенно не важна способность ChatGPT консолидировать какие-то отдельно взятые кусочки Википедий (в конце концов, этим уже никого не удивишь), кроме того, в вечных вынужденных скитаниях по разным странам мне хотелось одного - поиграть уже, наконец, в старый добрый Мэджик.

Результаты меня немного удивили, поэтому я решил поделиться ими с коммьюнити.

Для начала я попросил модель представить, что она - это Рид Дюк, и выбрать себе колоду. Получилось не очень - какая-то generic чепуха:

Скрытый текст

Поэтому я подсказал "модели" правильный выбор и предложил походить. Набор опций, который мне предложил ChatGPT, в целом показался интересным, но пока еще не удивил:

Скрытый текст

Очевидно, что сыграть на первый ход конфиданта не получится. В остальном опции описаны достаточно логично. Особенно интересно, что Болт описан не через общие фразы, а через конкретное применение - убить Иерарха на столе (!).

Модель отказывается делать выбор, поэтому я предлагаю ей сыграть Инквизицию и проанализировать, что можно скинуть из моей руки:

Скрытый текст

Здесь, честно говоря, я начал немного удивляться. Получается, что ЧатГПТ понимает, что Каверна и Зиккурат - это земли, а земли скинуть Инквизицией нельзя. Интересно, да?

Мы поговорили еще немного, и мне стало интересно, помнит ли через "пару ходов" модель карты, которые у меня есть на руке, и предложил их назвать. ЧатГПТ сначала запнулся и сказал, что не знает содержимое моей руки, но после подсказки назвал его верно:

Скрытый текст

Дальше я предложил попробовать представить, что у моего оппонента в руке, и сыграть одну из опций. Модель предложила играть в том числе Лилиану на второй ход, но после моего вмешательства скорректировалась: 

Скрытый текст

Я походил и предложил оценить, "кто сейчас батя". Она предположила, что я. Разумеется, это верный ответ, так как я совершенно не намерен проигрывать игру по ментальной магии, сценарий которой я пишу полностью сам.

Скрытый текст

 Дальше - лучше. Я передал ход, и предложил походить. Модель с моей подсказкой поняла, что кастить Тармо нельзя, потому что его вернул Рефлектор:

Скрытый текст

Дальше я начал совсем удивляться - модель, опять же, с моей подсказкой, но все-таки начала помнить про эффект Талии (прошу заметить, что половина топдека про него успешно забывает):

Скрытый текст

Я сходил в атаку, сыграл пушку и попросил посчитать модель посчитать количество хитов. Далее спросил, не удивляет ли ее мой последний ход, и ответ, в свою очередь, удивил уже меня. Т.е., фактически, ЧатГПТ понял, что если оппонент, играющий Хуманами, инсталлирует Чалбелчера - то это, мягко говоря, слегка необычный тех.

Скрытый текст

Финализировали эксперимент попыткой пошутить:

Скрытый текст

Что тут сказать? Честно говоря, это сильно больше, чем я ожидал увидеть. Меня, как я говорил ранее, не удивляет способность модели компилировать информацию из разных источников и собирать какой-то текст, но фактически эмулировать игровую машину не самой известной игры на земле - это достаточно интересно. Я специально использовал Магию, а не, скажем, шахматы, в которых любую партию можно легко записать в нотации и транслировать текстом, ничего в нём при этом не понимая. Скажу честно - корректное понимание взаимодействий вроде "это и это дискардить нельзя" или "за талию надо доплатить ману" поменяло мое выражение лица с "ну давай, покажи, че ты там умеешь" на "ого".

На сегодня все, надеюсь, вам было так же интересно, как и мне. 
 

Изменено 20 апреля 2023 пользователем Hertz

[Qreeper]

Попросите его собрать вам колоду в ЕДХ на основе определенного командира, вот где веселье. Гудспид из бана выйти не успеет, как станет полностью не нужным.

[crzmvx]

1 час назад, Hertz сказал:

предлагаю ей сыграть Инквизицию и проанализировать, что можно скинуть из моей руки

Зачем играть т1 иерарха если в стартовой виаль?

2 минуты назад, Qreeper сказал:

Гудспид из бана выйти не успеет, как станет полностью не нужным.

Что значит станет?

[Triskaidekaphile]

В каком университете страны можно отучиться на нейросеть? Вроде профессия сейчас модная и востребованная.

[Seadhna]

6 часов назад, Hertz сказал:

Я специально использовал Магию, а не, скажем, шахматы, в которых любую партию можно легко записать в нотации и транслировать текстом, ничего в нём при этом не понимая. Скажу честно - корректное понимание взаимодействий вроде "это и это дискардить нельзя" или "за талию надо доплатить ману" меня сильно удивило.

Строго говоря, магию тоже можно совершенно спокойно записать в нотации, результат будет зависеть от качества изначальных эмбеддингов и их потенциального размера. Ну а память же вообще на базовом уровне обработки текста реализована. Думаю, научить машинку играть на уровне ФНМ вполне можно, если бы это было кому-нибудь нужно. 

[StrangerOne]

Тоеж развлекался с модельками, просил ее составить список лучших колод для модерна, спрашивал по сайдбордам итд. Есть ощущение что модель живет в 2018 году: 

Скрытый текст

 

 

[alexpupkin]

Меж тем, шутка про Талию очень неплохая

[CrazzyJagger]

@StrangerOne выглядит так, как-будто тебе "на  отъ отмахнись" выплюнули копипасту какой-то статьи

перфоманс ТС куда насыщеннее

[StrangerOne]

3 минуты назад, CrazzyJagger сказал:

@StrangerOne выглядит так, как-будто тебе "на  отъ отмахнись" выплюнули копипасту какой-то статьи

перфоманс ТС куда насыщеннее

Мб, у меня пока не дошли руки получить доступ к модели на сайте. Потом попробую ее попинать.

В любом случае я разные забросы пробовал, на некоторые более подробно сформулированные моделька отвечает +- сносно, но ее легко заставить тупить 

[Nazar]

Многое зависит от инжиниринга запросов. Вот хороший пример: 

Скрытый текст

Но вообще, Саш, я удивлен твоей предвзятости. Пару недель назад я вполне успешно разобрал теоретический материал по экономическим эффектам эль ниньо за последние 50 лет, подобрал нужные источники данных включая экономику и состояние атмосферы/океана/климатические тренды, разработал простенькую регрессию для анализа взаимосвязей, после чего написал несложную сетку, которая в зависимости от обновляемых погодных данных корректирует прогноз экономических потерь. Все это (ну кроме обработки данных и инференса кода)  происходило силами gpt. За 6.5 часов примерно, без учета обучения.

прошу заметить, что дс из меня как балерина, хотя я и работаю с дсами как доменный эксперт.

Так что я полагаю, что многие сильно недооценивают реальную эффективность инструментов и сильно переоценивают собственные перспективы.

[steampowered_raccoon]

2 часа назад, StrangerOne сказал:

Есть ощущение что модель живет в 2018 году: 

Ее знания ограничены 2021 годом, возможно, это сильно повлияло

[Hertz]

1 час назад, Nazar сказал:

Но вообще, Саш, я удивлен твоей предвзятости.

Запросы в духе "напиши мне топ-10 колод" меня совсем не удивляют - с этим и гугл отлично может помочь. Например, один из последних постов в linkedin наш биздев написал с помощью ChatGPT - ну, написал и написал.

Но способность кое-как, но все же играть в игру: понимать, что есть разные игровые зоны, помнить, какие в них карты, понимать взаимодействия между перманентами на столе, наконец, понимать, кто выигрывает - на мой взгляд, уже другой уровень.

Хорошая метафора - у меня было ощущение, что я играю со способным ребенком или новичком. Он часто промахивается, но при небольших подсказках успешно понимает, в чем был косяк. И очень, очень быстро учится.

То есть, по сути, мы близки к ситуации, когда general model будет играть в Магию лучше, чем боты, написанные специально для того, чтобы играть в магию.

Вдумайся - первый вменяемый бот для Магии будет произведен на свет не как бот для Магии, а как бот для всего вообще. А это уже, собственно, и пресловутый AGI.

 

[CrazzyJagger]

14 часов назад, Hertz сказал:

Модель предложила играть в том числе Лилиану на второй ход, но после моего вмешательства скорректировалась: 

Кстати, что интересно - он не просто сказал "упс, она же 3 стоит", а развернул мысль, что без мана-акселерации поставить на 2 ход не получится

[VladikNT]

Ну, я просил нейронку написать мне гайд как собирать колоду в едх. Меня тоже удивило, что она отработала очень хорошо: рассмотрела почти все аспекты (манакурв, разные рампы, ремувалы, контрспеллы), привела пример бюджетных карт для каждой категории и сказала зачем каждая нужна, рассказала про стили игры. В общем получилось 4.5к символов. Да, это не что-то гениальное, но для новичков было бы очень полезно. Причем я пытался раньше искать какие-то гайды в инете (и это не потому что я не знаю как собирать колоды, а просто думал вдруг на какие-то нюансы не обратил внимание), но там было либо слишком коротко, либо каждый нюанс по отдельности.

Но при этом в простой ситуации она меня не поняла: я ей скинул список своих красных и синих карт и попросил сделать обычную колоду на 60 карт в стиле иззетов из имеющихся у меня. Она сначала составила командер деку (причем я сбрасывал историю диалога, чтобы она не опиралась на то, что я интересовался этим режимом), потом все-таки составила колоду на 60 карт, но моих карт там вообще не было. Я снова попросил собрать из моих карт, но она снова ничего не смогла сделать и вытащила колоду с какого-то сайта (по ощущениям). Контекст, который она запоминает вроде больше одного короткого сообщения (допустим, 200 карт скинул ей). Поэтому не знаю чего ей не хватило.

Сложно как-то восхищаться моделью версии 3.5 (в моей ситуации). Возможно четвертая будет в этом плане получше, но пока у меня нет к ней доступа. К какой версии обращался автор темы?
Но в любом случае попытка сыграть в МТГ с нейросетью выглядит интересно и думаю нас ожидает забавное будущее, где можно будет скинуть ей свою колоду и она скажет что можно подправить и почему.

[Hertz]

35 минут назад, VladikNT сказал:

К какой версии обращался автор темы?

Хороший вопрос. Как это понять? Я игрался с самим сайтом openAI, написано только "ChatGPT Mar 23 Version".

[Nazar]

3 часа назад, Hertz сказал:

Запросы в духе "напиши мне топ-10 колод" меня совсем не удивляют - с этим и гугл отлично может помочь. Например, один из последних постов в linkedin наш биздев написал с помощью ChatGPT - ну, написал и написал.

Но способность кое-как, но все же играть в игру: понимать, что есть разные игровые зоны, помнить, какие в них карты, понимать взаимодействия между перманентами на столе, наконец, понимать, кто выигрывает - на мой взгляд, уже другой уровень.

Хорошая метафора - у меня было ощущение, что я играю со способным ребенком или новичком. Он часто промахивается, но при небольших подсказках успешно понимает, в чем был косяк. И очень, очень быстро учится.

То есть, по сути, мы близки к ситуации, когда general model будет играть в Магию лучше, чем боты, написанные специально для того, чтобы играть в магию.

Вдумайся - первый вменяемый бот для Магии будет произведен на свет не как бот для Магии, а как бот для всего вообще. А это уже, собственно, и пресловутый AGI.

 

так подожди... я ж тебе об этом и написал. Никакого AGI там нет, конечно (даже если бы мы умели отличать одно от другого), это просто мультиклассификатор оргромной мощности, т.е. от человеческого пеона отличается только объемом информации и знанием приемов как ее объединять. Покажи ему новые приемы, он старую информацю сложит как надо +- по этим приемам). Но да, мой коммент про предвзятость был в том, что интерфейс взаимодействия стал мега-нативным, а если еще учесть, что они прикручивают там альфа-зеро, то я тебе скажу, что целые отделы людей перестанут вообще какую-то полезную нагрузку нести и как ни странно, первыми окажутся мидл минус разработчики и ДСы... Потому что зачем мне то-то кроме синьора с которым я могу обсудить задачу и нюансы за пивом? Все равно руками писать будет модель. А валидировать другая модель. Оптимизировали сами себя, короче )

[VladikNT]

@Hertz Для доступа к GPT 4 на сайте OpenAI нужна подписка платная. Поэтому если бесплатно пользовался, то скорее всего это 3.5 с какими-нибудь фиксами от 23 марта.

[Амариллен]

20.04.2023 в 00:35, alexpupkin сказал:

Меж тем, шутка про Талию очень неплохая

Шутка про "Талия из бизи файлинг тэксес" прям болью отозвалась