[CLOSED] Цены на карты по SCG в телеграме (@mtg_helper_bot)

[gurugray]

StarCity умер, бот перестал фетчить данные — придётся подождать :(

А мне задача на обработать такой кейс :\

[gurugray]

update — всё работает в штатном режиме

[42ia]

В 19.01.2018 в 12:20, gurugray сказал:

Бот написан на nodejs. Я использую только ту информацию, которая не закрыта капчей и не обфусцирована для парсинга, потому такой проблемы нет, но есть соответствующие ограничения

Так на старсити цена же обфусцирована. У меня знаний не хватило распарсить цену. Она вроде из картинок с цифрами формируется. Картинки всегда по разному называются.

Я тоже писал МТГ бота. Кроме функции поиска карт, делал возможность сформировать бустер по заданному сету с возможностью сделать первый пик, и хотел чтобы потом выводилась информация по каждой карте в бустере, сколько пользователей ее пикнули.

И мне кажется лучше сделать так, что если результатом поиска является несколько карт, чтобы клик по определенной карте не отправлял на ССГ, а чтобы бот отправлял пикчу этой карты с ценами репринтов в других сетах.

[gurugray]

20 часов назад, 42ia сказал:

Так на старсити цена же обфусцирована.

Не вся, именно её я и использую :)

 

20 часов назад, 42ia сказал:

И мне кажется лучше сделать так, что если результатом поиска является несколько карт, чтобы клик по определенной карте не отправлял на ССГ, а чтобы бот отправлял пикчу этой карты с ценами репринтов в других сетах.

с репринтами в текущем стандарте вроде бот справляется, с остальными сложнее всё по тем же причинам отсутствия самих цен :(

а по поводу — клик перезапрос на карту telegram пока не умеет это в api

[gurugray]

UP: Сегодня чудит Telegram API — не работают отправки сообщений — ждём починки :(

[gurugray]

UP: пофиксил хаками библиотеку, видом после апдейта API 13 февраля она с ним не дружит.

Сейчас бот работает в штатном режиме — если что пишите

[gurugray]

UP: добавил Masters 25 для удобства просмотра цен (из особенностей в поисковой индекс попадает не сразу, так что лучше смотреть листом)

[Altimit]

А в каком режиме бот получает цены с сетей? При каждом поиске делает запрос за ценой или есть какой-то кэш?

[gurugray]

скрипт качает цены вне зависимости от запросов, чтобы кеш прогревался для всех пользователей

[Altimit]

Если база цен составляется заранее, то в теории можно весь SCG спарсить.

Загружаем страницу через Selenium или Splash, получаем кусок изображения страницы с ценой, передаем изображение цены в OCR и получаем готовую цену числом.

Может, как-нить запарюсь, если время будет.

Изменено 1 марта 2018 пользователем Altimit

[gurugray]

Это не очень годная теория вот почему:

— выгружать всю базу через Selenium+OCR довольно долго и чревато ошибками распознавания (а снижение доверия к ценам — потеря смысла в самой функциональности)

— пройти капчу, а меня сейчас почти с каждого запроса просят её пройти если я делаю поиск, а автоматизировать проход капчи не совсем легально и очень муторно (не стоит вложеных усилий)

[Largo]

Если на карту скидка, то какую цену бот отображает, со скидкой или без?

Как отображается знание бота о распродаже?

Изменено 1 марта 2018 пользователем Largo

[gurugray]

Если на карту есть скидка — то отображается цена сразу со скидкой, при этом она помечена звёдочкой.

[Altimit]

3 часа назад, gurugray сказал:

Это не очень годная теория вот почему:

— выгружать всю базу через Selenium+OCR довольно долго и чревато ошибками распознавания (а снижение доверия к ценам — потеря смысла в самой функциональности)

— пройти капчу, а меня сейчас почти с каждого запроса просят её пройти если я делаю поиск, а автоматизировать проход капчи не совсем легально и очень муторно (не стоит вложеных усилий)

В ошибки распознавания я не верю, т.к. у них картинки достаточно шаблонные и четкие, без добавления шума. Поэтому качество должно быть стопроцентным.

Касетльно времени парсинга и капчи, то используя поиск - да, будет долго и с капчей. Но можно же ходить через листинг: Store -> Выбираем сет -> проходим от 5 до 9 страничек. Там на всю базу страниц 1000 наберется суммарно. Это даже если ходить раз в минуту, должно спарситься меньше, чем за сутки.

 

[gurugray]

мне больше импонирует идея отреверсить обфускацию, тогда время и ресурсы на парсинг должно сократиться на порядок, а с OCR только в качестве упражнения можно :)

[Altimit]

Обфускация у них заключается в следующем:

Есть много картинок, содержащих 10 символов цифр в случайном порядке и точку, например  Далее для каждой цифры ценника они через css указывают от какой картинки какой блок (цифру) взять для отображения. И показывают кусок этой картинки с соответсвующим числом.

Чтобы решить эту задачу без OCR, надо составить базу всех таких картинок и порядок цифр на них. Но если они дошли до такого безобразия, то, наверняка, эти картинки они генерируют на лету.

Так что если метод генерации не вшит в id картинки, без OCR это никак не разобрать.

[gurugray]

Да я уже разбирал как сделано.

По сути осталось понять генерацию ключа, я вот тоже остановился на этом, дальше времени не хватило :)

Вообще есть такой исходник https://github.com/harmonicradius/diyScgApi

Планирую поизучать его на досуге

[gurugray]

UP: добавил сет «потеряшку» Iconic Masters — /price #ima (в меню тоже есть кнопка)

[gurugray]

Пока я болею — слегла машинка с ботом, из-за того что проект на чистом энтузиазме — мониторинги (на той же машинке) тоже слегли :\

Бота вылечил — машинку переподнял, но вы если что не стесняйтесь в тему писать о проблемах — ибо только по статистике я и заметил неладное :)

[gurugray]

UP: добавил Доминарию для удобства просмотра цен (из особенностей в поисковой индекс попадает не сразу, так что лучше смотреть листом)

[gurugray]

UP: Доминария теперь в полном составе в поисковом индексе и переведены все карты сета после полного спойлера. Картинки появятся только после апдейта geterer'а.

[Altimit]

@gurugray Бот пострадал от работы Роскомнадзора. Есть планы по восстановлению работы?

[Амариллен]

Ну, по идее, его можно перехостить куда-нибудь

[gurugray]

Бот работает в штатном режиме, часть дня лежал сам старсити.

На текущий момент бот хостится там где доступы есть.

 

@Altimit а как выглядит проблема?

Изменено 16 апреля 2018 пользователем gurugray
Ситакс

[Altimit]

1 час назад, gurugray сказал:

 

@Altimit а как выглядит проблема?

Она все еще есть. После ввода слова (если нужны логи, я тестирую на слове "изыск"), сообщение помечается как прочитанное, статус меняется на  секунд на 8. И все.

Вот видео http://take.ms/cPWFF