отображение цен на SСG

[AliraSirin]

Ну можно попробовать OCR, картинка простая (http://www.phpclasses.org/package/2874-PHP-Recognize-text-objects-in-graphical-images.html например в случае php)

[ASVShade]

Можно и видимо это единственный выход.

[Tinefol]

ASVShade да.

 

Кстати говоря, вытягивать цены покарточно - крайне неэффективно в плане трафика и времени. Гораздо удобнее выгружать список всех карт, а оттуда выбирать нужные. Ваш КО.

 

Выход далеко не единственный, помимо этого есть еще 3 способа.

 

AliraSirin картинка с визуальным шумом, если ее под лупой посмотреть. Не капча конечно, но не всё так просто.

[ASVShade]

ASVShade да.

Кстати говоря, вытягивать цены покарточно - крайне неэффективно в плане трафика и времени. Гораздо удобнее выгружать список всех карт, а оттуда выбирать нужные. Ваш КО.

Спасибо Кеп!

 

AliraSirin картинка с визуальным мусором, если ее под лупой посмотреть. Не капча конечно, но не всё так просто.

Все очень просто, почти любой OCR берет эту картинку, например:

http://www.onlineocr.net/default.aspx

 

mod: удолил из поста оффенс, еще раз увижу, приму глобальные меры

[chuk]

Вы будете смеяться, но можно и без OCR:

Request URL:http://sales.starcitygames.com/cart_product_ajax.php
Request Method:POST
Form Data:
product:392729
qty:1

Response:
{"success":true,"fatal_error":false,"feedback":"Abundant Growth was added to your cart at $0.25.","productid":"392729" ...}

[Tinefol]

Да чему тут смеяться. Один из возможных способов. Они, кстати, не только корзину не прикрыли еще. Другое дело, что они рано или поздно сообразят эту лавочку прикрыть как минимум тем же способом, что и всё остальное. Да и покарточно вытягивать всю базу - скорость страдает слегка.

[amarto]

Интересно, что будет, если предложить старситям самим выкладывать всю эту статистику в премиуме? )

[chuk]

Да чему тут смеяться. Один из возможных способов. Они, кстати, не только корзину не прикрыли еще. Другое дело, что они рано или поздно сообразят эту лавочку прикрыть как минимум тем же способом, что и всё остальное. Да и покарточно вытягивать всю базу - скорость страдает слегка.

Аякс ок так форкается, для этого не надо выкачивать страницу целиком, респонзтайм мелкий, курл_мульти_экзек, нутыпонел; в рамках базы в 30к полчаса-час разницы в парсинге погоды не сделают. Ну и, пока не прикрыли, этот способ - решение проблемы малой кровью, по сравнению с OCR-то.

CuneiForm, кстати, крутой OCR.

[Tinefol]

Ну подключить OCR не слишком сложно, накладных расходов особо нет, плюс к тому мне не пришлось менять всю логику. Как раньше грузилось списком по много позиций, так и сейчас. Так что можно сказать это и есть малая кровь. А не через дырки тянуть каждый раз по-новому

[chuk]

Ну подключить OCR не слишком сложно, накладных расходов особо нет, плюс к тому мне не пришлось менять всю логику. Как раньше грузилось списком по много позиций, так и сейчас. Так что можно сказать это и есть малая кровь. А не через дырки тянуть каждый раз по-новому

Так надёжней, согласен

Ждём цен каптча-стайл, вот тогда попляшем

[basilis]

Так надёжней, согласен

Ждём цен каптча-стайл, вот тогда попляшем

конкуренты старситей тоже ждут))

 

бтв, мне это напомнило как один "программер" (опыт работы, все дела) жаловался, что калькулятор под мобилку написать не может. то ли там только целочисленные типы готовые, то ли маленькие по размеру. и что же делать? - вопрошал он. Сочувствия почему-то не встретил.

[AliraSirin]

Так надёжней, согласен

Ждём цен каптча-стайл, вот тогда попляшем

Капча стайл вряд ли, эти картинки же используются как есть для отображения цен.

Глупостями они занимаются, все равно всегда можно будет найти метод расковырять. Флешом разве что заморочатся.

Проще запретить серии запросов с коротким промежутком времени с одного и того же айпишника (грубо говоря банить айпи после 100 запросов в течение N времени). Заморачиваться на смены проксей динамические никто не будет. Хотя в таком случае сделают слоу-слоу парсеры с задержками между запросами. Короче пусть сдаются

[Tinefol]

basilis оо, конкуренты ситей тоже вовсю уже стараются. Например, небезысвестный channelfireball навесил на свой сайт столько всяких фишечек, примочек, свистелок и перделок, что им уже и пользоваться почти невозможно ввиду аццких тормозов и постоянных подвисаний.

 

AliraSirin вот-вот, им бы сделать нормальное api с обязательством какой-нибудь рекламы пользующимся, а они занимаются бессмысленным огораживанием.

[basilis]

basilis оо, конкуренты ситей тоже вовсю уже стараются. Например, небезысвестный channelfireball навесил на свой сайт столько всяких фишечек, примочек, свистелок и перделок, что им уже и пользоваться почти невозможно ввиду аццких тормозов и постоянных подвисаний.

 

AliraSirin вот-вот, им бы сделать нормальное api с обязательством какой-нибудь рекламой, а они занимаются бессмысленным огораживанием.

вот дебилы. как Зоя заметила - щелочка найдется (тут еще важный момент, что на торговом сайте свистелочки довольно лишние, будут посетители теряться), можно конечно все довести до ситуации, когда разве что из спортивного интереса осмысленно ломать. Но вообще неясно, какие такие дикие убытки старсити на этом несут, вот у них точно усилия не окупаются. ну и в общем в других областях инет-торговли это же проходили неоднократно, вроде эмпирически установили, что проще расслабиться. А еще проще вообще динамику самому выдавать, да.

А байку про ботов на амазоне все знают?

[Tinefol]

basilis не знаю байку.

[amarto]

AliraSirin вот-вот, им бы сделать нормальное api с обязательством какой-нибудь рекламы пользующимся, а они занимаются бессмысленным огораживанием.

Ну сейчас инвитейшнл пройдет, и я напишу, кому надо.

[AliraSirin]

Ну им это может быть неприятно с точки зрения нагрузки на сервер. Я вот тут недавно испытала атаку бота парсера, цифры мне не понравились...

[Bigboss]

Ну сейчас инвитейшнл пройдет, и я напишу, кому надо.

И зачем?

[basilis]

Ну им это может быть неприятно с точки зрения нагрузки на сервер. Я вот тут недавно испытала атаку бота парсера, цифры мне не понравились...

хммм. Чисто абстрактно для них в относительных числах рост нагрузки не должен быть большим.

 

про ботов - два амазоновских бота разных контор вошли в резонанс - у них была привязка в покупных списках (и, соответственно - продажных) к ценам конкурентов. До человеческого вмешательства в лямы баксов ушли за какую-то базовую книжку (желающие могут погуглить, я на память излагаю)

[Арготианская Выхухоль]

Тролле-латынь кстати очень в тему =)) (гугл транслейт ок)

А в прошлой версии (с картинкой 0123456789) была другая

/* Mene, Mene, Tekel, Upharsin */

[kremen]

Всем ИХОРМА и РИВЕРБОА. Вы такие классные все.

[amarto]

И зачем?

затем что собственное приложение ситей, будя они решат этим заняться, явно будет удобнее всем самодельных парсеров. Или ты как трейдер, имеешь что-то против?

 

про ботов - два амазоновских бота разных контор вошли в резонанс - у них была привязка в покупных списках (и, соответственно - продажных) к ценам конкурентов. До человеческого вмешательства в лямы баксов ушли за какую-то базовую книжку (желающие могут погуглить, я на память излагаю)

Вот оно

[Bigboss]

Всем ИХОРМА и РИВЕРБОА. Вы такие классные все.

У кого чего болит ...

[AliraSirin]

А в прошлой версии (с картинкой 0123456789) была другая

/* Mene, Mene, Tekel, Upharsin */

ха, так они же сами себя обрекают на провал!

[Bigboss]

затем что собственное приложение ситей, будя они решат этим заняться, явно будет удобнее всем самодельных парсеров. Или ты как трейдер, имеешь что-то против?

Я как трейдер ничего против не имею, мне просто было интересно.