Защитете уебсайта си от крадци на съдържание

Кажете, че сте онлайн доставчик на използвана електроника. Вашият бизнес зависи от този човек, който иска употребяван iPad да намери страхотните ви цени. Но не бихте били толкова щастливи, ако конкурент засне целия ви ценоразпис, за да победи цените ви достатъчно просто . Как можете да разрешите пълен достъп на потребителите, като същевременно предотвратявате бракуването на съдържание на едро? Е, бихте могли да използвате ScrapeDefender, облачно базирано решение за изстъргване, което се пусна днес. Разговарях с Робърт Кейн, изпълнителен директор на ScrapeDefender, за това как точно работи продуктът.

Кой има нужда?

„Вече работим с авиокомпании, потребителска електроника, финансови пазари и повече като бета клиенти“, каза Кейн. "Всеки уебсайт, който публикува много важно съдържание, ценоразписи, недвижими имоти… цялото това съдържание може да бъде събрано масово." Кейн посочи, че докато някои скрепери използват прости скриптове, други се опитват да се маскират като хора, като улавят сайта по-бавно или използват множество ботове. „Предизвикателството за собствениците е как да пуснат света и да избягвам неразрешени ботове“, заключи Кейн.

Именно тук идва ScrapeDefender. „Нашият монитор е пасивен инструмент, подобно на Google Analytics“, каза Кейн. „Вмъквате един ред код на вашия сайт, който ни позволява да го наблюдаваме 24/7. Само един ред код в заглавката на уеб страницата. Тъй като е пасивен, няма ефект върху вашата производствена мрежа.“

Онлайн табло за управление

Клиентът на ScrapeDefender може да прегледа преглед на всички блокирани дейности за изстъргване, но също така може да копае дълбоко за пълни подробности. Кейн демонстрира системата, показа ми видовете дейности, които вдигат червено знаме. Мнозина са съвсем откровени. IP адресът на скрепер има тенденция да прави много повече посещения на сайта и посещения на страници от хората и има тенденция да остане на която и да е страница за много кратко време. Дори когато се опитват да вървят бавно и да избягват откриването, се вижда шаблон. Посещенията от хора обикновено идват с препоръчано поле; посещения от остъргване на ботове никога не правят. Всички тези критерии допринасят за общ риск; достатъчно високата оценка почти винаги идентифицира дейностите за изстъргване.

„Сложните скрепери използват множество IP адреси“, отбеляза Кейн. „Но ние използваме цифров отпечатък, за да съпоставим свързани сесии, дори когато IP-адресът е различен. Може да е скрипт, работещ на различни машини или различни виртуални машини, но пръстовият отпечатък е същият.

Скрепер, без остъргване!

Попитах какво се случва, след като се идентифицира скрепер. "Правим това по два начина", каза Кейн. „Ние предлагаме модул за защита, който може да извърши блокирането за тях, но установяваме, че организациите, с които работим, имат собствена защитна стена. Така че имаме API, който може да изпраща подозрителните IP адреси към тяхната защитна стена."

И така, какво струва? Ценообразуването започва от $ 79 на месец и достига до всеки уебсайт за размер. "Някой се свърза с нас миналата седмица", каза Кейн, "за уебсайт с 25 милиона показвания на страници… на ден ! Ние го поддържаме."

Компанията ще извърши сканиране на около 150 уязвимости, свързани със скрап, за нов клиент, но всеки може да пусне безплатно сканиране, което проверява подмножество от тях. Просто посетете уебсайта на ScrapeDefender и въведете името на домейна. След няколко минути ще получите своя отговор.

Бъдещето

"Според мен", каза Кейн, "антискърпингът сега е подобен на ранния антивирусен бизнес. Това е огромна възможност. Всеки ще трябва да го има." Той посочи, че Snapchat би могъл да използва тази технология, за да предотврати събирането на данни от 4, 6 милиона потребители и по този начин да предотврати скорошния скок в спама Snapchat.

"CAPTCHA не е решение", каза Кейн. "Дори и да е работил, не са ли чували за стопанствата на CAPTCHA? Истинското решение е да се погледне поведението и да се блокира поведението на изстъргване."

Остава да разберем дали достатъчно собственици на уебсайтове ще изберат да платят за решение против изстъргване. Ще гледам да видя как играе този.