Робот яндекса враховує побажання - 13 Березня 2011 - Новини зі світу ІТ українською мовою

Мій сайт

Головна » 2011 » Березень » 13 » Робот яндекса враховує побажання

13:10 Робот яндекса враховує побажання
Нещодавно на Хабре пройшла дискусія, де було обговорено політику обходу сайтів і інцидент з роботом Яндекса у серверів uaprom.net і ruprom.net. Дякую всім за наступні поради, ми постараємося їх врахувати. Що стосується випадку з uaprom / ruprom, то дані про потворне поведінці нашого робота правдиві, але не відображають реальної картини. 1. Робот Яндекса викачав 19238 сторінок з 8506 (восьми тисяч п'ятисот шести) піддоменів uaprom.net і з 6896 (шість тисяч вісімсот дев'яносто шести) піддоменів ruprom.net, а не з двох хостів, як може здатися з нотаток. 2. На кожен хост (з ~ 15000) робилося не більше одного звернення до 1,1 або 2 секунди (залежно від розміру хоста). Зараз uaprom.net / robots.txt і ruprom.net / robots.txt встановили Crawl-Delay в 0,5, завдяки чому збільшили навантаження на своїх хости (за замовчуванням Crawl-Delay 1,1 або 2 секунди). 3. Всі піддомени ruprom.net і uaprom.net лежать на двох IP. Автоматичні алгоритми Яндекса визначили ruprom.net і uaprom.net як хостинги (вони і позиціонують себе як надійні хостинги, див. ruprom.net/tour-4 і uaprom.net/tour-4). Для надійного хостингу, на серверах якого знаходиться багато сайтів, ми створювали навантаження, що не перевищує 12 запитів в секунду на IP. 4. User-Agent віддавалася «YandexSomething» і це наша вина. Це був не новинний, а один з пошукових роботів, у якого ми забули змінити дефолтний подання. Помилку виправили, спасибі, робота поставили в кут. Резюме: навантаження створювана на IP хостингів ruprom.net і uaprom.net не перевищувала ліміти, допустимі при обході більшості хостингів. Ми розуміємо, що вона може бути надмірною для невеликих хостингів і постараємося краще диференціювати навантаження на великі і малі хостинги. Сподіваємося, що сервера рунета будуть зустрічати перевихованим робота прихильно.
1 2 3 4 5 Переглядів: 443 \| Додав: w1zard \| Рейтинг: 0.0/0