Отметим сразу, что небольшим сайтам до 1000 страниц нет смысла заморачиваться по этому поводу. У вас в любом случае небольшой бюджет и вам его достаточно. Проверено, что большее количество внешних ссылок, ведущих к вам, приведет в результате в гости именно краулера. И происходить как увеличить краулинговый бюджет это будет тем чаще, чем больше ссылочная масса. […]