«Яндекс»
Диапазоны: https://yandex.ru/ips.
Список юзерагентов и прочие инструкции в «Справке».
Проверка ip-адреса в «Яндекс Вебмастере».
«Гугль»
Диапазоны: https://developers.google.com/search/apis/ipranges/googlebot.json
Список юзерагентов и прочие инструкции в «Серч Сентрал».
