Или не все программисты хорошие, а некоторые — просто вредители. Если Ваш клиент привлек сторонних «оптимизаторов» — очень часто клиент прибегает обратно с криком: «ВСЕ ПРОПАЛО».
Анализ ситуации показал, что бот просто перестал нас видеть.
Вариант 1. Заперт по robots.txt
Это первое что нужно проверить, если там стоит заперт на сканирование — то все, это конец
Вариант 2. Заперт по хедерам страницы
Также заперты на сканирование могут стоять и в самом теле страницы — проверьте полностью контент пропавшей страницы (документация гугл по noindex)
Вариант 3. Запрет по htaccess
У нас оказалось все запутанней и проще одновременно, — неизвестно откуда пришел блок по списку айпи роботов. И роботы — обиделись, что логично
Вариант 4. Экзотический, при генерации страницы дает хедер 404 скрипт (например php)
Аналогичный 3 вариант может быть реализован и на стороне генерации контента. Это конечно снижает поток запросов — но гугл бот нам друг, если мы хотим красиво в поиске быть