В посту «Утечки в Интернет приватных данных - кому надо?» я уже упоминал про три подряд факта утечки данных, которые появились в выдаче поисковиков. Главным виновником происшедшего, представители ПС Яндекс назвали “неумелых” разработчиков сайтов, допустивших ошибки в написании файла robots.txt.

Яндекс о правильном robots.txt

Вскоре в Интернете было распространено видео, в котором «на пальцах» рассказывается о том, как правильно написать robots.txt, чтобы приватные документы не попадали в выдачу.

Отмечу, что входе дискуссий, посвященных данному видео было высказано много предположений, что поисковый робот все равно проходит по страницам, которые запрещены к индексации, индексируя их. Просто в нормальных условиях, поисковики не дают их в выдачу. Здесь же, по предположению аналитиков, случился очередной сбой ПС Яндекс, в результате чего, “запрещенные” к выводу в ТОП документы и страницы, оказались в серпе .

Напомню, что представители ПС Яндекс возможность сбоя категорически отрицают.

Вот, собственно, само видео от Яндекса: