Что читаем
Главную, robots.txt и карту сайта, страницы с документами (политика, оферта, реквизиты) и страницы, на которых есть формы. Ещё манифест и иконку — чтобы показать владельцу его сайт с его же логотипом.
Paragraph Audit — это мы
Вы нашли это имя в логах своего сайта. Ниже — кто мы, что читаем и как нас закрыть, если читать не надо. Последнее — одной строкой и без переписки.
Paragraph Audit/0.1 (+https://zerno.one/bot)
Кто это
Юридическая проверка сайта, а не поисковый робот
Параграф проверяет сайты на соответствие 152-ФЗ: есть ли политика обработки данных, что написано в cookie-баннере, собирают ли формы согласие, кому уходят данные посетителя. К вам мы пришли по одной из двух причин: кто-то ввёл ваш адрес на нашей витрине, чтобы посмотреть, что у сайта с документами, — или владелец сайта подключил его к наблюдению и мы приходим к нему по расписанию.
Мы не индексируем сайт, не собираем базы адресов и не перепродаём то, что прочитали. Всё, что мы видим, — это то, что ваш сервер отдаёт любому посетителю без входа.
Что мы делаем и чего не делаем
Читаем страницы. Больше ничего
Чего не делаем
Не отправляем формы и не жмём кнопки, не входим в личные кабинеты, не подбираем пароли и не обходим защиту. Не трогаем корзину, оплату и всё, что меняет состояние на вашей стороне.
Ни одного запроса, кроме чтенияКак нас узнать
Имя одно и у полной проверки, и у пинга доступности: в логах мы обязаны выглядеть одним посетителем, а не двумя незнакомыми ботами. По адресу нас не опознать — сервер обычный, и, кроме имени в заголовке, подписи у нас нет.
Имя выше — целиком, как оно приходитКак нас выключить
Строкой в robots.txt — и мы уйдём
robots.txt мы спрашиваем перед каждым обходом и подчиняемся ему целиком. Сервис, который проверяет чужое соблюдение правил, обязан соблюдать чужие правила сам.
User-agent: Paragraph Audit Disallow: /
Запрет подействует с ближайшего нашего прихода, отдельной заявки для этого не нужно. Закрыть можно и часть сайта — тогда в отчёте владельца напротив закрытого раздела встанет «сюда не ходили», а не «здесь ничего нет»: мы не выдаём необойдённое за проверенное.