Есть очень много урлов (больше 1000) в "Проиндексировано, несмотря на блокировку в файле robots.txt". Хотим выгрузить их всех и удалить. Но пока не знаем как. Плагин google chrome выгружает другие данные и похоже не подходит именно для этой задачи, или я не нашел как.