Подскажите, пожалуйста, после того как программа напарсит ссылки на сайты по ключевому домену. Как и где проверить все эти сайты на неиндексацию в поисковиках? Таким способом хочу найти уник. контент. Парсер selka приведён как пример, может у вас есть другие варианты?