Цитата |
---|
anpekoru пишет:
Страниц у сайта Дмитрия оказалось более 1 500 000шт и он меня не предупредил за ранее, что у него там копии сайтов в поддоменах... У меня обычный ПК... 4ггц\32гб ддр4\нвм диск скорость 3500мб\с ч\з и 500мбит\с интернет - компьютер захлебнулся... никогда ранее не сталкивался с его зависанием даже... В итоге все зависло и данные пропали.
Я перезапустил проверку, настроил фильтры и передал Дмитрию отчет свое наблюдение + более 400 000 страниц, хотя он уверял, что товаров всего 40 000...
В рамках Бесплатного отчета - это более чем достаточно (затрачено 2 суток). Можно было бы провести его более эффективно, если бы Дмитрий объяснил всю "кухню", которая находится в этом домене и пути, которые не надо смотреть и т.п. |
anpekoru,
В рамках аудита за отзыв полностью с вами согласен, что это достаточно. Вы потратили своё время и старались выполнить свою работу я вас прекрасно понимаю и не осуждаю что вы не справились с работой за отзыв.
Пока я неготов заказать у вас платный аудит, возможно как будет больше свободного времени и нужен будет аудит возможно обращусь к вам для более детальной проработки и согласование всех моментов.
Товаров действительно около 40000 и ссылок которые индексируются по Яндексу около 63000
Но я не особо разбираюсь в вашей программе как она работает но могу предположить, что практически любой сайт может генерировать различные URL с разными параметрами, к примеру /auth/?register=yes&backurl=/catalog/gauss/ страница авторизации и регистрации /auth/, а остальное ?register=yes&backurl=/catalog/gauss/ означает окно регистрации register=yes и backurl=/catalog/gauss/ это с какой страницы был переход, чтобы после авторизации или регистрации пользователя перенаправило обратно и получается что пользователи могут с любой страницы зайти и URLов будет сколько угодно, а именно столько сколько существует на сайте. В программе я думаю должно быть ограничение которое можно выставить и не учитывать (не сканировать такие адреса, также я думаю нужно обращать внимание на robots.txt, что в нём указанно.
Также поддоменов всего 1 test.мой-сайт.ком. (это копия сайта для тестирования он закрыт от индексации в robots.txt, а сейчас и вообще отключил для обычных пользователей, только админам можно зайти на него) больше их нет и введя любой адрес любыесимволы.мой-сайт.ком вы нечего в ответ не получите или код 500 так как такого адреса просто не существует (возможно нужно как то DNS настраивать, чтобы ответ был какой то? Если кто вкурсе напишите пожалуйста)
К примеру я как то использовал программу "WebSite Auditor" так она тоже очень долго сканировала сайт и в большинстве случае просто висла из за большого объёма данных.
Вам желаю хорошего настроения и хороших клиентов. Спасибо.