Как собрать все url страниц сайта?

Как собрать все url страниц сайта?, Подскажите, пожалуйста, как спарсить все проиндексированные url

Сообщений: 306 Регистрация: Фев 2013

3 Мая 2015 20:33

Доброго времени суток, уважаемые форумчане. Подскажите, пожалуйста, сервис, который поможет собрать списком все url сайта. Заранее спасибо!

http://www.inwin.com.ua - Интернет аукцион Украины

SharkCinema

Сообщений: 619 Регистрация: Окт 2014

3 Мая 2015 20:39

site.com/sitemap.xml

http://smswifi.ru - SAS WiFi СМС авторизация для вашего бизнеса. | http://supportila.ru - личный блог.

Zulios

Сообщений: 306 Регистрация: Фев 2013

3 Мая 2015 21:13

Данные страницы нужно получить без даты добавления их в карту. Есть ли какая-то программа, которая спарсит все страницы списком в виде url каждой страницы?

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

3 Мая 2015 22:14

STGrabber поможет

Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.

SharkCinema

Сообщений: 619 Регистрация: Окт 2014

4 Мая 2015 00:05

Так а что мешает сохранить sitemap и вытащить ссылки через регулярку?

<url>|(<loc>(|\r\n))(.*)((|\r\n)</loc>)|(<(.*)>(|\r\n)*(.*)(|\r\n)*</(.*)>)|<.*>|(\r\n)+

\3\r\n

Marques

Сообщений: 408 Регистрация: Авг 2010

4 Мая 2015 00:34

Цитата
SharkCinema пишет: Так а что мешает сохранить sitemap и вытащить ссылки через регулярку? <url>\|(<loc>(\|\r\n))(.)((\|\r\n)</loc>\|(<(.)>(\|\r\n)(.)(\|\r\n)</(.)>\|<.*>\|(\r\n)+ \3\r\n

Поясните для "валенков" как это делается)

Биржа криптовалют удобная аналитика, хранение, покупка

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:02

Тоже интересует этот вопрос для валенков smile:)

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:03

Цитата
Алексей SP пишет: STGrabber поможет

Сейчас пробовал найти - нигде не находит. По всем адресам либо файлик отсутствует, либо вирусные файлики лежат

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:15

Цитата
Алексей SP пишет: STGrabber поможет

Спасибо большое! Таки нашел программку, в момент все урлы с карты сайта спарсила! Очень помогли, спасибо еще раз smile:)

Роман Цабров

Сообщений: 194 Регистрация: Янв 2013

#10

4 Мая 2015 17:06

content downlader легко решает такие вопросы

Самая лучшая ВАП партнерка! Без санкций ТУТ

serogo evgo

Сообщений: 408 Регистрация: Мар 2015

#11

9 Декабря 2015 02:53

STGrabber у кого нить осталась эта програма или что то подобное нужно собрать все ссылки с карты сайта. либо плагин для wp для сбора списка всех адресов страниц

создание продвижение сайтов ! качество и доступная цена

Ravager

Сообщений: 29 Регистрация: Ноя 2015

#12

9 Декабря 2015 18:41

Цитата

Marques пишет:

Цитата
SharkCinema пишет: Так а что мешает сохранить sitemap и вытащить ссылки через регулярку? <url>\|(<loc>(\|\r\n))(.)((\|\r\n)</loc>\|(<(.)>(\|\r\n)(.)(\|\r\n)</(.)>\|<.*>\|(\r\n)+ \3\r\n

Поясните для "валенков" как это делается)

Нужен текстовый редактор подходящий, например sublime text. Просто делаете поиск по регулярному выражению на выбор всех результатов в файле sitemap - где все ссылки лежат.

Александр Фокс

Сообщений: 178 Регистрация: Ноя 2013

#13

24 Марта 2016 16:20

Мне тоже нужны были все адреса страниц сайта, поступил следующим образом. Скачал карту сайта и открыл при помощи Notepad ++. Все очень просто.

Поделки своими руками

Валерий Сообщений: 170 Регистрация: Май 2011	#14 25 Февраля 2025 22:28 Пишите в личку, все сылки будут с любого сайта в любом количестве, у меня скрипт на питоне спарсит любые ссылки сайта без мусора

Похожие темы:

02.12.2023 00:11	Как долго индексируется страница
30.08.2023 11:44	Сколько ключей запросов нужно писать на одной странице, чтобы быть в топе
22.05.2023 01:50	За отзыв ТЗ по оптимизации 1й страницы
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
24.11.2022 10:02	Приставка к страницам пагинации типа ?fbclid

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:56 Второй год подряд Яндекс Переводчик занимает первое место в мире 22:28 Как собрать все url страниц сайта? 22:01 Стоит ли добавлять сайт в Rambler топ 100? 21:59 Как грамотно и эффективно монетизировать форум? 07:06 Google откажется от SMS для авторизации в Gmail. Их заменят на QR-коды 21:06 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 10:37 Партнерская программа Xoffers с прямыми офферами в вертикалях форекс, крипта и бинарные опционы.	22:13 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 17:02 Резидентные Прокси Ротационные BACKCONNECT США Европа Микс 16:18 Статьи азартной тематики 15:14 Volna.money 15:11 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир 12:25 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 12:17 Продам игровой форум!	22:06 Осторожно! Криптовалюта 21:56 Интернет-провайдера обязали раскрыть 100 предполагаемых пиратов BitTorrent 11:15 С юмором по жизни! 21:24 Точные прогнозы на футбол 18:52 150+ хакерских поисковых систем и инструментов 17:16 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 14:43 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко