Прога или скрипт для обхода сайта

Короче нужна прога или скрипт который будет обходить сайт (желательно ток новости) по моему хотению, т.е включил кнопку и обешел все ссылки... а то сейчас использую одну но она обходит все ссылки которые есть на сайте...

 

Screaming frog seo spider tool + keygen

 

byroot у меня она вроде где то валяется... но она обходит все страницы, включая теги и доп поля..

 

Defoz там есть обход по карте сайта, по вручную загруженным урлам и т.п....

 

ZerocooL чот не вижу этого пункта вроде все просмотрел

 

mode - list:

 

byroot а.. ну у меня был врублей спайдер мод

 

Defoz он всегда по умолчанию активирован.

 

byroot этим способом же можно поднимать сериалы и тд? стоит модуль если что, но так как сайт нулевой то и посещалки и ботов нет почти

 

ZerocooL поднимать в смысле что бы когда серия вышла нужно же зайти в материал что бы оно обновилось

 

Скайчай демо зенопосте,скачай карту сайта,скинешь мне потом карту и скажешь что надо обходить,я тебе бесплатно сделаю,даже будет плеер смотреть.
Я сейчас кинопрофи сайт парсер заточил , полностью все тексты забираю, потом буду отдавать на рерайтинг и делать клон, а обход сделать 5-10 минутное дело.
все получается очень хорошо)

 

Всмысле чтобы Serial Block сработал и обновил сериал? Для этого там есть крон, насколько знаю. А если ты юзаешь другой модуль, где крона нет, то просто чекнуть линк думаю будет недостаточно. Конкретно в Serial block насколько знаю вставляется js код на страницу, который и вызывает скрипт, который должен обновить новость.

 

iCooLER муннсериалс, та достаточно просто пройтись жабой по сайтмапу и сериалы обновляются...

 

Datacol | Парсер сайтов — скачать бесплатно и тестировать

 

Там есть возможность настроить обход только конкретных подпапок или начиная с какого-то уровня.