Как собрать огромную базу немодерируемых форумов для Xrumer (Гугл Alerts)

Этот пост является 2-ой частью цикла статей о бесплатном сборе/парсинге баз форумов (Читать 1 метод).

Разглядим очередные бесплатный способ получения ссылок. В этом нам поможет сам Гугл, а конкретно сервис — http://www.гугл.com/alerts. Гугл Alerts позволяет получать извещения о различных событиях в вебе на почту либо на фид.

Мы будем использовать его, чтоб выяснить кто, когда и где проспамил форум или хоть какой другой ресурс. Вывод на фид можно сделать только при наличии google аккаунта. Заполняем все поля:

Как собрать огромную базу немодерируемых форумов для Xrumer (Гугл Alerts)

1. Search query — указываем запрос в поисковике, другими словами признак ресурса + главную фразу.

2. Results type – виды ресурсов для парсинга (анонсы, блоги) — выбираете Everything, т.е. все.

3. How often — Как нередко – выбираете As-it-happens (как случится).

4. How many – Сколько результатов – выбираете All results — все.

5. Deliver to — Куда доставлять – выбираете Feed

В итоге будет сгенерирована ссылка на фид, к примеру, так

Как собрать огромную базу немодерируемых форумов для Xrumer (Гугл Alerts)

Таким вот нехитрым методом сам Гугл будет делать парсинг нужных нам ресурсов. Остается только использовать хоть какой RSS граббер, чтоб собрать все линки в одном месте.  Например, скрипт, который будет обращаться к фиду и собирать все линки. Скачать скрипт можно тут. Вам нужно всего только во 2-ой строке поменять  адрес на собственный фид и поставить скрипт на крон. Скрипт будет собирать все ссылки в файл links.txt.

Это очень обычный, но в тоже время неописуемо действенный метод сбора самых ценных ресурсов — ведь на этот фид будут поступать ссылки в режиме реального время, другими словами данные ресурсы индексируются гуглом сначала и являются более животрепещущими.

Создатель статьи Insider

---

автор BABLOKOS