一米URL外鏈資源批量抓取工具 v2016.4.8綠色版

一米URL外鏈資源批量抓取工具是一款綠色小巧但是功能專業的URL鏈接抓取工具；軟件支持搜索引擎腳本URL抓取、全網蜘蛛抓取、同IP旁站掃描等等功能，適用於baidu.com,google.com,yahoo.com,bing.com,haosou.com 等多個搜索引擎，需要的朋友快來下載體驗一下吧！

軟件特點

穀歌百度等絕大多數搜索引擎腳本(footprint)抓取URL； 
支持手工瀏覽器獲取url，自動過濾重複url或域名； 
全網段蜘蛛爬取分析過濾URL，全球海量url資源爬取； 
同IP段網站批量掃描（C段掃描）； 
多種方式外鏈資源整理(去重/識別/過濾)；

軟件功能

開發背景 

很多時候，需要抓取某類外鏈資源，如wordpress,discuz等，配合某些群發類的軟件，因為群發軟件本身內置的資源很多人都在用，可能存在被用爛的情況，這時候自己抓取資源就很有必要。但是手工從搜索引擎穀歌，百度等獲取的話都有限製，一米URL外鏈資源批量抓取工具通過3種方式繞過了種種限製，能夠讓您在短時間獲取大量需要的外鏈資源，全麵支持footprint腳本，內置多線程高匿名代理抓取，全網段蜘蛛爬取過濾及同IP段網址掃描等功能，原則上隻要是具有某一類特征的cms都可以抓到盡可能多的URL資源。

多搜索引擎抓取支持 
支持國內外多種搜索引擎類型，baidu.com,google.com,yahoo.com,bing.com,haosou.com ,sougou.com等; 
支持多腳本footprint/關鍵詞抓取； 
內置高匿名代理IP及專屬代理支持，批量驗證可用性，每天更新；

支持手動搜索引擎結果獲取 
針對穀歌等可以使用搜索命令的引擎，可以更精準的使用搜索命令如:inurl:/wp-content/等獲取資源，關於這類資源最好的獲取方式還是直接手動從模擬瀏覽器中直接提取當前頁鏈接，每頁顯示100條記錄，軟件也支持以此方式獲取

全網段蜘蛛爬取過濾 
導入初始的網址源數據，蜘蛛會在此基礎上不斷爬取整個互聯網網址 
可根據設置的過濾URL規則過濾出需要的URL網址； 
可驗證存在某個特征URL的網站； 
可限製是否隻爬取站內網址及爬取數量； 
可設置屏蔽站點，提高效率，防止爬取一些大型的無用站點； 
自動過濾重複及提供識別email郵件提取

C段同IP旁站掃描獲取 
一般像國外的服務器某個IP段下可能存在大量同類型cms的網站程序，該功能可實時監測出這些同類型的站點。可調用bing的search api接口，掃描某個IP下的所有站點，實時性精準度是目前最高的方式，單賬戶每月限製5000次調用，但是軟件可以同時多個賬戶輪換操作。

URL外鏈資源整理 
可自動截斷某個網址規則，比如要從所有url中過慮出“/wp-content/”類型，過濾後可自動截斷網址，隻保留唯一主域名，或獲取主域後加入一段網址等格式 
可識別某個網址是否存在，根據特征網址頁麵是否存在某字符判斷存在比較精準