單機遊戲下載單機遊戲下載基地
最新遊戲| 熱門遊戲| 遊戲大全| 遊戲專題
壓縮解壓 光盤工具 文字輸入 殺毒軟件 文件處理 轉換翻譯 股票證券 辦公學習 編程軟件 虛擬光驅
當前位置： 首頁→ 應用軟件→ 編程軟件→ java爬蟲框架WebMagic 0.7.0免費版

java爬蟲框架WebMagic 0.7.0免費版

  • java爬蟲框架WebMagic 0.7.0免費版截圖0
< >
java爬蟲框架WebMagic 0.7.0免費版下載
好玩 好玩 0
坑爹 坑爹 0
  • 應用語言：中文
  • 應用大小：4.5M
  • 更新時間：2017-05-30 10:22
  • 發行時間：
  • 應用類型：普通
  • 應用標簽：WebMagic
webmagic的是一個無須配置、便於二次開發的爬蟲框架，它提供簡單靈活的API，隻需少量代碼即可實現一個爬蟲。webmagic采用完全模塊化的設計，功能覆蓋整個爬蟲的生命周期鏈接提取、頁麵下載、內容抽取、持久化，支持多線程抓取，分布式抓取，並支持自動重試、自定 [更多]
大小：4.5M
應用介紹

webmagic的是一個無須配置、便於二次開發的爬蟲框架，它提供簡單靈活的API，隻需少量代碼即可實現一個爬蟲。webmagic采用完全模塊化的設計，功能覆蓋整個爬蟲的生命周期(鏈接提取、頁麵下載、內容抽取、持久化)，支持多線程抓取，分布式抓取，並支持自動重試、自定義UA/cookie等功能。

POST支持

新的POST API，支持各種RequestBody #513

Request request = new Request("http://xxx/path"); request.setMethod(HttpConstant.Method.POST); request.setRequestBody(HttpRequestBody.json("{'id':1}","utf-8"));

移除了老的在request.extra中設置NameValuePair的方式

POST請求不再進行去重 #484

代理支持

新的代理APIProxyProvider，支持自由擴展

默認實現SimpleProxyProvider是一個簡單的round-robin實現，可以添加任意個數的代理。

HttpClientDownloader httpClientDownloader = new HttpClientDownloader(); SimpleProxyProvider proxyProvider = SimpleProxyProvider.from(new Proxy("127.0.0.1", 1087), new Proxy("127.0.0.1", 1088)); httpClientDownloader.setProxyProvider(proxyProvider);

移除了Site上關於代理配置的setProxy等，代理設置統一到HttpClientDownloader裏。

新的SimpleHttpClient

用作簡單的單次下載和解析時，使用SimpleHttpClient可以滿足需求

SimpleHttpClient simpleHttpClient = new SimpleHttpClient(); GithubRepo model = simpleHttpClient.get("github.com/code4craft/webmagic",GithubRepo.class);

其他改動

為Page中增加狀態碼和Http頭信息 #406

支持Request級別設置Http Header和Cookie

去掉Site.addStartRequest() , 用Spider.addStartRequest()代替 #494

HttpClientDownloader大幅重構，將Request轉換抽象到HttpUriRequestConverter(之前繼承HttpClientDownloader的實現可能需要做相應修改) #524

將CycleRetry和statusCode的判斷邏輯從Downloader中遷移到Spider中 #527

通過Page.isDownloadSuccess而不是Page對象本身為空來判斷是否下載失敗

為PageModel增加不發現新URL的功能 #575

為Site增加了disableCookieManagement屬性，在不想使用cookie時使用 #577

相關應用
    相關攻略
    下載地址

    java爬蟲框架WebMagic 0.7.0免費版

        熱門評論

        最新評論

        發表評論查看所有評論(0)

        昵稱:
        表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
        (您的評論需要經過審核才能顯示)

        配置需求

        推薦專題

        up對戰平台up對戰平台

        本類下載排行

        關於飛翔|聯係我們|大事記|下載幫助(？)|廣告聯係|版權聲明|網站地圖|友情鏈接

        Copyright 2010-2013單機遊戲下載(R) 版權所有 飛翔下載所有遊戲及軟件下載資源來源互聯網，並由網友上傳分享。如有侵權，請來電來函告之。
        飛翔忠告：抵製不良色情、反動、暴力遊戲 合理安排遊戲時間 享受健康生活【鄂ICP備13011873號-1】