什么是爬蟲工具？有哪些好用的爬蟲工具？

什么是爬蟲工具?

搜索引擎爬蟲 (又被稱為網頁蜘蛛，網絡機器人)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。

1、首先從互聯網頁面中精心選擇一部分網頁，以這些網頁的鏈接地址作為種子URL，將這些種子URL放入待抓取URL隊列中，爬蟲從待抓取URL隊列依次讀取，并將URL通過DNS解析，把鏈接地址轉換為網站服務器對應的IP地址。

2、然后將其和網頁相對路徑名稱交給網頁下載器，網頁下載器負責頁面內容的下載。對于下載到本地的網頁，一方面將其存儲到頁面庫中，等待建立索引等后續處理;另一方面將下載網頁的URL放入已抓取URL隊列中，這個隊列記載了爬蟲系統已經下載過的網頁URL，以避免網頁的重復抓取。

3、對于剛下載的網頁，從中抽取出所包含的所有鏈接信息，并在已抓取URL隊列中檢查，如果發現鏈接還沒有被抓取過，則將這個URL放入待抓取URL隊列末尾，在之后的抓取調度中會下載這個URL對應的網頁。如此這般，形成循環，直到待抓取URL隊列為空，這代表著爬蟲系統已將能夠抓取的網頁盡數抓完，此時完成了一輪完整的抓取過程。

有哪些好用的爬蟲軟件?爬蟲第一部做什么?當然是目標站點分析

1.Chrome

Chrome屬于爬蟲的基礎工具，一般我們用它做初始的爬取分析，頁面邏輯跳轉、簡單的js調試、網絡請求的步驟等。我們初期的大部分工作都在它上面完成，打個不恰當的比喻，不用Chrome，我們就要從智能時代倒退到馬車時代

同類工具： Firefox、Safari、Opera

2.Charles

Charles與Chrome對應，只不過它是用來做App端的網絡分析，相較于網頁端，App端的網絡分析較為簡單，重點放在分析各個網絡請求的參數。當然，如果對方在服務端做了參數加密，那就涉及逆向工程方面的知識，那一塊又是一大籮筐的工具，這里暫且不談

同類工具：Fiddler、Wireshark、Anyproxy

接下來，分析站點的反爬蟲

3.cUrl

維基百科這樣介紹它

cURL是一個利用URL語法在命令行下工作的文件傳輸工具，1997年首次發行。它支持文件上傳和下載，所以是綜合傳輸工具，但按傳統，習慣稱cURL為下載工具。cURL還包含了用于程序開發的libcurl。

在做爬蟲分析時，我們經常要模擬一下其中的請求，這個時候如果去寫一段代碼，未免太小題大做了，直接通過Chrome拷貝一個cURL，在命令行中跑一下看看結果即可，步驟如下

4.Postman

當然，大部分網站不是你拷貝一下cURL鏈接，改改其中參數就可以拿到數據的，接下來我們做更深層次的分析，就需要用到Postman“大殺器”了。為什么是“大殺器”呢?因為它著實強大。配合cURL，我們可以將請求的內容直接移植過來，然后對其中的請求進行改造，勾選即可選擇我們想要的內容參數，非常優雅

5.Online JavaScript Beautifier

用了以上的工具，你基本可以解決大部分網站了，算是一個合格的初級爬蟲工程師了。這個時候，我們想要進階就需要面對更復雜的網站爬蟲了，這個階段，你不僅要會后端的知識，還需要了解一些前端的知識，因為很多網站的反爬措施是放在前端的。你需要提取對方站點的js信息，并需要理解和逆向回去，原生的js代碼一般不易于閱讀，這時，就要它來幫你格式化吧

6.EditThisCookie

爬蟲和反爬蟲就是一場沒有硝煙的拉鋸戰，你永遠不知道對方會給你埋哪些坑，比如對Cookies動手腳。這個時候你就需要它來輔助你分析，通過Chrome安裝EditThisCookie插件后，我們可以通過點擊右上角小圖標，再對Cookies里的信息進行增刪改查操作，大大提高對Cookies信息的模擬

接著，我們開始設計爬蟲的架構

7.Sketch

當我們已經確定能爬取之后，我們不應該著急動手寫爬蟲。而是應該著手設計爬蟲的結構。按照業務的需求，我們可以做一下簡單的爬取分析，這有助于我們之后開發的效率，所謂磨刀不誤砍柴工就是這個道理。比如可以考慮下，是搜索爬取還是遍歷爬取?采用BFS還是DFS?并發的請求數大概多少?考慮一下這些問題后，我們可以通過Sketch來畫一下簡單的架構圖

同類工具：Illustrator、 Photoshop

開始愉快的爬蟲開發之旅吧

終于要進行開發了，經過上面的這些步驟，我們到這一步，已經是萬事俱備只欠東風了。這個時候，我們僅僅只需要做code和數據提取即可

8.XPath Helper

在提取網頁數據時，我們一般需要使用xpath語法進行頁面數據信息提取，一般地，但我們只能寫完語法，發送請求給對方網頁，然后打印出來，才知道我們提取的數據是否正確，這樣一方面會發起很多不必要的請求，另外一方面，也浪費了我們的時間。這個就可以用到XPath Helper了，通過Chrome安裝插件后，我們只需要點擊它在對應的xpath中寫入語法，然后便可以很直觀地在右邊看到我們的結果，效率up+10086

9.JSONView

我們有時候提取的數據是Json格式的，因為它簡單易用，越來越多的網站傾向于用Json格式進行數據傳輸。這個時候，我們安裝這個插件后，就可以很方便的來查看Json數據啦

10.JSON Editor Online

JSONView是直接在網頁端返回的數據結果是Json，但多數時候我們請求的結果，都是前端渲染后的HTML網頁數據，我們發起請求后得到的json數據，在終端(即terminal)中無法很好的展現怎么辦?借助JSON Editor Online就可以幫你很好的格式化數據啦，一秒格式化，并且實現了貼心得折疊Json數據功能