3、用xpath進(jìn)行數(shù)據(jù)分析

  3．1、chrome＿Xpath插件安裝

  1） 這里用到一個(gè)插件。能夠快速檢驗(yàn)我們爬取的信息是否正確。具體安裝方法如下。

  2） 百度下載chrome＿Xpath＿v2．0．2．crx， chrome瀏覽器輸入：chrome：／／extensions／

  3） 直接將chrome＿Xpath＿v2．0．2．crx拖動(dòng)至該擴(kuò)展程序頁(yè)面 ；

  4） 如果安裝失敗，彈框提示“無(wú)法從該網(wǎng)站添加應(yīng)用、擴(kuò)展程序和用戶腳本”，遇到這個(gè)問(wèn)題，解決方法 是：打開(kāi)開(kāi)發(fā)者模式，將crx文件（直接或后綴修改為rar）并解壓成文件夾，點(diǎn)擊開(kāi)發(fā)者模式的加載已解壓的擴(kuò)展程序，選擇解壓后的文件夾，點(diǎn)擊確定，安裝成功；

  3．2、chrome＿Xpath插件使用

  上面我們已經(jīng)安裝好了chrome＿Xpath插件，接下來(lái)我們即將使用它。    1） 打開(kāi)瀏覽器，按下快捷鍵F12 。    2） 選擇元素，如下圖所示。

  3） 右鍵，然后選擇，“Copy XPath”，如下圖所示。

  3．3、編寫(xiě)代碼，獲取鏈接函數(shù)。

  上面我們已經(jīng)獲取到鏈接函數(shù)的Xpath路徑，接下來(lái)定義一個(gè)獲取鏈接函數(shù)get＿tlink，并繼承self，實(shí)現(xiàn)多頁(yè)抓取。

＇＇＇獲取鏈接函數(shù)＇＇＇
   def get＿tlink（self， url）：        xpath ＝ ＇／／div［＠class＝＂threadlist＿lz clearfix＂］／div／a／＠href＇        t＿list ＝ self．get＿parse＿page（url， xpath）        ＃ print（len（t＿list））        for t in t＿list：            t＿link ＝ ＂http：／／www．tieba．com＂ ＋ t            ＇＇＇接下來(lái)對(duì)帖子地址發(fā)送請(qǐng)求  將保存到本地＇＇＇            self．write＿image（t＿link）
4、保存數(shù)據(jù)

這里定義一個(gè)write＿image方法來(lái)保存數(shù)據(jù)，如下所示。

＇＇＇保存到本地函數(shù)＇＇＇
def write＿image（self， t＿link）：      xpath ＝ ＂／／div［＠class＝＇d＿post＿content j＿d＿post＿content clearfix＇］／img［＠class＝＇BDE＿Image＇］／＠src ｜ ／／div［＠class＝＇video＿src＿wrapper＇］／embed／＠data－video＂        img＿list ＝ self．get＿parse＿page（t＿link， xpath）               for img＿link in img＿list：              html ＝ requests．get（url＝img＿link， headers＝self．headers）．content            filename ＝ ＂百度／＂＋img＿link［－10：］                     with open（filename， ＇wb＇） as f：                f．write（html）                print（＂％s下載成功＂ ％ filename）

注：＠data－video是網(wǎng)址中的視頻，如下圖所示。

【六、效果展示】

  1、點(diǎn)擊運(yùn)行，如下圖所示（請(qǐng)輸入你要查詢的信息）：

  2、以吳京為例輸入，回車：

  3、將圖片下載保存在一個(gè)名為“百度”文件夾下，這個(gè)文件夾需要你提前在本地新建好。務(wù)必記得提前在當(dāng)前代碼的同級(jí)目錄下，新建一個(gè)名為“百度”的文件夾，否則的話系統(tǒng)將找不到該文件夾，會(huì)報(bào)找不到“百度”這個(gè)文件夾的錯(cuò)誤。

  4、下圖中的MP4就是評(píng)論區(qū)的視頻。

【七、總結(jié)】

1、不建議抓取太多數(shù)據(jù)，容易對(duì)服務(wù)器造成負(fù)載，淺嘗輒止即可。

2、本文基于Python網(wǎng)絡(luò)爬蟲(chóng)，利用爬蟲(chóng)庫(kù)，實(shí)現(xiàn)百度貼吧評(píng)論區(qū)爬取。就Python爬取百度貼吧的一些難點(diǎn)， 進(jìn)行詳細(xì)的講解和提供有效的解決方案。3、歡迎大家積極嘗試，有時(shí)候看到別人實(shí)現(xiàn)起來(lái)很簡(jiǎn)單，但是到自己動(dòng)手實(shí)現(xiàn)的時(shí)候，總會(huì)有各種各樣的問(wèn)題，切勿眼高手低，勤動(dòng)手，才可以理解的更加深刻。學(xué)習(xí)requests 庫(kù)的使用以及爬蟲(chóng)程序的編寫(xiě)。4、通過(guò)本項(xiàng)目可以更快的去獲取自己想要的信息。