【一、項(xiàng)目背景】

  百度貼吧是全球最大的中文交流平臺(tái)，你是否跟我一樣，有時(shí)候看到評(píng)論區(qū)的圖片想下載呢？或者看到一段視頻想進(jìn)行下載呢？

  今天，小編帶大家通過(guò)搜索關(guān)鍵字來(lái)獲取評(píng)論區(qū)的圖片和視頻。

【二、項(xiàng)目目標(biāo)】

  實(shí)現(xiàn)把貼吧獲取的圖片或視頻保存在一個(gè)文件。

【三、涉及的庫(kù)和網(wǎng)站】

1、網(wǎng)址如下：

https：／／tieba．baidu．com／f？ie＝utf－8＆kw＝吳京＆fr＝search

2、涉及的庫(kù)：requests、lxml、urrilb

【四、項(xiàng)目分析】

1、反爬措施的處理

 前期測(cè)試時(shí)發(fā)現(xiàn)，該網(wǎng)站反爬蟲(chóng)處理措施很多，測(cè)試到有以下幾個(gè)：

  1） 直接使用requests庫(kù)，在不設(shè)置任何header的情況下，網(wǎng)站直接不返回?cái)?shù)    據(jù)。

  2） 同一個(gè)ip連續(xù)訪問(wèn)40多次，直接封掉ip，起初我的ip就是這樣被封掉的。

 為了解決這兩個(gè)問(wèn)題，最后經(jīng)過(guò)研究，使用以下方法，可以有效解決。

 獲取正常的 http請(qǐng)求頭，并在requests請(qǐng)求時(shí)設(shè)置這些常規(guī)的http請(qǐng)求頭。

2、如何實(shí)現(xiàn)搜索關(guān)鍵字？

  通過(guò)網(wǎng)址我們可以發(fā)現(xiàn)只需要在kw＝（） ，括號(hào)中輸入你要搜索的內(nèi)容即可。這樣就可以用一個(gè)｛｝來(lái)替代它，后面我們?cè)谕ㄟ^(guò)循環(huán)遍歷它。

【五、項(xiàng)目實(shí)施】

1、創(chuàng)建一個(gè)名為BaiduImageSpider的類(lèi)，定義一個(gè)主方法main和初始化方法init。導(dǎo)入需要的庫(kù)。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider（object）：    def ＿＿init＿＿（self， tieba＿name）：        pass    def main（self）：        passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    inout＿word ＝ input（＂請(qǐng)輸入你要查詢的信息：＂）
   spider．main（）        passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    spider＝ ImageSpider（）    spider．main（）

2、準(zhǔn)備url地址和請(qǐng)求頭headers 請(qǐng)求數(shù)據(jù)。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider（object）：    def ＿＿init＿＿（self， tieba＿name）：          self．tieba＿name ＝ tieba＿name ＃輸入的名字        self．url ＝ ＂http：／／tieba．baidu．com／f？kw＝｛｝＆ie＝utf－8＆pn＝0＂        self．headers ＝ ｛            ＇User－Agent＇： ＇Mozilla／4．0 （compatible； MSIE 8．0； Windows NT 6．1； WOW64； Trident／4．0； SLCC2； ．NET CLR 2．0．50727； ．NET CLR 3．5．30729； ．NET CLR 3．0．30729； Media Center PC 6．0； ．NET4．0C； InfoPath．3）＇        ｝
   ＇＇＇發(fā)送請(qǐng)求 獲取響應(yīng)＇＇＇    def get＿parse＿page（self， url， xpath）：        html ＝ requests．get（url＝url， headers＝self．headers）．content．decode（＂utf－8＂）        parse＿h(yuǎn)tml ＝ etree．HTML（html）        r＿list ＝ parse＿h(yuǎn)tml．xpath（xpath）        return r＿list    def main（self）：        url ＝ self．url．format（self．tieba＿name）if ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    inout＿word ＝ input（＂請(qǐng)輸入你要查詢的信息：＂）    key＿word ＝ parse．quote（inout＿word）    spider ＝ BaiduImageSpider（key＿word）    spider．main（）