如何用Python抓取上海美團火鍋的數(shù)據(jù)？
2020-12-18 09:24
Python進階學習交流
關注
2、此時在右側會顯示下圖的界面，點擊黃色區(qū)域內的那串英文“Responsebody is encoded． Click to decode．”意思是response是加密的，點擊此處進行解碼，對返回的網(wǎng)頁進行解碼。
3、此時會彈出下圖所示的界面，在WebView中可以看到返回的數(shù)據(jù)，與網(wǎng)頁中的內容對應一致。
4、不過美團網(wǎng)限制一頁最多顯示32條火鍋信息，如下圖所示。
5、如果我想獲取100條信息的話，那得前后找4頁，才能夠滿足要求。有沒有辦法讓其一次性多顯示一些數(shù)據(jù)呢？答案是可以的，操作方法如下。
在左側找到對應的美團網(wǎng)鏈接，然后點擊右鍵一次選擇CopyàJustUrl，如下圖所示。
7、將得到的URL放到瀏覽器中去進行訪問，如下圖所示。可以看到limit＝32，即代表可以獲取到32條相關的火鍋信息，并且返回的內容和Fiddler抓包工具返回的信息是一致的。
8、此時，我們直接在瀏覽器中將limit＝32這個參數(shù)改為limit＝100，也就是說將32更改為100，讓其一次性返回100條火鍋數(shù)據(jù)，天助我也，竟然可以一次性訪問到，如下圖所示。就這樣，輕輕松松的拿到了一百條數(shù)據(jù)。
分享
聲明：
本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權或其他問題，請聯(lián)系舉報。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布：挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇，探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 “AI寒武紀”爆發(fā)至今，五類新物種登上歷史舞臺
- 4 降薪、加班、裁員三重暴擊，“AI四小龍”已折戟兩家
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD，AI含量差幾何？
- 6 光計算迎來商業(yè)化突破，但落地仍需時間
- 7 東陽光：2024年扭虧、一季度凈利大增，液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”，“淘寶們”終于不忍了？
- 10 優(yōu)必選：營收大增主靠小件，虧損繼續(xù)又逢關稅，能否乘機器人東風翻身？
