所謂網(wǎng)頁抓取，就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來，保存到本地 類似于使用程序模擬IE瀏覽器的功能，把URL作為。

Beautiful Soup 是用Python寫的一個(gè)HTMLXML的解析器，它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹parse tree它提供簡單又常用的導(dǎo)航navigating，搜索以及修改剖析樹的操作用urllib或者urllib2推薦將頁面的html代碼下載。

36 Edg89077445quot 四，調(diào)用requests的get接口 response = requestsgeturl，headers=headercontent = responsetext printcontent就能獲取到html內(nèi)容，如果需要更好的解釋html標(biāo)簽內(nèi)容可以使用 BeautifulSoup。

$ sudo apt install pythonpip安裝成功，查看PIP版本$ pip V2安裝requests模塊這里我是通過pip方式進(jìn)行安裝$ pip install requests運(yùn)行import requests，如果沒提示錯(cuò)誤，那說明已經(jīng)安裝成功了檢驗(yàn)是否安裝成功3安裝b。

方法步驟 在做爬取數(shù)據(jù)之前，你需要下載安裝兩個(gè)東西，一個(gè)是urllib，另外一個(gè)是pythondocx請點(diǎn)擊輸入圖片描述 然后在python的編輯器中輸入import選項(xiàng)，提供這兩個(gè)庫的服務(wù) 請點(diǎn)擊輸入圖片描述 urllib主要負(fù)責(zé)抓取網(wǎng)頁的數(shù)據(jù)。