Scrapy框架

来源:https://www.cnblogs.com/cqzlei/archive/2022/09/25/16727997.html
-Advertisement-
Play Games

###一、Scrapy 介紹 Scrapy是一個Python編寫的開源和協作的框架。起初是用於網路頁面抓取所設計的,使用它可以快速、簡單、可擴展的方式從網站中提取所需的數據。 Scrapy也是通用的網路爬蟲框架,爬蟲界的django(設計原則很像),可用於數據挖掘、監測和自動化測試、也可以應用在獲取 ...


一、Scrapy 介紹

Scrapy是一個Python編寫的開源和協作的框架。起初是用於網路頁面抓取所設計的,使用它可以快速、簡單、可擴展的方式從網站中提取所需的數據。

Scrapy也是通用的網路爬蟲框架,爬蟲界的django(設計原則很像),可用於數據挖掘、監測和自動化測試、也可以應用在獲取api所返回數據。
Scrapy是基於twisted框架開發而來,twisted是事件驅動python網路框架,因此scrapy使用的是非阻塞(非同步)的代碼來實現併發,可以發一堆請求出去(非同步,不用等待),誰先回來就處理誰(事件驅動,發生變化再處理)。整體架構如下圖

二、Scrapy 執行流程

五大組件
  1、引擎(EGINE)
     大總管,負責控制系統所有組件之間的數據流向,併在某些動作發生時觸發事件

  2、調度器(SCHEDULER)
     由它來決定下一個要抓取的網址是什麼,同時去除重覆的網址(scrapy框架用的集合)
  # 通過配置來實現這一堆請求按深度優先(一條url爬到底),還是廣度優先(都先爬第一層,再往下爬)
  # 先進先出(隊列)-->第一層請求從調度器出去,爬蟲解析後發出第二層請求,但要在隊列等先進的其他第一層請求出去,因此需要把第一層先爬完,這是廣度優先
  # 後進先出(堆棧)-->出去的第一層經解析,發出第二層請求,進入調度器,它又先出去,一條線把它爬完,才能爬其他url請求,這是深度優先

  3、下載器(DOWLOADER):用於下載網頁內容, 並將網頁內容返回給EGINE,下載器是建立在twisted這個高效的非同步模型上的
  # 下載器前有一個下載中間件:用來攔截,這裡就是包裝requests對象的地方(加頭、加代理)

  4、爬蟲(SPIDERS):開發人員自定義的類,用來解析responses,並且提取items對象(解析出來的內容),或者發送新的請求request(解析出要繼續爬取的url)

  5、項目管道(ITEM PIPLINES):在items被提取後負責處理它們,主要包括清洗(剔除掉不需要的數據)、驗證、持久化(比如存到資料庫、文件、redis)等操作


兩大中間件
  1、爬蟲中間件:位於EGINE和SPIDERS之間,主要處理SPIDERS的輸入(responses)和輸出(requests),還包括items對象,處理的東西過多就需要先判斷是哪個對象,用的很少

  2、下載中間件:引擎和下載器之間,主要用來處理引擎傳到下載器的請求request, 從下載器傳到引擎的響應response;
     可以處理加代理,加頭,集成selenium; 它用的不是requests模塊發請求,用的底層的urllib模塊,因此不能執行js; 
     框架的靈活就在於,你可以在下載中間件自己集成selenium,攔截後走你的下載方式,拿到數據再包裝成response對象返回;
        
# 開發者只需要在固定的位置寫固定的代碼即可(寫的最多的spider)

三、安裝

#1 pip3 install scrapy(mac,linux可以直接下載)
#2 windows上(主要是tweited裝不上)
解決方法
    1、pip3 install wheel #安裝後,便支持通過wheel文件安裝軟體,wheel文件官網:https://www.lfd.uci.edu/~gohlke/pythonlibs
    2、pip3 install lxml
    3、pip3 install pyopenssl
    4、下載並安裝pywin32:它是windows上的exe執行文件
    https://sourceforge.net/projects/pywin32/files/pywin32/
    5、下載twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    6、執行pip3 install 下載目錄\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
    7、pip3 install scrapy
# 3 裝完後就有scrapy命令,命令視窗輸入
-D:\Python39\Scripts\scrapy.exe  此文件用於創建項目(相當於安裝完django有個django-admin.exe)

四、scrapy 創建項目,創建爬蟲,運行爬蟲

1 創建scrapy項目

# pycharm不支持創建scrapy,只能用命令來創建項目
  scrapy startproject 項目名
  eg: scrapy startproject firstscrapy (cmd先cd到項目創建的目錄上再執行命令)

  -項目創建後會生成firstscray文件夾,用pycharm打開,類似django項目的目錄結構

2 創建爬蟲

# 先cd到創建的scrapy項目中, eg: 在firstscrapy項目路徑下執行命令
  scrapy genspider 爬蟲名 爬取地址           # 相當於django創建app, python manage.py startapp app01
  scrapy genspider chouti dig.chouti.com    # 地址一開始寫錯了,後面可以修改

  一執行就會在spider文件夾下創建出一個py文件,名字叫chouti,爬蟲就是一個個的py文件
  執行命令-->生成py文件-->裡面包含了初始代碼,因此直接拷貝py文件改下裡面的代碼(爬蟲名、地址),就相當於創建一個新的爬蟲,新的py文件,django的app也可以這樣操作

3 運行爬蟲

方式一:通過命令啟動爬蟲
scrapy crawl chouti           # 帶運行日誌
scrapy crawl chouti --nolog   # 不帶日誌

方式二:支持右鍵執行爬蟲
# 在項目路徑下新建一個main.py,跟spiders文件夾同一級
    from scrapy.cmdline import execute

    execute(['scrapy','crawl','chouti','--nolog']) --->右鍵運行main.py文件
    execute(['scrapy','crawl','baidu']) 

    # scrapy框架中,當一個爬蟲執行完畢後,會直接退出程式,而不是繼續執行後面代碼	  
    # 用scrapy.cmdline.execute並不能同時運行多個爬蟲

    註意:框架用了異常捕獲,如果不帶日誌,有異常不會拋到控制台
    scrapy框架爬網頁會先去讀robots.txt協議,如果網站不讓爬,它就不爬了
    可以在settings.py中,ROBOTSTXT_OBEY = True 改為False,不遵循它的協議

    # 可以幾個爬蟲同時執行,它是非同步框架,裡面開的多線程
    # 如果是同步,你放再多,也只能排隊一個個爬,前面的IO阻塞,後面也都等著
    # 非同步的優勢在於,前面的IO阻塞了,後面的不會等,繼續執行起走,誰的請求回來就處理誰

五、scrapy項目目錄

firstscrapy           # 項目名字
   firstscrapy        # 包,存放項目py文件
      -spiders        # 所有的爬蟲文件放在裡面
        -baidu.py     # 一個個的爬蟲(以後基本上都在這寫東西)
        -chouti.py
      -middlewares.py # 中間件(爬蟲,下載中間件都寫在這)
      -pipelines.py   # 持久化相關寫在這(處理items.py中類的對象)
      -main.py        # 自己建的py文件,執行爬蟲
      -items.py       # 一個一個的類(類似django中的models)
      -settings.py    # 配置文件
   scrapy.cfg         # 上線相關

六、settings介紹

1 預設情況,scrapy會去遵循爬蟲協議
2 修改配置文件參數,強行爬取,不遵循協議 ROBOTSTXT_OBEY = False
3 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
4 LOG_LEVEL='ERROR' 日誌等級配置為error,info信息不列印,可以帶上日誌運行
5 存儲管道配置,數字越小,優先順序越高:pipelines是管道,可以同時丟到不同的位置取存儲
ITEM_PIPELINES = {
   		'firstscrapy.pipelines.ChoutiFilePipeline': 300,
                'firstscrapy.pipelines.ChoutiMySqlPipeline': 305,
		}

七、scrapy的數據解析(重點)

1 spiders爬蟲

爬蟲解析示例
class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['dig.chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response, *args, **kwargs):
        print(response.text)

# 爬蟲類中定義了start_urls, 配了地址
# 一啟動會調用Spider類中start_requests方法--->從start_urls迴圈出url,包裝成requests對象返回
# 進入調度後,走到下載器--->下載回來的responses對象返回到爬蟲,調用parse方法進行解析
---------------------------------------

如果解析出一個網址,想繼續爬取這個網址,需要調用Requset類傳入url,生成requests對象並返回,它會繼續走scrapy框架的流程
from scrapy.http import Request

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['dig.chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response, *args, **kwargs):
        print(response.text)
        return Request('http:www.chouti.com/article.html/')
       # return Request('http:www.baidu.com/', dont_filter=True)   解析出來的百度的域不能爬,需要設置dont_filter
        
# 先爬dig.chouti.com,如果解析出http:www.chouti.com/article.html這個地址,要繼續爬
# 調用Request類,生成對象並返回-->調度器-->下載器-->返回response對象-->爬蟲,調用parse繼續解析
# allowed_domains設定了只能在某個域下爬,如果解析出來其他域就不能爬,dont_filter參數可以讓繼續爬其他域

2 解析方案一:自己用第三方解析,用bs4,lxml

bs4解析
from bs4 import BeautifulSoup

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['dig.chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response, *args, **kwargs):
        print(response.text)
        soup=BeautifulSoup(response.text, 'lxml')
        div_list=soup.find_all(class_='link-title') 
        for div in div_list:
           print(div.text)

3 解析方案二:scrapy框架自帶的解析

css或xpath解析
xpath解析:
  # 取到所有link-title類的標簽對象
  response.xpath('//a[contains(@class,"link-title")]')
  # 取到所有link-title類的標簽的html(doc)文檔
  response.xpath('//a[contains(@class,"link-title")]').extract()
  # 取到所有link-title類的標簽的文本
  response.xpath('//a[contains(@class,"link-title")]/text()').extract()  
  # 取到所有link-title類的標簽的href屬性
  response.xpath('//a[contains(@class,"link-title")]/@href').extract() 
    
css解析:
  # 取到所有link-title類的標簽對象
  response.css('.link-title')
  # 取到所有link-title類的標簽的html(doc)文檔
  response.css('.link-title').extract()
  # 取到所有link-title類的標簽的文本
  response.css('.link-title::text').extract()
  # 取到所有link-title類的標簽的href屬性
  response.css('.link-title::attr(href)').extract()  
    
# extract()取出的內容放在列表裡,即使取一個也放在列表,extract_first()取列表的第一個元素

八、scrapy的持久化存儲(重點)

數據存儲
方案一:parser函數必須返回列表套字典的形式(瞭解)
    def parse(self, response, *args, **kwargs):
        ll=[]
        div_list = response.xpath('//div[contains(@class, "link-item")]')
        for div in div_list:
            title = div.css('.link-title::text').extract_first()
            detail_url = div.css('.link-title::attr(href)').extract_first()
            pic_url = div.css('.image-scale::attr(src)').extract_first()
            ll.append('title':title, 'detail_url':detail_url, 'pic_url':pic_url)
        return ll

執行下列命令,保存前肯定先執行爬蟲爬取 chouti.csv是保存的文件名,這個文件可以用excel打開;只能用csv\json\xml\pickle幾種格式保存
scrapy crawl chouti -o chouti.csv
    

方案二:高級,通過pipline item存儲(mysql,redis,文件)
    1、在items.py中寫一個類,類似drf的序列化類
        class ChoutiItem(scrapy.Item):
              title = scrapy.Field()         # 要返回的欄位對應上
              detail_url = scrapy.Field()
              pic_url = scrapy.Field()
    	
    
    2、在spinder中導入,實例化,把數據放進去
    因為item字典沒有重寫點攔截方法,因此只能用字典方式賦值,不能對象.title賦值
    from testscrapy.items import ChoutiItem

    def parse(self, response, *args, **kwargs):
        div_list = response.xpath('//div[contains(@class, "link-item")]')
        for div in div_list:
            item = ChoutiItem()  # 迴圈一次生成一個item對象,添加屬性後返回
            title = div.css('.link-title::text').extract_first()
            detail_url = div.css('.link-title::attr(href)').extract_first()
            pic_url = div.css('.image-scale::attr(src)').extract_first()
            if not pic_url:
                pic_url = ''

            item['title'] = title
            item['detail_url'] = detail_url
            item['pic_url'] = pic_url
            yield item      

        
    3、返回的是item對象,就會走到pipeline, 在pipelines.py中寫Pipeline存儲的類
# 以存文件為例,如果直接在process_item, with open打開寫,每次返回item走到ChoutiFilePipeline,就會存文件,進行IO操作,必須要a模式,w模式每次打開會覆蓋
# open_spider方法中open文件--->process_item方法中寫入文件--->close_spider方法中colse文件,整個構成上下文管理,不用反覆打開關閉,進行IO操作

        class ChoutiFilePipeline(object):
          def open_spider(self, spider):    # 開始的時候   
              self.file=open('chouti.txt', 'w', encoding='utf-8') 

          def process_item(self, item, spider):  # 在這個函數里持久化,存入數據,這裡要return item,不然排在後面的管道找不到item對象
              self.file.write(item['title'] + \n)
              self.file.write(item['detail_url'] + \n)
              self.file.write(item['pic_url'] + \n)
              return item

          def close_spider(self, spider):   # 結束的時候
              self.file.close()

       
        
    4、在setting中配置,把你自己寫的ChoutiFilePipeline配置進去;數字越小,優先順序越高:pipelines是管道,可以同時丟到不同的位置取存儲
    如;FilePipeline、MySqlPipline,都可以配置在列表中,用數字表示優先順序
    	ITEM_PIPELINES = {
   		'firstscrapy.pipelines.ChoutiFilePipeline': 300,
                'firstscrapy.pipelines.ChoutiMySqlPipeline': 305,
		}

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 編程教材 《R語言實戰·第2版》Robert I. Kabacoff 課程教材《商務與經濟統計·原書第13版》 (安德森) P48、案例2-1 Pelican 商店 PS C:\Users\小能喵喵喵\Desktop\R\homework\1_Pelican> tree /f C:. │ pelic ...
  • 安裝最新版 R-4.2.1 R: The R Project for Statistical Computing (r-project.org) 有大量鏡像供選擇下載,找中國地區鏡像下載會快一點。安裝一口氣Next到底。 https://cran.rstudio.com/bin/windows/Rt ...
  • 簡述 類型:結構型 目的:降低對象創建時大量屬性也隨之被新建而帶來的性能上的消耗 話不多說,我們看一個案例。 優化案例 最初版v0 現在需要採購一批辦公用的電腦,以下是Computer類的定義。 class Computer { private String sn; // 序列號,電腦的唯一識別碼 ...
  • 探索密碼學的奇妙之旅。介紹分組密碼常用模式CFB密文反饋模式的相關理論。並基於AES標準,使用golang crypto包的cipher模塊實現了加密、解密字元串的過程。 ...
  • 七牛雲文件上傳 @RequestMapping("/upload") public Result upload(MultipartFile imgFile) { try { //獲取原始文件名 String originalFilename = imgFile.getOriginalFilename ...
  • Stream流呢,以前我也有所瞭解,像一些面試題中也出現過,Java8的新特性,有一塊就是這個Stream操作集合,而且在看一些項目中也使用的比較多。但總感覺自己學的一知半解,所以今天打算系統的過一下,再鞏固鞏固。 ###概念 Stream是JDK8 API中的新成員,它允許以聲明性方式處理集合。 ...
  • 一、開發背景 您好,我是 @馬哥python說 ,這是我獨立開發的Python可視化大屏,看下演示效果: 截圖: 視頻演示效果: https://www.zhihu.com/zvideo/1556218745923821568 這個大屏,是通過pyecharts可視化開發框架實現。 下麵詳細介紹,這 ...
  • 來源:https://www.linuxmi.com/50-million-pc-linux.html 開源社區的一大勝利! 繼德國之後,中國現在想在 5000 萬台 PC 上拋棄 Windows 並運行 Linux! 如果您一直密切關註 Linux 新聞,您可能聽說過德國去年在超過 25000 台 ...
一周排行
    -Advertisement-
    Play Games
  • 1.部署歷史 猿友們好,作為初來實習的我,已經遭受社會的“毒打”,所以請容許我在下麵環節適當吐槽,3Q! 傳統部署 ​ 回顧以往在伺服器部署webapi項目(非獨立發佈),dotnet環境、守護進程兩個逃都逃不掉,正常情況下還得來個nginx代理。不僅僅這仨,可能牽扯到yum或npm。node等都要 ...
  • 隨著技術的進步,跨平臺開發已經成為了標配,在此大背景下,ASP.NET Core也應運而生。本文主要基於ASP.NET Core+Element+Sql Server開發一個校園圖書管理系統為例,簡述基於MVC三層架構開發的常見知識點,前一篇文章,已經簡單介紹瞭如何搭建開發框架,和登錄功能實現,本篇... ...
  • 這道題只要會自定義cmp恰當地進行排序,其他部分沒有什麼大問題。 上代碼: 1 #include<bits/stdc++.h> 2 using namespace std; 3 int n,s,h1,h2,cnt; 4 struct apple{ 5 int height,ns;//height為蘋 ...
  • 這篇文章主要描述RPC的路由策略,包括為什麼需要請求隔離,為什麼不在註冊中心中實現請求隔離以及不同粒度的路由策略。 ...
  • 簡介: 中介者模式,屬於行為型的設計模式。用一個中介對象來封裝一系列的對象交互。中介者是各對象不需要顯式地相互引用,從而使其耦合鬆散,而且可以獨立地改變他們之間的交互。 適用場景: 如果平行對象間的依賴複雜,可以使用中介者解耦。 優點: 符合迪米特法則,減少成員間的依賴。 缺點: 不適用於系統出現對 ...
  • 【前置內容】Spring 學習筆記全系列傳送門: Spring學習筆記 - 第一章 - IoC(控制反轉)、IoC容器、Bean的實例化與生命周期、DI(依賴註入) Spring學習筆記 - 第二章 - 註解開發、配置管理第三方Bean、註解管理第三方Bean、Spring 整合 MyBatis 和 ...
  • 簡介: 享元模式,屬於結構型的設計模式。運用共用技術有效地支持大量細粒度的對象。 適用場景: 具有相同抽象但是細節不同的場景中。 優點: 把公共的部分分離為抽象,細節依賴於抽象,符合依賴倒轉原則。 缺點: 增加複雜性。 代碼: //用戶類 class User { private $name; fu ...
  • 這次設計一個通用的多位元組SPI介面模塊,特點如下: 可以設置為1-128位元組的SPI通信模塊 可以修改CPOL、CPHA來進行不同的通信模式 可以設置輸出的時鐘 狀態轉移圖和思路與多位元組串口發送模塊一樣,這裡就不給出了,具體可看該隨筆。 一、模塊代碼 1、需要的模塊 通用8位SPI介面模塊 `tim ...
  • AOP-03 7.AOP-切入表達式 7.1切入表達式的具體使用 1.切入表達式的作用: 通過表達式的方式定義一個或多個具體的連接點。 2.語法細節: (1)切入表達式的語法格式: execution([許可權修飾符] [返回值類型] [簡單類名/全類名] [方法名]([參數列表]) 若目標類、介面與 ...
  • 測試一、虛繼承與繼承的區別 1.1 單個繼承,不帶虛函數 1>class B size(8): 1> + 1> 0 | + (base class A) 1> 0 | | _ia //4B 1> | + 1> 4 | _ib //4B 有兩個int類型數據成員,占8B,基類邏輯存在前面 1.2、單個 ...