python爬蟲入門教程:爬取網頁圖片

来源:https://www.cnblogs.com/tuixiulaozhou/archive/2022/09/28/16734851.html
-Advertisement-
Play Games

在現在這個信息爆炸的時代,要想高效的獲取數據,爬蟲是非常好用的。而用python做爬蟲也十分簡單方便,下麵通過一個簡單的小爬蟲程式來看一看寫爬蟲的基本過程: 首先是要用到的庫,因為是剛入門最簡單的程式,我們主要就用到下麵這兩: import requests //用於請求網頁 import re / ...


在現在這個信息爆炸的時代,要想高效的獲取數據,爬蟲是非常好用的。而用python做爬蟲也十分簡單方便,下麵通過一個簡單的小爬蟲程式來看一看寫爬蟲的基本過程:

 

首先是要用到的庫,因為是剛入門最簡單的程式,我們主要就用到下麵這兩:

import requests //用於請求網頁
import re  //正則表達式,用於解析篩選網頁中的信息

其中re是python自帶的,requests庫需要我們自己安裝,在命令行中輸入pip install requests即可。

然後隨便找一個網站,註意不要嘗試爬取隱私敏感信息,這裡找了個表情包網站:

註:此處表情包網站中的內容本來就可以免費下載,所以爬蟲只是簡化了我們一個個點的流程,註意不能去爬取付費資源。

 

 

 

我們要做的就是通過爬蟲把這些表情包下載到我們電腦里。

 

編寫爬蟲程式

 首先肯定要通過python訪問這個網站,代碼如下:
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
    }
response = requests.get('https://qq.yh31.com/zjbq/',headers=headers)  //請求網頁

其中之所以要加headers這一段是因為有些網頁會識別到你是通過python請求的然後把你拒絕,所以我們要換個正常的請求頭。可以隨便找一個或者f12從網路信息里複製一個。

 

 

 

然後我們要找到我們要爬取的圖片在網頁代碼里的位置,f12查看源代碼,找到表情包如下:

 

 

 

 然後建立匹配規則,用正則表達式把中間那串替換掉,最簡單的就是.*?

t = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'

 

 像這樣。

然後就可以調用re庫里的findall方法把相關內容爬下來了:

result = re.findall(t, response.text)

 

返回的內容是由字元串組成的列表,最後我們經由爬到的地址通過python語句把圖片下下來保存到文件夾里就行了。

   
 
 

程式代碼

import requests
import re
import os
 
image = '表情包'
if not os.path.exists(image):
    os.mkdir(image)
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
    }
response = requests.get('https://qq.yh31.com/zjbq/',headers=headers)
response.encoding = 'GBK'
response.encoding = 'utf-8'
print(response.request.headers)
print(response.status_code)
t = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
result = re.findall(t, response.text)
for img in result:
    print(img)
    res = requests.get(img[0])
    print(res.status_code)
    s = img[0].split('.')[-1]  #截取圖片尾碼,得到表情包格式,如jpg ,gif
    with open(image + '/' + img[1] + '.' + s, mode='wb') as file:
        file.write(res.content)

最後結果就是這個樣子:

 

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.問題分析 1.1. 公司雲桌面win7系統把之前C盤中自帶的py3.7環境給還原了,之前跑得好好的PlayWright案例不能運行了 2.解決過程 2.1. 參考網上的解決方案,說是node的版本問題,但是我將之前可以運行的V12.22.12版本回退到V12.9.1以後,還是不行,但是我發現我的 ...
  • Mac下protobuf生成文件報錯問題解決辦法,windows下就不會這麼麻煩了,如果linux下出現類似報錯信息按照下麵的解決邏輯依然適用。 1、由--go_out引發的報錯 1.報錯信息: [email protected] pbfile % protoc --go_out=./ ./user ...
  • 1.property 裝飾器:裝飾器是在不修改被裝飾對象源代碼以及調用方式的前提下為被裝飾對象添加新功能的可調用對象 property是一個裝飾器,是用來綁定給對象的方法偽造成一個數據屬性 裝飾器property,可以將類中的函數“偽裝成”對象的數據屬性,對象在訪問該特殊屬性時會觸發功能的執行,然後 ...
  • 摘要:本文講解基於傅里葉變換的高通濾波和低通濾波。 本文分享自華為雲社區《[Python圖像處理] 二十三.傅里葉變換之高通濾波和低通濾波》,作者:eastmount 。 一.高通濾波 傅里葉變換的目的並不是為了觀察圖像的頻率分佈(至少不是最終目的),更多情況下是為了對頻率進行過濾,通過修改頻率以達 ...
  • HashMap源碼深度剖析 * HashMap底層數據結構(為什麼引入紅黑樹、存儲數據的過程、哈希碰撞相關問題) * HashMap成員變數(初始化容量是多少、負載因數、數組長度為什麼是2的n次冪) * HashMap擴容機制(什麼時候需要擴容? 怎麼進行擴容?) * JDK7 與 Jdk8比較,J ...
  • 作者:小小____ 來源:segmentfault.com/a/1190000023052493 思維導圖如下 RBAC許可權分析 RBAC 全稱為基於角色的許可權控制,本段將會從什麼是RBAC,模型分類,什麼是許可權,用戶組的使用,實例分析等幾個方面闡述RBAC 思維導圖 繪製思維導圖如下 什麼是RBA ...
  • 如果你有機會跟一些技術大牛接觸的話,你會發現別人不僅是技術上比一般人強很多,而且在做事方面也有許多不一樣的習慣,在職場捲了這麼多年依然保持的習慣,往往是值得我們借鑒和學習的。 今天給大家分享幾個優秀程式員的好習慣,養成這6個習慣,你也能成為編程老司機。 第一,代碼自測再交付 寫完代碼不要急於交付,先 ...
  • 序言 作為數據分析師,我們需要經常製作統計分析圖表。但是報表太多的時候往往需要花費我們大部分時間去製作報表。這耽誤了我們利用大量的時間去進行數據分析。但是作為數據分析師我們應該儘可能去挖掘表格圖表數據背後隱藏關聯信息,而不是簡單的統計表格製作圖表再發送報表。既然報表的工作不可免除,那我們應該如何利用 ...
一周排行
    -Advertisement-
    Play Games
  • 1.部署歷史 猿友們好,作為初來實習的我,已經遭受社會的“毒打”,所以請容許我在下麵環節適當吐槽,3Q! 傳統部署 ​ 回顧以往在伺服器部署webapi項目(非獨立發佈),dotnet環境、守護進程兩個逃都逃不掉,正常情況下還得來個nginx代理。不僅僅這仨,可能牽扯到yum或npm。node等都要 ...
  • 隨著技術的進步,跨平臺開發已經成為了標配,在此大背景下,ASP.NET Core也應運而生。本文主要基於ASP.NET Core+Element+Sql Server開發一個校園圖書管理系統為例,簡述基於MVC三層架構開發的常見知識點,前一篇文章,已經簡單介紹瞭如何搭建開發框架,和登錄功能實現,本篇... ...
  • 這道題只要會自定義cmp恰當地進行排序,其他部分沒有什麼大問題。 上代碼: 1 #include<bits/stdc++.h> 2 using namespace std; 3 int n,s,h1,h2,cnt; 4 struct apple{ 5 int height,ns;//height為蘋 ...
  • 這篇文章主要描述RPC的路由策略,包括為什麼需要請求隔離,為什麼不在註冊中心中實現請求隔離以及不同粒度的路由策略。 ...
  • 簡介: 中介者模式,屬於行為型的設計模式。用一個中介對象來封裝一系列的對象交互。中介者是各對象不需要顯式地相互引用,從而使其耦合鬆散,而且可以獨立地改變他們之間的交互。 適用場景: 如果平行對象間的依賴複雜,可以使用中介者解耦。 優點: 符合迪米特法則,減少成員間的依賴。 缺點: 不適用於系統出現對 ...
  • 【前置內容】Spring 學習筆記全系列傳送門: Spring學習筆記 - 第一章 - IoC(控制反轉)、IoC容器、Bean的實例化與生命周期、DI(依賴註入) Spring學習筆記 - 第二章 - 註解開發、配置管理第三方Bean、註解管理第三方Bean、Spring 整合 MyBatis 和 ...
  • 簡介: 享元模式,屬於結構型的設計模式。運用共用技術有效地支持大量細粒度的對象。 適用場景: 具有相同抽象但是細節不同的場景中。 優點: 把公共的部分分離為抽象,細節依賴於抽象,符合依賴倒轉原則。 缺點: 增加複雜性。 代碼: //用戶類 class User { private $name; fu ...
  • 這次設計一個通用的多位元組SPI介面模塊,特點如下: 可以設置為1-128位元組的SPI通信模塊 可以修改CPOL、CPHA來進行不同的通信模式 可以設置輸出的時鐘 狀態轉移圖和思路與多位元組串口發送模塊一樣,這裡就不給出了,具體可看該隨筆。 一、模塊代碼 1、需要的模塊 通用8位SPI介面模塊 `tim ...
  • AOP-03 7.AOP-切入表達式 7.1切入表達式的具體使用 1.切入表達式的作用: 通過表達式的方式定義一個或多個具體的連接點。 2.語法細節: (1)切入表達式的語法格式: execution([許可權修飾符] [返回值類型] [簡單類名/全類名] [方法名]([參數列表]) 若目標類、介面與 ...
  • 測試一、虛繼承與繼承的區別 1.1 單個繼承,不帶虛函數 1>class B size(8): 1> + 1> 0 | + (base class A) 1> 0 | | _ia //4B 1> | + 1> 4 | _ib //4B 有兩個int類型數據成員,占8B,基類邏輯存在前面 1.2、單個 ...