【GUI軟體】小紅書關鍵詞搜索筆記批量採集,支持多關鍵詞同時抓取,爬取了1024w條筆記!

来源:https://www.cnblogs.com/ws235/p/18142177/xhs_search_tool
-Advertisement-
Play Games

用python開發的小紅書關鍵詞搜索軟體,採集欄位包含:關鍵詞, 頁碼, 筆記id, 筆記鏈接, 筆記標題, 筆記類型, 點贊數, 用戶id, 用戶主頁鏈接, 用戶昵稱。 ...


目錄

一、背景介紹

1.1 爬取目標

用python開發的爬蟲採集軟體,可自動按關鍵詞抓取小紅書筆記數據。

為什麼有了源碼還開發界面軟體呢?方便不懂編程代碼的小白用戶使用,無需安裝python,無需改代碼,雙擊打開即用!

軟體界面截圖:
軟體運行界面

爬取結果截圖:

結果截圖1:

結果截圖2:

結果截圖3:

以上。

1.2 演示視頻

軟體運行演示:
【軟體演示】小紅書搜索採集工具,可同時多個關鍵詞,並支持篩選筆記類型、排序等

1.3 軟體說明

幾點重要說明:

  1. Windows用戶可直接雙擊打開使用,無需Python運行環境,非常方便!
  2. 需要填入cookie中的a1值和web_session值
  3. 支持按筆記類型(綜合/視頻/圖文)和排序方式(綜合/最新/最熱)爬取
  4. 支持同時爬多個關鍵詞
  5. 每個關鍵詞最多可採集220條左右的筆記,與網頁端數量一致
  6. 爬取過程中,有log文件詳細記錄運行過程,方便回溯
  7. 爬取完成後,自動導出結果到csv文件
  8. 爬取欄位含:關鍵詞, 頁碼, 筆記id, 筆記鏈接, 筆記標題, 筆記類型, 點贊數, 用戶id, 用戶主頁鏈接, 用戶昵稱。

以上。

二、代碼講解

2.1 爬蟲採集模塊

首先,定義介面地址作為請求地址:

# 請求地址
url = 'https://edith.xiaohongshu.com/api/sns/web/v1/search/notes'

定義一個請求頭,用於偽造瀏覽器:

# 請求頭
h1 = {
	'Accept': 'application/json, text/plain, */*',
	'Accept-Encoding': 'gzip, deflate, br',
	'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
	'Content-Type': 'application/json;charset=UTF-8',
	'Cookie': '換成自己的cookie值',
	'Origin': 'https://www.xiaohongshu.com',
	'Referer': 'https://www.xiaohongshu.com/',
	'Sec-Ch-Ua': '"Microsoft Edge";v="119", "Chromium";v="119", "Not?A_Brand";v="24"',
	'Sec-Ch-Ua-Mobile': '?0',
	'Sec-Ch-Ua-Platform': '"macOS"',
	'Sec-Fetch-Dest': 'empty',
	'Sec-Fetch-Mode': 'cors',
	'Sec-Fetch-Site': 'same-site',
	'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
}

說明一下,cookie是個關鍵參數。

其中,cookie里的a1和web_session獲取方法,如下:
查看a1和web_session

這兩個值非常重要,軟體界面需要填寫!!

加上請求參數,告訴程式你的爬取條件是什麼:

# 請求參數
post_data = {
	"keyword": search_keyword,
	"page": page,
	"page_size": 20,
	"search_id": v_search_id,
	"sort": v_sort,
	"note_type": v_note_type,
	"image_scenes": "FD_PRV_WEBP,FD_WM_WEBP",
}

下麵就是發送請求和接收數據:

# 發送請求
r = requests.post(url, headers=h1, data=data_json.encode('utf8'))
print(r.status_code)
# 以json格式接收返回數據
json_data = r.json()

定義一些空列表,用於存放解析後欄位數據:

# 定義空列表
note_id_list = []  # 筆記id
note_title_list = []  # 筆記標題
note_type_list = []  # 筆記類型
like_count_list = []  # 點贊數
user_id_list = []  # 用戶id
user_name_list = []  # 用戶昵稱

迴圈解析欄位數據,以"筆記標題"為例:

# 迴圈解析
for data in json_data['data']['items']:
	# 筆記標題
	try:
		note_title = data['note_card']['display_title']
	except:
		note_title = ''
	print('note_title:', note_title)
	note_title_list.append(note_title)

其他欄位同理,不再贅述。

最後,是把數據保存到csv文件:

# 把數據保存到Dataframe
df = pd.DataFrame(
	{
		'關鍵詞': search_keyword,
		'頁碼': page,
		'筆記id': note_id_list,
		'筆記鏈接': ['https://www.xiaohongshu.com/explore/' + i for i in note_id_list],
		'筆記標題': note_title_list,
		'筆記類型': note_type_list,
		'點贊數': like_count_list,
		'用戶id': user_id_list,
		'用戶主頁鏈接': ['https://www.xiaohongshu.com/user/profile/' + i for i in user_id_list],
		'用戶昵稱': user_name_list,
	}
)
if os.path.exists(result_file):
	header = False
else:
	header = True
# 把數據保存到csv文件
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代碼中,還含有:判斷迴圈結束條件、js逆向解密、筆記類型(綜合/視頻圖文)篩選、排序方式篩選(綜合/最新/最熱)等關鍵實現邏輯。

2.2 軟體界面模塊

主視窗部分:

# 創建主視窗
root = tk.Tk()
root.title('小紅書搜索採集軟體v1 | 馬哥python說 |')
# 設置視窗大小
root.minsize(width=850, height=650)

輸入控制項部分:

# 搜索關鍵詞
tk.Label(root, justify='left', text='搜索關鍵詞:').place(x=30, y=160)
entry_kw = tk.Text(root, bg='#ffffff', width=60, height=2, )
entry_kw.place(x=125, y=160, anchor='nw')  # 擺放位置

底部版權部分:

# 版權信息
copyright = tk.Label(root, text='@馬哥python說 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.3 日誌模塊

好的日誌功能,方便軟體運行出問題後快速定位原因,修複bug。

核心代碼:

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日誌格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日誌級別
	self.logger.setLevel(logging.DEBUG)
	# 控制台日誌
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日誌文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	# 將其保存到特定目錄,ap方法就是尋找項目根目錄,該方法博主前期已經寫好。
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
						when='MIDNIGHT',
						interval=1,
						backupCount=7,
						encoding='utf-8')

日誌文件截圖:

以上。

三、獲取源碼及軟體

完整python源碼及exe軟體,微信公眾號"老男孩的平凡之路"後臺回覆"爬小紅書搜索軟體"即可獲取。 【GUI軟體】小紅書搜索結果批量採集,支持多個關鍵詞同時抓取


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Commonjs 什麼是 CommonJs CommonJs 是 js 模塊化的社區規範 模塊化產生的原因 隨著前端頁面複雜度的提升,依賴的第三方庫的增加,導致的 js 依賴混亂,全局變數的污染,和命名衝突 單個 js 文件內容太多,導致了維護困難,拆分成為多個文件又會發生第一點描述的問題 v8 引 ...
  • vue3 快速入門系列 - 組件通信 組件通信在開發中非常重要,通信就是你給我一點東西,我給你一點東西。 本篇將分析 vue3 中組件間的通信方式。 Tip:下文提到的絕大多數通信方式在 vue2 中都有,但是在寫法上有一些差異。 準備環境 在 vue3 基礎上進行。 新建三個組件:爺爺、父親、孩子 ...
  • Rubick —— 一款純綠色、效率、開源的桌面端工具箱軟體。軟體支持插件化的方式來安裝工作所需要的任何插件。插件是基於 npm 進行安裝和卸載,非常輕便。 ...
  • splice在英語中的意思是拼接,在實際的代碼使用中,splice就在數組中起到了一個拼接的作用 使用方法 splice(x,y,a,b,c,...) 其中x、y為數字,a、b、c為新添加的項,意思是從數組的第x項開始刪除y項,併在其中添加a、b、c...,其中x、y必填,abc可不填 圖像理解 現 ...
  • 前言 2018年剛入行前端時,公司使用的還是Angular。Angular什麼都好,就是寫代碼時的體驗老糟心了,改一個地方,按下保存之後,要等好幾秒刷新後才能看到效果,Webstorm無比好用的自動保存,對我來說反而像是一個負擔。然而2024年了,Angular已經更新了17版本,還是沒有解決這個問 ...
  • 這兩天為了重啟五年前基於 React Native(版本 0.59.9)開發的老項目,經過各種填坑查詢等操作,最終把它成功地運行起來了。 在這篇文章中,我將詳述那些遭遇的挑戰以及對應的解決方案,以期為同樣面臨此類困境的開發者提供寶貴的經驗參考。 這個項目涉及到的環境基本版本信息如下: react: ...
  • 引言: 近年來,隨著教育理念的提升,對學生綜合素質的教育越發重視,特別是越發重視學生的身體素質提升,各階段的升學考試也將體測納入考核範圍。學校也推出了各種體測鍛煉促進手段,今天為您介紹一個基於小程式的,線上AI體測訓練打卡、評測方案。 一、體測功能需求 根據相關學生體測標準,體測小程式需要具備以下功 ...
  • 在網上一直流傳著一個爭論不休的話題:金額到底是用Long還是用BigDecimal?這個話題一齣在哪都會引起異常無比激烈的討論。。。。 比如說這個觀點:算錢用BigDecimal是常識 有支持用Long的,將金額的單位設計為分,然後乘以100,使用Long進行存儲以及計算,這樣不用擔心小數點問題。 ...
一周排行
    -Advertisement-
    Play Games
  • 通過WPF的按鈕、文本輸入框實現了一個簡單的SpinBox數字輸入用戶組件並可以通過數據綁定數值和步長。本文中介紹了通過Xaml代碼實現自定義組件的佈局,依賴屬性的定義和使用等知識點。 ...
  • 以前,我看到一個朋友在對一個系統做初始化的時候,通過一組魔幻般的按鍵,調出來一個隱藏的系統設置界面,這個界面在常規的菜單或者工具欄是看不到的,因為它是一個後臺設置的關鍵界面,不公開,同時避免常規用戶的誤操作,它是作為一個超級管理員的入口功能,這個是很不錯的思路。其實Winform做這樣的處理也是很容... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他的程式每次關閉時就會自動崩潰,一直找不到原因讓我幫忙看一下怎麼回事,這位朋友應該是第二次找我了,分析了下 dump 還是挺經典的,拿出來給大家分享一下吧。 二:WinDbg 分析 1. 為什麼會崩潰 找崩潰原因比較簡單,用 !analyze -v 命 ...
  • 在一些報表模塊中,需要我們根據用戶操作的名稱,來動態根據人員姓名,更新報表的簽名圖片,也就是電子手寫簽名效果,本篇隨筆介紹一下使用FastReport報表動態更新人員簽名圖片。 ...
  • 最新內容優先發佈於個人博客:小虎技術分享站,隨後逐步搬運到博客園。 創作不易,如果覺得有用請在Github上為博主點亮一顆小星星吧! 博主開始學習編程於11年前,年少時還只會使用cin 和cout ,給單片機點點燈。那時候,類似async/await 和future/promise 模型的認知還不是 ...
  • 之前在阿裡雲ECS 99元/年的活動實例上搭建了一個測試用的MINIO服務,以前都是直接當基礎設施來使用的,這次準備自己學一下S3相容API相關的對象存儲開發,因此有了這個小工具。目前僅包含上傳功能,後續計劃開發一個類似圖床的對象存儲應用。 ...
  • 目錄簡介快速入門安裝 NuGet 包實體類User資料庫類DbFactory增刪改查InsertSelectUpdateDelete總結 簡介 NPoco 是 PetaPoco 的一個分支,具有一些額外的功能,截至現在 github 星數 839。NPoco 中文資料沒多少,我是被博客園群友推薦的, ...
  • 前言 前面使用 Admin.Core 的代碼生成器生成了通用代碼生成器的基礎模塊 分組,模板,項目,項目模型,項目欄位的基礎功能,本篇繼續完善,實現最核心的模板生成功能,並提供生成預覽及代碼文件壓縮下載 準備 首先清楚幾個模塊的關係,如何使用,簡單畫一個流程圖 前面完成了基礎的模板組,模板管理,項目 ...
  • 假設需要實現一個圖標和文本結合的按鈕 ,普通做法是 直接重寫該按鈕的模板; 如果想作為通用的呢? 兩種做法: 附加屬性 自定義控制項 推薦使用附加屬性的形式 第一種:附加屬性 創建Button的附加屬性 ButtonExtensions 1 public static class ButtonExte ...
  • 在C#中,委托是一種引用類型的數據類型,允許我們封裝方法的引用。通過使用委托,我們可以將方法作為參數傳遞給其他方法,或者將多個方法組合在一起,從而實現更靈活的編程模式。委托類似於函數指針,但提供了類型安全和垃圾回收等現代語言特性。 基本概念 定義委托 定義委托需要指定它所代表的方法的原型,包括返回類 ...