簡單的用Python實現一下JS逆向解密,採集空氣質量數據

来源:https://www.cnblogs.com/hahaa/archive/2023/11/18/17840607.html
-Advertisement-
Play Games

最近天氣降溫厲害,咱們用Python來分析一下空氣質量如何~ 話不多說,我們直接開始上手。 環境以及模塊 環境使用 Python 3.8 Pycharm nodejs 模塊使用 import requests import execjs import json requests和execjs 都是第 ...


最近天氣降溫厲害,咱們用Python來分析一下空氣質量如何~

話不多說,我們直接開始上手。

環境以及模塊

環境使用

  • Python 3.8
  • Pycharm
  • nodejs

模塊使用

  • import requests
  • import execjs
  • import json

requestsexecjs 都是第三方模塊,需要手動安裝,直接pip install 加上模塊名字即可。

思路流程

一. 數據來源分析

  1. 明確需求: 明確採集的網站以及數據

  2. 抓包分析: 通過瀏覽器自帶的開發者工具分析數據

    • 打開開發者工具: F12
    • 刷新網頁
    • 通過關鍵字搜索查詢對應數據包位置

二. 代碼實現步驟

  1. 發送請求 -> 模擬瀏覽器對於url地址發送請求
  2. 獲取數據 -> 獲取伺服器返迴響應數據
  3. 解析數據 -> 提取具體數據內容
  4. 保存數據 -> 保存表格文件中

代碼展示

定義月份列表,用於迴圈請求數據。

month_list = ['202301', '202302', '202303', '202304','202305','202306','202308','202309','202310']

 

迴圈請求每個月份的數據

for month in month_list:  

 

發送請求

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
}
# 請求鏈接
# 完整的源碼和視頻講解我都打包好 
# 在這個摳裙自取 708525271
url = 'https://www.aqistudy.cn/historydata/api/historyapi.php'

 

調用JS代碼獲取加密參數

# 讀取js文件
data_file = open('data.js', 'r', encoding='utf-8').read()
# 編譯JS代碼
data_code = execjs.compile(data_file)
# 參數
m0fhOhhGL = "GETDAYDATA"
oNLhNQ = {
    "city": "北京",
    "month": month
}
# 調用js代碼函數
hA4Nse2cT = data_code.call('post_data', m0fhOhhGL, oNLhNQ)
print('加密的請求參數: ', hA4Nse2cT)
# 請求參數
data = {
    'hA4Nse2cT': hA4Nse2cT
}
# 發送請求
response = requests.post(url=url, data=data, headers=headers).text

 

解密響應加密數據

# 讀取文件
response_file = open('response.js', 'r', encoding='utf-8').read()
# 編譯文件
response_code = execjs.compile(response_file)
# 調用js函數
result = response_code.call('dxvERkeEvHbS', response)
print('加密的響應數據: ',response)
print('明文響應數據: ',result)

 

保存數據
將解密後的數據保存到Excel文件中

json_data = json.loads(result)
content_list = []
for index in json_data['result']['data']['items']:
    content_list.append(index)
    
df_data = pd.DataFrame(content_list)
df_data.to_excel(f'{month}.xlsx', index=False)

 

 

效果展示

 

 

好了今天的內容就分享到這,下次見~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 馬哥原創,python全流程自動化:採集數據 -> 篩選數據 -> 存MySQL資料庫 -> 發送郵件 -> 微信提醒 -> 定時執行。 ...
  • 在今天的學習中,我們簡要瞭解了Python的控制流程,特別是if-else判斷和迴圈操作。作為有著Java開發經驗的程式員,我們跳過了一些基礎概念,著重探討if判斷和迴圈的靈活運用。Python的縮進寫法和與Java的一些語法區別都是需要註意的地方。在編寫程式時,if嵌套和迴圈是基礎結構,而設計模式... ...
  • 寫在前面 筆者技術真的很一般,也許只靠著笨鳥先飛的這種傻瓜堅持,才能在互聯網行業僥幸的生存下來吧! 為什麼這麼說? 我曾不止一次在某群,看到說我寫的東西一點技術含量都沒有,而且很沒營養,換作一年前的我,也許會懟回去,現在的話,我只是看到了,完事忘記了。 早期寫文章是為了當筆記用,不會隨時查閱,當然也 ...
  • 如圖: 已知圖片中標註1、2、3對應的內容 在業務中我需要獲取標誌2對應的"58"這個值,但是這個值不包括在某個標簽中,在span“集數”和br標簽之間,為了減小獲取"58"這個值不被之前的標簽數量的影響 先獲取標簽1所對應的元素,因為標簽1有property="v:initialReleaseDa ...
  • 題目 基礎結構體練習: 創建一個名為Person的結構體,包含name(字元串類型)和age(整數類型)兩個欄位。 寫一個函數,接收一個Person實例作為參數,並列印出這個人的名字和年齡。 結構體方法練習: 為Person結構體添加一個方法birthday,當調用時,它將這個人的年齡增加1。 創建 ...
  • trait是什麼? Rust中的trait是一種定義可被多種類型實現的共用行為的方式。它類似於Java或C#中的介面。通過trait,你可以定義一組方法簽名(有時包括預設實現),不同的類型可以實現這些方法。這有助於抽象通用功能並確保不同類型間一定程度的一致性。 當一個類型實現了一個trait,它承諾 ...
  • 要知道經典類和新式類的區別,首先要掌握類的繼承 類的繼承的一個優點就是減少代碼冗餘 廣度優先和深度優先,這主要是在多類繼承的時候會使用到 經典類和新式類的主要區別就是類的繼承的方式 經典類遵循深度優先的規則,新式類遵循廣度優先的規則。 至於什麼是深度優先什麼是廣度優先,可以看如下示例: class ...
  • 1.輸入日期,判斷這一天是這一年的第幾天 import datetime def day_of_year(): year = eval(input('請輸入年份:')) month = eval(input('請輸入月份:')) day = eval(input('請輸入天:')) date1 = ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...