本文介紹基於Python語言，遍歷文件夾並從中找到文件名稱符合我們需求的多個.txt格式文本文件，並從上述每一個文本文件中，找到我們需要的指定數據，最後得到所有文本文件中我們需要的數據的合集的方法~ ...
本文介紹基於Python語言，遍歷文件夾並從中找到文件名稱符合我們需求的多個.txt格式文本文件，並從上述每一個文本文件中，找到我們需要的指定數據，最後得到所有文本文件中我們需要的數據的合集的方法。
首先，我們來明確一下本文的具體需求。現有一個文件夾，其中含有大量的.txt格式文本文件，如下圖所示；同時，這些文本文件中，文件名中含有Point欄位的，都是我們需要的文件，我們接下來的操作都是對這些我們需要的文件而言的；而不含有Point這個欄位的，那麼我們就不需要。
隨後，在每一個我們需要的文本文件（也就是文件名中含有Point欄位的文件）中，都具有著如下圖所示的數據格式。我們希望，基於第1列（紅色框內所示的列）數據（這一列數據表示波長），找到幾個指定波長數據所對應的行，並將這些行所對應的後5列數據都保存下來。
此外，前面也提到，文件名中含有Point欄位的文本文件是有多個的；因此希望將所有文本文件中，符合要求的數據行都保存在一個變數，且保存的時候也將文件名稱保存下來，從而知道保存的每一行數據，具體是來自於哪一個文件。
知道了需求，我們就可以開始代碼的書寫。其中，本文用到的具體代碼如下所示。
# -*- coding: utf-8 -*-
"""
Created on Fri Jul 7 23:39:43 2023
@author: fkxxgis
"""
import os
import pandas as pd
original_file_folder = "E:/03_Experiment/202306HuaiLai/HuaiLai_20230627_SpectralCurve"
result_file_path = "E:/03_Experiment/202306HuaiLai/HuaiLai_20230627_SpectralCurve/Result.csv"
target_wavelength = [490, 561, 665, 702, 863]
result_all_df = pd.DataFrame()
for file in os.listdir(original_file_folder):
if file.endswith(".txt") and file[3] == "P":
file_path = os.path.join(original_file_folder, file)
df = pd.read_csv(file_path, delimiter = "\t")
select_df = df[df["Wavelength"].isin(target_wavelength)]
select_df.insert(0, "file_name", file)
data_append = select_df.iloc[1 : , 2 : ]
result_df = pd.DataFrame()
result_df = pd.concat([select_df.iloc[[0]].reset_index(drop = True), pd.DataFrame(data_append.values.flatten()).transpose()], axis = 1)
result_df.columns = range(result_df.shape[1])
result_all_df = pd.concat([result_all_df, result_df], axis = 0, ignore_index = True)
上述代碼具體的含義如下所示。
首先，我們導入了需要使用的庫——os庫用於文件操作，而pandas庫則用於數據處理；接下來，我們定義了原始文件夾路徑 original_file_folder 和結果文件路徑 result_file_path。然後，我們創建一個空的DataFrame對象result_all_df，用於存儲所有處理後的結果。
再接下來，通過使用os.listdir()函數，我們遍歷指定文件夾中的文件。我們通過條件過濾，只選擇以.txt結尾且文件名的第四個字母是P的文件——這些文件就是我們需要的文件。隨後，對於每個滿足條件的文件，我們構建了文件的完整路徑file_path，並使用pd.read_csv()函數讀取文件的內容。在這裡，我們使用製表符作為分隔符，並將數據存儲在DataFrame對象df中。
然後，我們根據給定的目標波長列表target_wavelength，使用條件篩選出包含目標波長的數據行，並將文件名插入到選定的DataFrame中，即在第一列插入名為file_name的列——這一列用於保存我們的文件名。
接下來，在我們已經提取出來的數據中，從第二行開始，提取每一行從第三列到最後一列的數據，將其展平為一維數組，從而方便接下來將其放在原本第一行的後面（右側）。然後，我們使用pd.DataFrame()函數將展平的數組轉換為DataFrame對象；緊接著，我們使用pd.concat()函數將原本的第一行數據，和展平後的數據按列合併（也就是放在了第一行的右側），並將結果存儲在result_df中。
最後，我們將每個文件的處理結果按行合併到result_all_df中，通過使用pd.concat()函數，指定axis=0表示按行合併。由於我這裡的需求是，只要保證文本文件中的數據被提取到一個變數中就夠了，所以沒有將結果保存為一個獨立的文件。如果需要保存為獨立的.csv格式文件，大家可以參考文章多次複製Excel符合要求的數據行：Python批量實現。
運行上述代碼，即可看到保存我們提取出來的數據的結果的變數result_all_df的具體情況如下圖所示。可以看到，已經保存了我們提取出來的具體數據，以及數據具體來源文件的文件名稱；並且從一個文本文件中提取出來的數據，都是保存在一行中，方便我們後期的進一步處理。
至此，大功告成。
