python-數據描述與分析(1)

来源:https://www.cnblogs.com/dd0016/archive/2022/10/01/16747580.html
-Advertisement-
Play Games

數據描述與分析 在進行數據分析之前,我們需要做的事情是對數據有初步的瞭解,這個瞭解就涉及對行業的瞭解和對數據本身的敏感程度,通俗來說就是對數據的分佈有大概的理解,此時我們需要工具進行數據的描述,觀測數據的形狀等;而後才是對數據進行建模分析,挖掘數據中隱藏的位置信息。目前在數據描述和簡單分析方面做的比 ...


數據描述與分析

   在進行數據分析之前,我們需要做的事情是對數據有初步的瞭解,這個瞭解就涉及對行業的瞭解和對數據本身的敏感程度,通俗來說就是對數據的分佈有大概的理解,此時我們需要工具進行數據的描述,觀測數據的形狀等;而後才是對數據進行建模分析,挖掘數據中隱藏的位置信息。目前在數據描述和簡單分析方面做的比較好的是Pandas庫。當然,它還需要結合我們之前提到的Numpy,Scipy等科學計算相關庫才能發揮功效。

1.Pandas 數據結構
在進行Pandas相關介紹時我們首先需要知道的是Pandas 的兩個數據結構(即對象)Series 和 DataFrame,這是Pandas的核心結構,掌握了此二者結構和屬性要素,會在具體的數據處理過程中如虎添翼。

1.1 Series 簡介
Series 是一種類似於以為數據的對象,它由兩部分組成,第一部分是一維數據,另外一部分是與此一維數據對應的標簽數據。具體如下:

import pandas as pd
centerSeries =pd.Series(["中國科學院","文獻情報中心","大樓","北四環西路",])
print (centerSeries)
#output:
0     中國科學院
1    文獻情報中心
2        大樓
3     北四環西路
dtype: object

因為我們沒有指定它的標簽數據,而python預設是通過數字排序進行標識,接下來給他添加標示數據,具體如下:

centerSeries =pd.Series(["中國科學院","文獻情報中心","大樓","北四環西路",],index=["a","b","c","d"])
print (centerSeries) #index的size和Series的size必須一樣長,否則報錯
#output:
a     中國科學院
b    文獻情報中心
c        大樓
d     北四環西路
dtype: object

對比之前的預設標識,我們可以看出它由1,2,3,4變成了a,b,c,d。接下來將解釋這樣標識的意義,具體如下:

import pandas as pd
centerSeries =pd.Series(["中國科學院","文獻情報中心","大樓","北四環西路",],index=["a","b","c","d"])
print (centerSeries[0])  #通過一維數組進行獲取數據
print (centerSeries[1])
print (centerSeries["c"])  #通過標識index獲取數據
print (centerSeries["d"])
#output:
中國科學院
文獻情報中心
大樓
北四環西路

另外,我們可以看到通過一維數組格式獲取數據和通過index標識獲取數據都可以,這樣的index就像曾經學過的資料庫中的id列的作用,相當於建立了每個數據的索引。當然,針對Series的操作不只限於此,還有很多需要我們自己去通過“help”查看得到的。

1.2 DataFrame 簡介
DataFrame 是一個表格型的數據結構,它包含有列和行的索引,當然你也可以把它看作是由Series組織成的字典。需要說明的是,DataFrame的每一列中不需要數據類型相同,且它的數據是通過一個或者多個二維塊進行存放,在瞭解DataFrame之前如果讀者對層次化索引有所瞭解,那麼DataFrame 可能相對容易理解,當然如果讀者並不知道何謂層次化索引也沒關係,舉個例子:他類似於常見的excel的表格格式,可將它理解為一張excel表,具體如下:

#簡單的DataFrame 製作
#字典格式的數據
data = {"name":["國科圖","國科圖","文獻情報中心","文獻情報中心"],
        "year":["2012","2013","2014","2015"],
       "local":["北四環西路","北四環西路","北四環西路","北四環西路"],
       "student":["","","",""]}
centerDF = pd.DataFrame(data)
print(centerDF)
#output:
 name  year  local student
0     國科圖  2012  北四環西路       甲
1     國科圖  2013  北四環西路       乙
2  文獻情報中心  2014  北四環西路       丙
3  文獻情報中心  2015  北四環西路       丁
#調整列的順序
data = {"local":["北四環西路","北四環西路","北四環西路","北四環西路"],
"name":["國科圖","國科圖","文獻情報中心","文獻情報中心"],
"year":["2012","2013","2014","2015"],
"student":["","","",""]}
centerDF = pd.DataFrame(data,columns=["year","name","local","student"])
print(centerDF)
#output:   
year    name  local student
0  2012     國科圖  北四環西路       甲
1  2013     國科圖  北四環西路       乙
2  2014  文獻情報中心  北四環西路       丙
3  2015  文獻情報中心  北四環西路       丁
#更改index的預設設置
data = {"name":["國科圖","國科圖","文獻情報中心","文獻情報中心"],
        "year":["2012","2013","2014","2015"],
       "local":["北四環西路","北四環西路","北四環西路","北四環西路"],
       "student":["","","",""]}
centerDF = pd.DataFrame(data,columns=["year","name","local","student"],index=["a","b","c","d"])
print(centerDF)
#output:   
year    name  local student
a  2012     國科圖  北四環西路       甲
b  2013     國科圖  北四環西路       乙
c  2014  文獻情報中心  北四環西路       丙
d  2015  文獻情報中心  北四環西路       丁

既然DataFrame 是行列格式的數據,那麼理所當然可以通過行、列的方式進行數據獲取,按列進行數據據獲取,具體如下:

data = {"name":["國科圖","國科圖","文獻情報中心","文獻情報中心"],
        "year":["2012","2013","2014","2015"],
       "local":["北四環西路","北四環西路","北四環西路","北四環西路"],
       "student":["","","",""]}
centerDF = pd.DataFrame(data,columns=["year","name","local","student"],index=["a","b","c","d"])
print (centerDF["name"])
print (centerDF["student"])
#output:
a       國科圖
b       國科圖
c    文獻情報中心
d    文獻情報中心
Name: name, dtype: object
a    甲
b    乙
c    丙
d    丁
Name: student, dtype: object

另外,可以看出按列進行獲取時他們的index標識是相同的,且每一列是一個Series 對象

按行進行數據獲取,其實是通過index進行操作,具體如下:

data = {"name":["國科圖","國科圖","文獻情報中心","文獻情報中心"],
        "year":["2012","2013","2014","2015"],
       "local":["北四環西路","北四環西路","北四環西路","北四環西路"],
       "student":["","","",""]}
centerDF = pd.DataFrame(data,columns=["year","name","local","student"],index=["a","b","c","d"])
print (centerDF.loc["a"])

#在使用進行DataFrame.ix進行表中的數據塊選擇的時候,會拋出’DataFrame’ object has no attribute ‘ix’,這個是由於在不同的pandas的版本中,DataFrame的相關屬性已過期,已不推薦使用導致的。
#參考代碼先鋒網
#output:
year        2012
name         國科圖
local      北四環西路
student        甲
Name: a, dtype: object

另外,同樣可以看出每一行是一個Series 對象,此時該Series的index其實就是DataFrame 的列名稱,綜上來看,對於一個DataFrame 來說,它是縱橫雙向進行索引,只是每個Series(縱橫)都共用一個索引而已

1.3 利用Pandas載入、保存數據
在進行數據處理時我們首要工作是把數據載入到記憶體中,這一度成為程式編輯的軟肋,但是Pandas包所提供的功能幾乎涵蓋了大多數的數據處理的載入問題,如read_csv、read_ExcelFile

(1)載入csv格式的數據

import pandas as pd
data_csv = pd.read_csv("D:/python_cailiao/test.csv")  #它的預設屬性有sep=","
data_csv
#output:
school institute grades name 0 中國科學院大學 文獻情報中心 15級 田鵬偉
1 中國科學院大學 文獻情報中心 15級 李四 2 中國科學院大學 文獻情報中心 15級 王五 3 中國科學院大學 文獻情報中心 15級 張三
data_csv = pd.read_csv("D:/python_cailiao/test.csv",sep="#")   #更改預設屬性sep="#"
data_csv
#output:
school,institute,grades,name
0    中國科學院大學,文獻情報中心,15級,田鵬偉
1    中國科學院大學,文獻情報中心,15級,李四
2    中國科學院大學,文獻情報中心,15級,王五
3    中國科學院大學,文獻情報中心,15級,張三
data_csv = pd.read_csv("D:/python_cailiao/test.csv",header=None,skiprows=[0])  #不要表頭Header
data_csv
#output:
school    institute    grades    name
0    中國科學院大學    文獻情報中心    15級    田鵬偉
1    中國科學院大學    文獻情報中心    15級    李四
2    中國科學院大學    文獻情報中心    15級    王五
3    中國科學院大學    文獻情報中心    15級    張三
data_csv.columns=["school","institute","grades","name"]
data_csv  #自行添加表頭列
#output:
school    institute    grades    name
0    中國科學院大學    文獻情報中心    15級    田鵬偉
1    中國科學院大學    文獻情報中心    15級    李四
2    中國科學院大學    文獻情報中心    15級    王五
3    中國科學院大學    文獻情報中心    15級    張三

另外,綜上,通過對csv格式的文件進行讀取,我們可以指定讀入的格式(sep=","),也可以指定他的header為空None,最後添加column,而之所以可以後來添加的原因是讀入的csv已經是DataFrame格式對象

(2)保存csv數據



data_csv.loc[1,"name"]="顧老師"
data_csv.to_csv("D:/python_cailiao/save.csv")

(1)載入excel格式的數據



data_excel = pd.read_excel("D:/python_cailiao/excel.xlsx",sheet_name="test")
data_excel


#output:
school    institute    grades    name
0    中國科學院大學    文獻情報中心    15級    田鵬偉
1    中國科學院大學    文獻情報中心    15級    李四
2    中國科學院大學    文獻情報中心    15級    王五
3    中國科學院大學    文獻情報中心    15級    張三
data_excel.loc[1,"name"]="顧立平老師"
data_excel
#output:
school    institute    grades    name
0    中國科學院大學    文獻情報中心    15級    田鵬偉
1    中國科學院大學    文獻情報中心    15級    顧立平老師
2    中國科學院大學    文獻情報中心    15級    王五
3    中國科學院大學    文獻情報中心    15級    張三

(2)保存數據

data_excel.to_excel("D:/python_cailiao/save.xlsx",sheet_name="test")

 

另外,對於excel文件來說同csv格式的處理相差無幾,但是excel文件在處理時需要指定sheetname屬性(讀取和寫入sheet_name)

參考書目:《數據館員的python簡明手冊》


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、crond任務調度 概述: 使用crontab 指令進行定時任務的設置,任務調度是指系統在某個時間端執行的特定任務或程式,例如:病毒掃描,資料庫備份等 基本語法: crontab 【選項】 常用選項: -e編輯crontab定時任務 -l查詢crontab任務 -r刪除當前用戶所有的cronta ...
  • MySQL基本知識 1.資料庫 1.1.創建資料庫 語法: CREATE DATABASE [IF NOT EXISTS] db_name [create_specification[,create_specification]...] create_specification: [DEFAULT] ...
  • #背景 webpack構建過程中的hooks都有什麼呢?除了在網上看一些文章,還可以通過更直接的辦法,結合官方文檔快速讓你進入webpack的hook世界 寫一個入口文件 //index.js const webpack = require("webpack"); const path = requ ...
  • 一、Spring Cloud Stream 在實際的企業開發中,消息中間件是至關重要的組件之一。消息中間件主要解決應用解耦,非同步消息,流量削鋒等問題,實現高性能,高可用,可伸縮和最終一致性架構。不同的中間件其實現方式,內部結構是不一樣的。如常見的RabbitMQ和Kafka,由於這兩個消息中間件的架 ...
  • 技術傳播的價值,不僅僅體現在通過商業化產品和開源項目來縮短我們構建應用的路徑,加速業務的上線速率,也體現在優秀工程師在工作效率提升、產品性能優化和用戶體驗改善等經驗方面的分享,以提高我們的專業能力。本文作者阿裡巴巴技術專家三畫,分享了自己和團隊在畫好架構圖方面的理念和經驗,首發於阿裡內部技術分享平臺... ...
  • 一、引言:什麼是 JSON JSON (Java Script Object Notation) 是一種很常用的數據格式,它常常用在 web 應用程式中。它可以表示結構化的數據。 下麵是常見的 JSON 文件結構 { "name": "Kamishiro Rize", "age": "22", "o ...
  • 如何工作 在某些 Java 虛擬機中,堆的實現截然不同:它更像一個傳送帶,每分配一個新對象,它就向前移動一格。 這意味著對象存儲空間的分配速度特別快。Java 的"堆指針"只是簡單地移動到尚未分配的區域,所以它的效率與 C++ 在棧上分配空間的效率相當 垃圾回收器工作時,一邊回收記憶體,一邊使堆中的對 ...
  • Java基礎之運算符 1.1 運算符介紹 1.1.1 運算符介紹 運算符是一種特殊的符號,用以表示數據的運算、賦值和比較等,運算符可分為: 1)算術運算符 2)賦值運算符 3)關係運算符 [比較運算符] 4)邏輯運算符 5)位運算符 [需要二進位] 6)三元運算符 1.2 算術運算符 1.2.1 介 ...
一周排行
    -Advertisement-
    Play Games
  • 1.部署歷史 猿友們好,作為初來實習的我,已經遭受社會的“毒打”,所以請容許我在下麵環節適當吐槽,3Q! 傳統部署 ​ 回顧以往在伺服器部署webapi項目(非獨立發佈),dotnet環境、守護進程兩個逃都逃不掉,正常情況下還得來個nginx代理。不僅僅這仨,可能牽扯到yum或npm。node等都要 ...
  • 隨著技術的進步,跨平臺開發已經成為了標配,在此大背景下,ASP.NET Core也應運而生。本文主要基於ASP.NET Core+Element+Sql Server開發一個校園圖書管理系統為例,簡述基於MVC三層架構開發的常見知識點,前一篇文章,已經簡單介紹瞭如何搭建開發框架,和登錄功能實現,本篇... ...
  • 這道題只要會自定義cmp恰當地進行排序,其他部分沒有什麼大問題。 上代碼: 1 #include<bits/stdc++.h> 2 using namespace std; 3 int n,s,h1,h2,cnt; 4 struct apple{ 5 int height,ns;//height為蘋 ...
  • 這篇文章主要描述RPC的路由策略,包括為什麼需要請求隔離,為什麼不在註冊中心中實現請求隔離以及不同粒度的路由策略。 ...
  • 簡介: 中介者模式,屬於行為型的設計模式。用一個中介對象來封裝一系列的對象交互。中介者是各對象不需要顯式地相互引用,從而使其耦合鬆散,而且可以獨立地改變他們之間的交互。 適用場景: 如果平行對象間的依賴複雜,可以使用中介者解耦。 優點: 符合迪米特法則,減少成員間的依賴。 缺點: 不適用於系統出現對 ...
  • 【前置內容】Spring 學習筆記全系列傳送門: Spring學習筆記 - 第一章 - IoC(控制反轉)、IoC容器、Bean的實例化與生命周期、DI(依賴註入) Spring學習筆記 - 第二章 - 註解開發、配置管理第三方Bean、註解管理第三方Bean、Spring 整合 MyBatis 和 ...
  • 簡介: 享元模式,屬於結構型的設計模式。運用共用技術有效地支持大量細粒度的對象。 適用場景: 具有相同抽象但是細節不同的場景中。 優點: 把公共的部分分離為抽象,細節依賴於抽象,符合依賴倒轉原則。 缺點: 增加複雜性。 代碼: //用戶類 class User { private $name; fu ...
  • 這次設計一個通用的多位元組SPI介面模塊,特點如下: 可以設置為1-128位元組的SPI通信模塊 可以修改CPOL、CPHA來進行不同的通信模式 可以設置輸出的時鐘 狀態轉移圖和思路與多位元組串口發送模塊一樣,這裡就不給出了,具體可看該隨筆。 一、模塊代碼 1、需要的模塊 通用8位SPI介面模塊 `tim ...
  • AOP-03 7.AOP-切入表達式 7.1切入表達式的具體使用 1.切入表達式的作用: 通過表達式的方式定義一個或多個具體的連接點。 2.語法細節: (1)切入表達式的語法格式: execution([許可權修飾符] [返回值類型] [簡單類名/全類名] [方法名]([參數列表]) 若目標類、介面與 ...
  • 測試一、虛繼承與繼承的區別 1.1 單個繼承,不帶虛函數 1>class B size(8): 1> + 1> 0 | + (base class A) 1> 0 | | _ia //4B 1> | + 1> 4 | _ib //4B 有兩個int類型數據成員,占8B,基類邏輯存在前面 1.2、單個 ...