2 HDFS Users Guide 2 HDFS Users Guide. 1 2.1目的... 1 2.2.概述... 1 2.3.先決條件... 2 2.4. Web Interface. 2 2.5. Shell Command. 2 2.5.1 DFSAdmin 命令... 3 2.6 S ...
2 HDFS Users Guide
2.1目的
略
2.2.概述
HDFS是Hadoop應用使用的主要的分散式存儲。HDFS集群使用namenode管理文件系統元數據，datanode保存實際數據。HDFS體繫結構中有詳細的描述。用戶手冊主要解決HDFS和用戶的交互和HDFS集群的管理。HDFS體繫結構中描述了namenode，datanode和client的相互之間的交互。Client從namenode獲取元數據，修改元數據，在datanode中操作實際的數據。
以下是hdfs主要的特性：
· Hadoop包含hdfs，hdfs是非常適用於商用的硬體上面，進行分散式存儲和分散式處理的。Hdfs有很好的容錯性，可擴展性，擴大也很簡單。Mapreduce也是極簡的適用於龐大的分散式系統。
· HDFS是高可配置的，預設配置適用於大多數安裝。只有在極大的集群下需要調整配置。
· Hadoop使用java開發，適用於絕大多數平臺。
· Hadoop支持類似shell的命令行，與hdfs直接交互。
· Namenode和datanode有web服務，可以很簡單的查看和檢查當前集群狀態。
· HDFS有用的特性：
o 文件許可權和人認證
o Rack awareness：在調度任務和分配存儲是，考慮node的物理位置
o Safemode：一個管理模式用來進行對hdfs維護。
o Fsck：一個用來診斷文件系統是否良好的工具，發現丟失的文件和塊。
o Fetchdt：用來獲取DelegationToken 並且保存到本地。
o Balancer:當datanode數據分佈不均勻，使用這個工具來均衡。
o Upgrade和rollback:軟體更新後，因為一些無法預計的問題，可以回滾HDFS的更新
o Secondary Namenode:定期的執行checkpoint，保證hdfs事務日誌大小。
o Checkpoint node：在命名空間上執行checkpoint，並且最小化namenode的修改日誌大小。
o Backup node：checkpoint node 的擴展。除了checkpoint之外會接受到一串修改，並且維護在記憶體中。和namenode 保持同步。一個namenode只能有一個backup node。
2.3.先決條件
略
2.4. Web Interface
Namenode和datanode每個都運行了一個內部的web server，為了顯示cluster集群的基本信息。使用預設配置，namenode 的前段網站是http://hosts:9870。列出了cluster中的datanode和cluster的基本信息。Web interface可以用來瀏覽文件系統(使用 browse the file system)。
2.5. Shell Command
Hadoop 包含各種類似shell的命令，直接與HDFS和其他的文件系統進行交互。可以使用hdfs dfs –help查看支持的命令。hdfs dfs -help command-name可以查看命令的詳細內容。命令支持很多和正常文件系統一樣的操作，比如複製文件，修改文件許可權等等。也支持HDFS的一些操作比如複製的文件個數。具體可以查看： File System Shell Guide.
2.5.1 DFSAdmin 命令
hdfs dfsadmin用來支持HDFS管理操作。hdfs dfsadmin –help列出所有支持的命令，比如：
· -report 報告HDFS的基本信息。一些信息都可以在namenode 的端頁面上可以查看
· -safemode 可以讓用戶手動進入和退出safemode
· -finalizeupgrade 清理最後一次cluster升級的備份。
· -refreshnodes 更新namenode可以連接的datanode。預設namenode讀取dfs.hosts,dfs.host.exclude定義的文件中讀取。Dfs.hosts包含了只允許註冊到namenode。Dfs.host.exclude是不允許的datanode。另外如果dfs.namenode.hosts.provider.classname設置為org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager，所有包含和不包含的host都以json格式在dfs.hosts中。Datanode中的所有副本都放到了其他datanode，那麼datanode會被停用。停用的node會自動被關閉。
· -printTopology 列印cluster的拓撲，顯示了namenode 可以查看到的一個b樹。
2.6 Secondary Namenode
Namenode的修改以日誌方式被保存，append的方式被加入到本地的文件系統文件中。當namenode啟動，會從fsimage讀取hdfs的狀態，然後應用editlog。然後把新的fsimage寫回到磁碟並且清空editlog。因為namenode只會在startup狀態才會合併，editlog文件在繁忙的cluster中會變的很大。這樣會是namenode啟動話很長時間。
Secondary namenode定期合併fsimage和editlog，並且限制editlog大小。通常運行在另外一個設備上，因為需要的記憶體和primary namenode一樣。
Secondary namenode上執行的checkpoint有個2參數控制：
· Dfs.namenode.checkpoint.period 預設為1個小時，指定2個checkpoint的時間間隔。
· Dfs.namenode.checkpoint.txns 預設為100萬，沒100萬事務進行一次checkpoint。
Secondary namenode在目錄中保存了最後一次checkpoint，目錄結構和primary namenode一樣。Checkpoint的image會準備等待primary namenode 來讀取。
Secondary namenode 相關命令 secondarynamenode
2.7 Checkpoint Node
Namenode使用2種文件來保存元數據，fsimage，最後一次checkpoint的元數據，editlog，從最後一次checkpoint到現在的元數據修改日誌。當namenode啟動，會使用fsimage和editlog合併，提供最新的文件系統狀態。Namenode然後使用新的hdfs狀態覆蓋fsimage，並啟動新的editlog。
Checkpoint node定期的創建命名空間的檢查點。會從活動的namenode下載fsimage和editlog，在本地合併，並且把新的image重新上傳到namenode。Checkpoint通常運行在不同的伺服器上，因為記憶體的需求和namenode一樣。Checkpoint node根據配置文件使用hdfs namenode –checkpoint啟動。
Checkpoint node 或者backup node可以通過配置dfs.namenode.backup.address 和dfs.namenode.backup.http-address設置。
checkpoint有個2參數控制：
· Dfs.namenode.checkpoint.period 預設為1個小時，指定2個checkpoint的時間間隔。
· Dfs.namenode.checkpoint.txns 預設為100萬，沒100萬事務進行一次checkpoint。
Checkpoint node在目錄中保存了最後一次checkpoint，目錄結構和namenode一樣。Checkpoint的image會準備等待namenode 來讀取。
2.8 Backup node
Backup node提供和checkpoint node一樣的功能，也維護了一份記憶體的，最新的文件系統命名空間，這個是和活動namenode 保持同步狀態的。接收namenode的修改的流，然後放到本地磁碟上，backup node也只應用這些修改到自己在記憶體的命名空間中，因此創建了一個namespace的備份。
Backup node不需要去下載fsimage和editlog，來創建checkpoint，因為已經在記憶體中有了最新的狀態。Backup node checkpoint更加高效，只需要把命名空間保存到本地fsimage並且重置edit 。
Namenode只支持一個backup node。如果使用了backup node就無法使用checkpoint node。使用多個backup node在以後會支持。
Backup node和checkpoint node啟動方式一樣。使用hdfs namenode –backup啟動。
本地的backup node或者checkpoint node的web interface通過dfs.namenode.backup.address和dfs.namenode.backup.http-address參數配置。
使用backup node提供了選項，可以讓namenode在沒有持續化存儲下運行，委托了所有的持續化到backup node。Namenode以-importcheckpoint啟動，只配置 dfs.namenode.edits.dir。
對於完整的討論checkpoint node 和backup node 可以看 HADOOP-4539命令的使用可以看：namenode.
2.9 Import Checkpoint
最後一次checkpoint可以導入到namenode上如果所有其他的image和editlog沒有丟失：
· 創建一個空的目錄，dfs.namenode.name.dir指向這個目錄
· 指向checkpoint數據所在目錄，dfs.namenode.checkpoint.dir
· 使用-importcheckpoint啟動namenode
Namenode會從checkpoint目錄讀取數據，然後存放到namenode目錄中。如果dfs.namenode.name.dir有文件那麼就會報錯。Namenode會檢查dfs.namenode.checkpoint.dir的一致性，但是不會修改它。
2.10 均衡器
HDFS數據並不是統一的在datanode中。一個原因就是cluster加入了一個新的datanode。當放置新的block，namenode會在選擇datanode，考慮很多：
· 在寫入的node上保留一份
· 跨機架需要一份
· 相同機架的不通伺服器上面需要一份
· HDFS數據統一的分配到datanode中
因為很多考慮因素，因此數據不能統一的分配到所有datanode。Hdfs提供了一個工具來管理分析block的位置，並且重新平衡datanode。一個簡單的均衡器管理在HADOOP-1652命令使用查看 balancer.
2.11 Rack Awareness
HDFS集群可以識別rack的拓撲。為了最優化數據容量和使用這個配置很重要。可以查看文檔：rack awareness
2.12 Safemode
當啟動namenode的時候從去載入fsimage和editlog文件。然後等待datanode 報告他們的block信息。如果副本不夠就開始複製副本，這個時候namenode都在safemode下。Safemode下hdfs集群是只讀的。如果datanode報告絕大多數block可用，那麼就會推出safemode。如果需要，HDFS可以手動進入hdfs dfsadmin –safemode。Namenode的前端網站可以看出safemode是否打開。
2.13 fsck
HDFS支持fsck命令檢查各種不一致性。Fsck被設計用來報告各種文件問題。比如，塊丟失。不想傳統的fsck工具，這個命令並不會修複發現的錯誤。Namenode會自動修複絕大多數的錯誤。Fsck不是hadoop的shell命令，使用hdfs fsck啟動。具體可以查看：fsck.
2.14 fetchdt
HDFS支持fetchdt命令來獲取Delegation Token並保存在本地系統中。這個token在後面用於訪問伺服器。工具使用RPC或者HTTPS獲取token，hdfs fetchdt 是不是hadoop shell命令。可以使用hdfs fetchdt DTfile。如果獲取了token之後運行hdfs命令就不需要Kerberos tickets。通過參數HADOOP_TOKEN_FILE_LOCATION指向token文件。Fetchdt命令具體使用： fetchdt
2.15 Recovery Mode
通常如果配置了多個元數據存儲位置。如果一個存儲位置損壞，可以從另外一個位置上讀取。
但是如果只有一個存儲位置，那麼怎麼辦？這裡有個namenode啟動的特別模式recovery mode，可以恢復絕大多數數據。
通過namenode –recover進入recovery mode。
進入recovery mode，namenode會互動式提示你如何進行恢復。
如果不想要提示，可以加-force參數。會強制恢復模式總是選擇第一個選項。通常都是合理的。
因為恢復模式會導致數據丟失，最要先備份editlog和fsimage。
2.16 更新和回滾
Hadoop在集群上的升級，和其他軟體升級一樣，都有可能會出現新的bug或者不相容的修改影響現有的應用程式。HDFS允許管理員回退到之前的hadoop版本，並且回退cluster狀態。HDFS升級可以看 Hadoop Upgrade 。在升級前，管理員需要刪除已經有的backup使用hadoop dfsadmin –finalizeUpgrade命令。升級過程：
· 在升級前，確認是否有backup node
· 關閉集群，並且安裝新的hadoop
· 使用-upgrade命令，start-dfs.sh –upgrade
· 很多情況下，cluster工作是沒問題的，一旦新的hdfs被認為沒問題，完成升級。
· 如果需要回退到老的版本：
o 關閉集群並且安裝之前的hadoop
o 運行rollback命令hdfs namenode –rollback
o –rollback啟動cluster start-dfs.sh –rollback
當更新到新的HDFS，需要刪除為新版本保留的路徑。如果namenode在更新的時候碰到一個保留的路徑。就會輸出錯誤：
/.reserved is a reserved path and .snapshot is a reserved path component in this version of HDFS. Please rollback and delete or rename this path, or upgrade with the -renameReserved [key-value pairs] option to automatically rename these paths during upgrade.
使用-upgrade -renameReserved [optional key-value pairs]如果出現衝突那麼會自動重命名比如，.snapshot 變為.my-snapshot 並且.reserved 變為 .my-reserved。-upgrade -renameReserved .snapshot=.my-snapshot,.reserved=.my-reserved.
如果-renameReserved後面沒有kv對，namenode會自動加一個尾碼.<LAYOUT-VERSION>.UPGRADE_RENAMED, e.g. .snapshot.-51.UPGRADE_RENAMED。
推薦在升級之前先運行hdfs dfsadmin –saveNamespace。如果edit log指向的文件被自動重命名那麼就會有數據一致性問題。
2.17 Datanode熱切換磁碟
Datanode支持熱切換。用戶可以增加或者替換HDFS數據捲，但是不需要關閉datanode。熱切換過程：
· 如果有新的存儲目錄，用戶可以格式化，並且mount
· 用戶更新修改datanode配置dfs.datanote.data.dir
· 運行dfsadmin -reconfig datanode HOST:PORT start重新配置。然後可以通過命令dfsadmin -reconfig datanode HOST:PORT status查看重新配置的運行狀態。
· 一旦重新配置任務完成，用戶可以安全的umount老的數據捲。
2.18 文件許可權和安全性
文件許可權設計和其他的linux平臺的文件系統類似。現在只用於限制簡單的文件許可權。啟動namenode 的用戶是HDFS的超級用戶。未來的版本HDFS會支持網路驗證協議，類似Kerberos並且加密數據傳輸。
2.19 可擴展性
Hadoop當前一個集群可能有上千個node。HDFS每個cluster有一個namenode。當前namenode 的記憶體使用時主要的可擴展性限制。對於非常龐大的集群來說，增加平均文件的大小，可以增加cluster 的大小，但是又不會消耗太多記憶體。預設配置不使用於非常大的集群。
2.20 相關閱讀
- Hadoop Site: The home page for the Apache Hadoop site.
- Hadoop Wiki: The home page (FrontPage) for the Hadoop Wiki. Unlike the released documentation, which is part of Hadoop source tree, Hadoop Wiki is regularly edited by Hadoop Community.
- FAQ: The FAQ Wiki page.
- Hadoop JavaDoc API.
- Hadoop User Mailing List: user[at]hadoop.apache.org.
- Explore hdfs-default.xml. It includes brief description of most of the configuration variables available.
- HDFS Commands Guide: HDFS commands usage.
