一分耕耘,一分收獲,來到千鋒大數據培訓的兩個月里,深刻的認識到了這句話的真諦。
比起大學里吃喝玩樂,混日子,白白丟掉大把的光陰。在大數據培訓班里的每一天都十分充實。每天依舊按部就班,卻再也不是泡網吧,和朋友吃吃喝喝,刷夜吃雞。從清早踏進教室的大門,到午夜時分,迎著月光回到寢室,每一天都仿佛是一場精神上的洗禮,腦子里裝著滿滿的知識,整個人雖然非常疲憊,但此刻內心卻無比的平靜。
我想任何一個正常的成年人都會思考未來,哪怕曾經的我,日日虛度光景,午夜夢回之時也會經歷內心的掙扎。有幸,我選擇了千鋒,這垂死掙扎的結果,是我賭贏了!
隨著學習的節奏越來越快,每天沒有多余的時間給我浪費,只有埋頭苦學,才能追趕那些優秀的人。一分耕耘,一分收獲,我的路還很長,肯付出便有希望,加油。
hdfs haadmin -failover 手動進行故障轉移,在該模式下,即使現役,NameNode 已經失效,系統也不會自動從現役NameNode 轉移到待機 NameNode,下面學習如何部署 HA 自動進行故障轉移。自動故障轉移為 HDFS 部署增加了兩個新組件:
ZooKeeper 和 ZKFailoverController(ZKFC)進程。ZooKeeper 是維護少量協調數據,通知客戶端這些數據的改變和監視客戶端故障的高可用服務。HA 的自動故障轉移依賴于ZooKeeper 的以下功能:
1) 故障檢測:集群中的每個 NameNode 在 ZooKeeper 中維護了一個持久會話,如果機器崩潰,ZooKeeper 中的會話將終止,ZooKeeper 通知另一個 NameNode 需要觸發故障轉移。
2) 現役 NameNode 選擇:ZooKeeper 提供了一個簡單的機制用于唯一的選擇一個節點為 active 狀態。如果目前現役 NameNode 崩潰,另一個節點可能從 ZooKeeper 獲得特殊的排外鎖以表明它應該成為現役NameNode。
ZKFC 是自動故障轉移中的另一個新組件,是 ZooKeeper 的客戶端,也監視和管理
NameNode 的狀態。每個運行 NameNode 的主機也運行了一個 ZKFC 進程,ZKFC 負責:
1) 健康監測:ZKFC 使用一個健康檢查命令定期地 ping 與之在相同主機的NameNode,只要該 NameNode 及時地回復健康狀態,ZKFC 認為該節點是健康的。如果該節點崩潰,凍結或進入不健康狀態,健康監測器標識該節點為非健康的。
2) ZooKeeper會話管理:當本地 NameNode 是健康的,ZKFC 保持一個在 ZooKeeper中打開的會話。如果本地 NameNode 處于 active 狀態,ZKFC 也保持一個特殊的 znode 鎖, 該鎖使用了 ZooKeeper 對短暫節點的支持,如果會話終止,鎖節點將自動刪除。
3) 基于 ZooKeeper的選擇:如果本地 NameNode 是健康的,且 ZKFC 發現沒有其它的節點當前持有 znode 鎖,它將為自己獲取該鎖。如果成功,則它已經贏得了選擇,并負責運行故障轉移進程以使它的本地NameNode 為 active。故障轉移進程與前面描述的手動故障轉移相似,首先如果必要保護之前的現役 NameNode,然后本地 NameNode 轉換為 active 狀態。
以上是最近學習所做總結,路漫漫其修遠兮,吾將上下而求索。希望以我的例子借鑒那些尚有理智的朋友,浪子回頭,亦可直走巔峰。人生的路很長,此刻放下貪戀,創造你的人生價值,不晚。
千鋒大數據培訓課程首先從宏觀上講述了大數據的特點,商業應用,發展和職業前景。然后對主流數據技術和生態圈進行了介紹,了解其他和大數據技術之間關系,然后對不同類型的大數據的分析和處理系統,解決方案和行業案例進行剖析和講解。
此外,想要學習大數據的同學,可以先參加千鋒大數據培訓兩周的預科班,全程都是免費試聽的,先看自己適不適合學習再做接下來的準備更加萬無一失不是?