Hadoop運維工程師崗位職責

Hadoop運維工程師是做什麼的?本文提供Hadoop運維工程師的崗位職責例子,包括詳細的工作內容及任職要求。

崗位職責：

1.負責Hadoop相關專案日常執行維護、故障排查工作；

2.負責Hadoop叢集的監控和配置調優工作；

3.負責Hadoop平臺的使用者管理、許可權分配、資源分配；

4.負責叢集伺服器軟體的安裝、維護、部署、更新；

任職要求：

1.熟悉Hadoop生態，知曉HDFS、YARN、Kafka、HBase、hive等Hadoop生態技術的體系結構和執行原理可對大資料平臺進行效能調優，升級擴容、效能監控以及配置調優具備1年以上Hadoop大資料平臺運維經驗；

2.熟悉linux系統，熟練使用shell/python/perl中至少一種具備1年以上linux管理工作經驗；

3.熟練使用git版本控制，jenkins持續整合工具；

4.具有良好的學習能力、溝通能力和團隊合作精神；具有強烈的進取精神和樂觀的工作態。

任職資格
1.計算機或相關專業本科以上學歷；
2.二年以上Hadoop大資料平臺實際生產環境經驗；熟悉Apache spark資源管理、排程和效能調優；熟悉Spark，Kafka，HDFS，Hive，Hbase，MapReduce，Yarn，Flume，Mesos，ZooKeeper中的2個以上元件；
3.理解Spark和MapReduce的原理，能夠根據日誌分析程式執行出現錯誤的原因，並對程式執行的引數進行優化，給予業務開發人員建議和支援；
4.熟悉分散式系統、分散式計算系統的工作機制，熟悉Hadoop生態圈相關核心技術的工作機理；有一定原始碼研究者優先；
5.熟悉Linux系統管理工作；熟悉Shell程式設計，能夠編寫指令碼解決日常問題，包括自動化的工作流設計；
6.熟悉Scala或者Python程式設計者優先。

崗位職責
1.負責高併發，大儲存和實時流的Hadoop/spark大資料平臺規劃，運維，監控和優化工作；
2.保證Hadoop/spark平臺各核心服務執行的穩定、高效；
3.對Hadoop/spark平臺運維不斷優化，提升資料產品的質量和響應速度；
4.開發各種Hadoop大資料自動化運維與監控工具；
5.平臺大資料環境的部署維護和技術支援;
6.應用故障的處理跟蹤及統計彙總分析;
7.應用安全，資料的日常備份和應急恢復。崗位職責：
1、負責移動大資料中心的建設與維護；
2、負責安徽移動hadoop叢集的故障排查、解決；
3、其他省份hadoop專案建設提供技術支援。

任職資格：
1、國家統招本科，2年以上工作經驗；
2、有Java開發經驗，對hadoop原始碼有研究，具備部署、實施、維護hadoop的能力。
3、有較為豐富的linux 安裝、配置、系統管理、調優經驗；
4、熟悉儲存、網路原理、瞭解他企業級軟體如tomcat、weblogic、mysql等安裝，配置和優化；
5、參與過電信行業2年以上維護、實施、設計工作；
6、熟悉系統整合、機房管理等工作流程。崗位職責：
1. 負責Hadoop及相關元件的部署和維護，保證其穩定執行；
2. 開發和使用Hadoop大資料自動化運維與監控工具；
3. 基於大資料應用需求，不斷調整和優化Hadoop框架及元件的配置，提升效能；
4. 為資料倉庫、資料探勘建模等資料應用專案提供執行環境支援；
任職要求：
1. 本科及以上學歷，計算機相關專業，2年以上相關工作經驗；
2. 熟悉Linux開發環境和shell指令碼；
3. 熟悉Hadoop及其相關元件部署維護，有實際大資料叢集運維經驗；
4. 熟悉IT系統基礎架構及網路原理，具備大型叢集運維經驗；
5. 熟悉資料倉庫