Hadoop運維工程師崗位職責
崗位職責:
1.負責Hadoop相關項目日常運行維護、故障排查工作;
2.負責Hadoop集羣的監控和配置調優工作;
3.負責Hadoop平台的用户管理、權限分配、資源分配;
4.負責集羣服務器軟件的安裝、維護、部署、更新;
任職要求:
1.熟悉Hadoop生態,知曉HDFS、YARN、Kafka、HBase、hive等Hadoop生態技術的體系結構和運行原理可對大數據平台進行性能調優,升級擴容、性能監控以及配置調優具備1年以上Hadoop大數據平台運維經驗;
2.熟悉linux系統,熟練使用shell/python/perl中至少一種具備1年以上linux管理工作經驗;
3.熟練使用git版本控制,jenkins持續集成工具;
4.具有良好的學習能力、溝通能力和團隊合作精神;具有強烈的進取精神和樂觀的工作態。
任職資格1.計算機或相關專業本科以上學歷;
2.二年以上Hadoop大數據平台實際生產環境經驗;熟悉Apache spark資源管理、調度和性能調優;熟悉Spark,Kafka,HDFS,Hive,Hbase,MapReduce,Yarn,Flume,Mesos,ZooKeeper中的2個以上組件;
3.理解Spark和MapReduce的原理,能夠根據日誌分析程序運行出現錯誤的原因,並對程序運行的參數進行優化,給予業務開發人員建議和支持;
4.熟悉分佈式系統、分佈式計算系統的工作機制,熟悉Hadoop生態圈相關核心技術的工作機理;有一定源碼研究者優先;
5.熟悉Linux系統管理工作;熟悉Shell編程,能夠編寫腳本解決日常問題,包括自動化的工作流設計;
6.熟悉Scala或者Python編程者優先。
崗位職責
1.負責高併發,大存儲和實時流的Hadoop/spark大數據平台規劃,運維,監控和優化工作;
2.保證Hadoop/spark平台各核心服務運行的穩定、高效;
3.對Hadoop/spark平台運維不斷優化,提升數據產品的質量和響應速度;
4.開發各種Hadoop大數據自動化運維與監控工具;
5.平台大數據環境的部署維護和技術支持;
6.應用故障的處理跟蹤及統計彙總分析;
7.應用安全,數據的日常備份和應急恢復。崗位職責:
1、負責移動大數據中心的建設與維護;
2、負責安徽移動hadoop集羣的故障排查、解決;
3、其他省份hadoop項目建設提供技術支持。
任職資格:
1、國家統招本科,2年以上工作經驗;
2、有Java開發經驗,對hadoop源碼有研究,具備部署、實施、維護hadoop的能力。
3、有較為豐富的linux 安裝、配置、系統管理、調優經驗;
4、熟悉存儲、網絡原理、瞭解他企業級軟件如tomcat、weblogic、mysql等安裝,配置和優化;
5、參與過電信行業2年以上維護、實施、設計工作;
6、熟悉系統集成、機房管理等工作流程。崗位職責:
1. 負責Hadoop及相關組件的部署和維護,保證其穩定運行;
2. 開發和使用Hadoop大數據自動化運維與監控工具;
3. 基於大數據應用需求,不斷調整和優化Hadoop框架及組件的配置,提升性能;
4. 為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持;
任職要求:
1. 本科及以上學歷,計算機相關專業,2年以上相關工作經驗;
2. 熟悉Linux開發環境和shell腳本;
3. 熟悉Hadoop及其相關組件部署維護,有實際大數據集羣運維經驗;
4. 熟悉IT系統基礎架構及網絡原理,具備大型集羣運維經驗;
5. 熟悉數據倉庫
-
支持工程師崗位職責
支持工程師是做什麼的?本文提供支持工程師的崗位職責例子,包括詳細的工作內容及任職要求。2.相關專業,有1年以上工作經驗;3.待人誠實可信,具有親和力,語言表達能力和動手能力強;4.具備網絡通信、弱電工程、安防監控工程系統集成工作經驗者優先考慮。崗位職責1、專業...
-
通信算法工程師崗位職責
通信算法工程師是做什麼的?本文提供通信算法工程師的崗位職責例子,包括詳細的工作內容及任職要求。1.參與或者主持基於軟件無線電的物理層算法設計與實現2.系統仿真,系統表現的評價與優化3.定點設計、實現,以及物理層模塊的比特精確驗證4.使用MATLAB/C語言實現與...
-
gis軟件工程師崗位職責
gis軟件工程師是做什麼的?本文提供gis軟件工程師的崗位職責例子,包括詳細的工作內容及任職要求。任職要求:1.測繪、地理信息系統、遙感、計算機等相關專業本科以上學歷,具有1年以上軟件開發或項目實施經驗;2.熟練掌握C#語言,熟悉WPF技術者優先;3.具備基本的數據庫知...
-
IT技術服務工程師崗位職責
IT技術服務工程師是做什麼的?本文提供IT技術服務工程師的崗位職責例子,包括詳細的工作內容及任職要求。Duties:Day-to-dayInternalKeyApplication/SystemusageandfunctionalSupportforbusinessuser.日常內部IT/業務應用系統支持,指導用户正確使用IT/業務系統。P...