大資料開發工程師崗位職責

大資料開發工程師是做什麼的?本文提供大資料開發工程師的崗位職責例子,包括詳細的工作內容及任職要求。

1、參與大資料平臺相關的資料整合清洗、資料應用的設計和開發

2.協助使用者完成使用者測試，解決測試發現的問題。

任職要求：

1、本科及以上學歷，計算機或相關專業，2年以上DW/BI專案實施和開發經驗

2、熟悉大資料開源產品的架構和技術細節，具有Hadoop、Mapreduce、HBase、Hive、Spark、Kafka、Redis 等大資料平臺開發經驗

3、有金融、網際網路金融、電商、廣告等行業資料倉庫，資料探勘經驗

4、精通SQL，熟練使用至少一種資料庫，如Oracle、MySQL、PostgreSQL等

1、3年以上工作經驗；至少有一個數據倉庫/資料集市/ODS專案開發經驗；
2、精通oracle資料庫的開發（view/TRIGER/function/procedure/package）及SQL調優，熟悉oracle資料庫的基礎原理；
3、精通ETL工具datastage開發；
4、熟悉Linux/Unix系統，有shell/Perl指令碼開發能力；
5、具備良好的分析能力和溝通協調能力，能夠承受較高的壓力，工作認真負責，積極主動，有較高的效率；
6、熟悉一種主流商用排程工具TWS/control-M/AUTOSYS優先；
7、熟悉Python開發優先；

崗位職責:

1、參與大資料平臺的搭建、開發和維護工作；

2、負責大資料採集、清洗、整合等工作；

3、負責大資料平臺文字挖掘分析等工作；

4、負責BI以及報表開發；

5、參與新技術選型和調研，解決不斷增長的海量資料帶來的儲存和計算挑戰。

任職資格:

1、本科以上學歷，計算機、資訊管理等相關專業；

2、深厚的Java功底，3年及以上的併發程式設計經驗，參與過分散式高效能服務的設計開發過程，有大規模分散式系統的實踐經驗；

3、熟悉hadoop/kafka/flume/storm/spark/zookeeper等相關技術；

4、熟悉常見資料庫如oracle/mysql，有Nosql資料庫如mongoDb等經驗者優先；

5、熟悉redis或memcache者優先；

6、對於分散式系統有一定了解，有海量資料處理經驗；

7、具備較強學習能力，良好的溝通能力和團隊合作意識

1、負責基於Hadoop/Spark/Hive/Storm/kafka等分散式計算平臺實現離線分析、實時分析的計算框架；

2、負責平臺數據倉庫的選型、設計、開發、維護工作；

3、負責上述計算平臺系統的可用性、容量、效能、監控、釋出、安全等運維管理工作，確保系統持續穩定、高效執行；

4、協調大資料團隊高效的進行資料處理、分析、統計、挖掘工作；

崗位要求：

1、熟悉伺服器/儲存/網路/OS等基礎架構基本元素，熟悉linux作業系統，具備較強的調優排障能力；

2、熟悉Hadoop、Spark等大資料框架，有大型分散式計算開發、部署等相關經驗；

3、熟悉shell/python或其他指令碼語言中的任意一門，有紮實的Java開發基礎，瞭解jvm的執行機制以及相應調優；

4、能夠獨立完成專案的系統分析、設計，並主導完成詳細設計和編碼的任務。

5、注重效能，良好的程式碼管理及重構意識。具備獨立溝通需求，設計，架構，開發的能力；

6、熟悉主流的資料儲存產品，有開發經驗者優先。如：HBase，Hive，Redis，MongoDB，MySQL等；

7、有團隊管理經驗者優先。