崗位職責
1負責云計算架構
1設計并部署高可用物聯網云平臺支持百萬級設備接入規劃混合云架構與安全通信方案TLS/DTLS優化VPC網絡與邊緣計算協同
2實施容器化解決方案K8s/ECS實現微服務治理自動擴縮容與灰度發布
3制定云資源優化策略預留/Spot實例混用建立自動化資源回收機制
2負責數據處理體系
1構建端到端數據管道邊緣計算預處理設備數據RK3588S格式規范通過Kafka/Pulsar異步傳輸設計時序庫InfluxDB/TDengine與關系庫分層存儲
2開發流批一體處理系統Spark/Flink構建數據湖DeltaLake/Iceberg支持多模態數據統一存儲
3實施數據治理體系血緣追蹤/元數據管理建立質量監控與自動修復機制
3物聯網專項
1開發設備管理服務MQTT/CoAP協議適配支持設備影子同步OTA升級與固件版本控制
2部署邊緣計算節點AWSGreengrass/AliyunLink實現AI推理優化與數據同步策略
3構建安全體系X509/KMS加密滿足GDPR/HIPAA合規要求建立審計日志追蹤機制
任職要求
1計算機科學與技術軟件工程數據科學與大數據技術信息與計算科學自動化/人工智能等相關專業畢業
2有大數據處理經驗Spark/Flink熟悉云平臺AWS/Azure及DevOps工具鏈熟悉MySQL/MongoDB等數據庫技術
3核心技能要求
31編程基礎Java/Python/Scala至少精通一門熟悉Shell腳本
32大數據技術棧HadoopSparkFlinkKafka等分布式框架
33數據庫與SQL熟練使用MySQLHiveHBase等優化查詢能力
34Linux與云計算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平臺
35數據結構與算法尤其關注分布式場景下的數據處理如MapReduce原理
4其他要求
具有AWSCertifiedDataAnalyticsClouderaCCP等證書
具有成功項目經驗GitHub展示如用Spark處理TB級數據的優化案例等
舉報
1負責云計算架構
1設計并部署高可用物聯網云平臺支持百萬級設備接入規劃混合云架構與安全通信方案TLS/DTLS優化VPC網絡與邊緣計算協同
2實施容器化解決方案K8s/ECS實現微服務治理自動擴縮容與灰度發布
3制定云資源優化策略預留/Spot實例混用建立自動化資源回收機制
2負責數據處理體系
1構建端到端數據管道邊緣計算預處理設備數據RK3588S格式規范通過Kafka/Pulsar異步傳輸設計時序庫InfluxDB/TDengine與關系庫分層存儲
2開發流批一體處理系統Spark/Flink構建數據湖DeltaLake/Iceberg支持多模態數據統一存儲
3實施數據治理體系血緣追蹤/元數據管理建立質量監控與自動修復機制
3物聯網專項
1開發設備管理服務MQTT/CoAP協議適配支持設備影子同步OTA升級與固件版本控制
2部署邊緣計算節點AWSGreengrass/AliyunLink實現AI推理優化與數據同步策略
3構建安全體系X509/KMS加密滿足GDPR/HIPAA合規要求建立審計日志追蹤機制
任職要求
1計算機科學與技術軟件工程數據科學與大數據技術信息與計算科學自動化/人工智能等相關專業畢業
2有大數據處理經驗Spark/Flink熟悉云平臺AWS/Azure及DevOps工具鏈熟悉MySQL/MongoDB等數據庫技術
3核心技能要求
31編程基礎Java/Python/Scala至少精通一門熟悉Shell腳本
32大數據技術棧HadoopSparkFlinkKafka等分布式框架
33數據庫與SQL熟練使用MySQLHiveHBase等優化查詢能力
34Linux與云計算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平臺
35數據結構與算法尤其關注分布式場景下的數據處理如MapReduce原理
4其他要求
具有AWSCertifiedDataAnalyticsClouderaCCP等證書
具有成功項目經驗GitHub展示如用Spark處理TB級數據的優化案例等
舉報
大數據開發工程師職業大全:
溫馨提示

- 你可能感興趣的職位
- 最近瀏覽記錄
-
面議
-
15-20K
-
3-9K
-
5-5.5K
-
8-12K
-
面議
-
10-15K
-
3-3.2K
暫沒有相關信息
- 公司規模:20-99人
- 所屬行業:互聯網/電子商務
- 聯系人:行政人事專員-陳金瑩
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:深圳市南山區桃源街道大學城社區篤學路9號國家超級計算深圳中心科研樓七樓