Big Data Engineer Job Description Template

Company Introduction

{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. Mention office hours, remote working possibilities, 以及所有你认为能让你的公司有趣的东西. 大数据工程师喜欢处理大问题——提及规模(或潜力)有助于吸引顶尖人才的注意.}}

Job Description

我们正在寻找一个大数据工程师，将收集工作, storing, processing, and analyzing of huge sets of data. 主要的重点将是选择用于这些目的的最佳解决方案, then maintaining, implementing, and monitoring them. 您还将负责将它们与整个公司使用的体系结构集成.

Responsibilities

• 选择和集成提供所需功能所需的任何大数据工具和框架
• Implementing ETL process {{如果从现有数据源导入数据是相关的}}
• 监控性能并建议任何必要的基础设施更改
• Defining data retention policies
• {{Add any other responsibility that is relevant}}

Skills and Qualifications

• 精通分布式计算原理
• 管理Hadoop集群，包括所有的服务 {{除非你将拥有特定的大数据开发运维角色}}
• 能够解决集群运行中出现的任何问题 {{除非你将拥有特定的大数据开发运维角色}}
• Proficiency with Hadoop v2, MapReduce, HDFS
• 有构建流处理系统的经验，使用Storm或Spark-Streaming等解决方案 {{if stream-processing is relevant for the role}}
• 熟悉大数据查询工具，如Pig、Hive、Impala
• Experience with Spark {{if you are including or planning to include it}}
• 具有集成多个数据源数据的经验
• 有使用NoSQL数据库的经验，如HBase, Cassandra, MongoDB
• 了解各种ETL技术和框架，如Flume
• 有各种消息传递系统的经验，如Kafka或RabbitMQ
• 有使用大数据ML工具包的经验，如Mahout, SparkML或H2O {{如果你打算将机器学习集成到你的大数据基础设施中}}
• 很好地理解Lambda架构，以及它的优缺点
• Experience with Cloudera/MapR/Hortonworks {{您可以在这里指定当前使用或计划使用的发行版}}
• {{列出您正在使用或计划使用的任何其他技术. 大多数大数据工程师都知道下面列出的一些: The Hadoop Ecosystem Table}}
• {{List education level or certification you require}}