Sergey Dmitriev
Verified Expert in Engineering
Software Architect and Developer
Sergey is a senior data management professional, solution architect, 云架构师,拥有超过20年的开发数据密集型应用程序的经验,以及构建和领导技术团队以成功交付具有挑战性的软件开发和迁移项目的经验. Sergey精通软件设计和开发的各个方面,并在应用程序交付计划方面表现出专业知识, design, and development.
Portfolio
Experience
Availability
Preferred Environment
Amazon Web Services (AWS), Google Cloud Platform (GCP), Spark, PySpark, Python, Apache Hive, Databricks, Snowflake, Apache Airflow, Fivetran
The most amazing...
...我完成的项目涉及到一个授权服务(Facebook)的异常检测, data infrastructure security).
Work Experience
Staff Data Engineer
Dropbox
- 实现了与谷歌广告服务的可靠集成.
- 将数据管道从传统平台迁移到Spark和Airflow.
- 将遗留数据平台元素整合为一个战略平台.
Staff Data Engineer
- 为某数据平台授权服务搭建异常检测平台.
- 实现了Instagram和Messenger之间实时通信的基础设施分析.
- 为实时通信产品的运行状况监控创建了统一的分析平台.
Senior Back-end Engineer
Gradient
- 构建了一个数据平台来摄取和处理来自不同来源的数据.
- 为Power BI分析和ML算法创建数据管道.
- 构建监控报警工具,简化数据平台操作.
Lead Solution Architect of Data Platforms
Amazon Web Services
- 计划和实现关系数据库向AWS的迁移.
- 在AWS中设计和实现数据仓库、数据湖和操作数据存储.
- 使用SQL和Python在AWS上设计和实现数据管道.
- 为托管在AWS RDS和EC2上的数据库(Oracle)创建数据模型和数据库组件.
- 优化了托管在AWS中的数据库(Oracle)的报表和SQL查询的性能.
- 为数据库迁移到AWS创建了实验室、销售演示和会议活动.
Lead Data Architect
Deutsche Bank
- 在Exadata上整合遗留Oracle数据库(最大可达100TB),包括合并模型和数据, migrating data, and modifying PL/SQL, Shell, and Java code.
- 将Exadata上报告组件的性能从几个小时的运行时间优化到几秒钟.
- 为一个管理上市衍生品交易生命周期的应用程序创建了数据模型和数据库组件(Oracle),000 transactions per second).
- 为风险管理平台设计并实现了数据模型和数据库代码,为合规报告的每个风险计算捕获风险模型参数.
- 设计并实现了一个动态配置的报告引擎(在PL/SQL中),用于处理30TB的数据集.
- 为销售IT部门设计并实现了一个实时仓库的数据模型和数据库代码, receiving information from 150+ feeds, 用复杂的逻辑计算销售提成.
Senior Database Developer | Database Administrator
INIT-S
- 设计和开发核电厂文件管理系统和资源管理系统,管理每个核电厂的整个文件流程.
- Enhanced and automated resource management, 执行不同平台之间的数据库迁移(Sybase ASE), MS SQL Server, Oracle), database server administration, deployment packages creation, and consulting customers.
- Migrated critical databases from Sybase ASE to Oracle.
Experience
核心银行股权结算应用程序的转换程序
Data Pipelines on Google Compute Cloud
Data Pipelines on AWS
我的Python经验包括为数据仓库和数据科学项目构建数据管道. 我还在AWS上构建了本地和云数据管道以及后端无服务器云api.
我还用Spark在批处理模式下计算密集的数据管道和Spark SQL,所以我非常适应使用Spark,并将很快学习新的用例.
Anomaly Detection for Data Platform Access Authorization
实时通信平台的基础结构分析
Skills
Languages
SQL, Snowflake, Python, COBOL
Frameworks
Presto DB, Spark, Hadoop, Apache Thrift
Libraries/APIs
PySpark, Pandas
Tools
Apache Airflow, Erwin, Oracle Exadata, Spark SQL, Amazon Elastic MapReduce (EMR), AWS CloudFormation, Git, Tableau
Paradigms
Database Development, ETL, Database Design
Platforms
Oracle, Amazon Web Services (AWS), Databricks, Google Cloud Platform (GCP), Amazon EC2, Linux, Apache Pig
Storage
Relational Databases, Databases, Oracle RDBMS, Redshift, Amazon S3 (AWS S3), Data Integration, Apache Hive, Amazon Aurora, Google Cloud, PostgreSQL
Other
数据建模,Shell脚本,Google BigQuery,软件设计,软件架构,Amazon RDS
Education
Master's Degree in Computer Science
Moscow Power Engineering Institute - Moscow, Russia
Certifications
AWS Certified Solution Architect - Associate
AWS
Oracle Certified Professional (DBA)
Oracle