Liviu Enescu
Verified Expert in Engineering
数据工程师和开发人员
Liviu是一名软件开发人员,在初创公司和大型企业环境中拥有超过15年的工作经验. 他专注于数据处理和ETL流. Liviu专门研究大数据和Hadoop集群中的数据湖, 以及关系数据库中的传统数据仓库.
Portfolio
Experience
Availability
首选的环境
Git, IntelliJ IDEA, Linux
The most amazing...
...我参与的项目是一个集成数据平台,可以用于数据摄取, transformation, and analytics.
Work Experience
Scala Developer
nDimensional, Inc.
- 在创业环境中担任核心角色, 专注于升级Scala和相关框架(Akka, Play, Spark, 和Flink)到最新版本的数据分析产品.
- 参与并积极参与架构会议,将当前基于单体的应用程序迁移到微服务架构.
- 与团队紧密合作,了解项目需求和可交付成果, 积极参与代码审查并提供有价值的见解.
高级大数据开发员
欧洲顶级银行
- 使用Scala和Apache Spark框架构建各种能够处理大量数据的数据处理管道. 这些管道部署在Cloudera Hadoop发行版中.
- 优化了现有的Apache Hive和Impala基础设施,以提高平台的稳定性,并使当前进程能够在有限的时间内处理大量数据.
- 积极参加建筑会议,提出替代和更有效的解决方案.
Scala Developer
Freelance
- 使用CQRS和Event Sourcing模式开发一个数据科学平台的后端模块.
- 为各种平台组件和端点实现端到端测试.
- 构建了一个高度可配置的数据生成器,以处理和生成平台性能测试所需的大量数据.
高级大数据开发员
UniCredit
- 在基于Cloudera Hadoop发行版的大数据环境下,开发Scala和Apache Spark数据处理和ETL管道.
- 将现有的数据质量解决方案从Teradata迁移到大数据技术(Scala和Apache Spark).
- 扩展了一个现有的复杂大数据应用程序,该应用程序由30个不同流程使用的130多个源组成, 超过一千个kpi, 10TB的输出数据.
- 开发了一个机器学习和人工智能MVP.
- 将现有的大数据应用程序迁移到新的Apache Spark版本.6 to 2.4.
- 开发了一个基于Neo4j图形数据库的网络基础设施监控应用.
- 基于Apache Sqoop和Oracle开发了一个数据摄取框架.
高级商业智能开发人员
1&1 Internet
- 扩展了在Sybase IQ中构建的现有企业数据仓库系统(用于操作数据存储), the ETL process, 和数据集市)和MicroStrategy(用作前端解决方案).
- 将一个企业数据仓库解决方案从Sybase IQ列数据库迁移到Microsoft SQL Server.
- 将多个项目从Oracle迁移到Microsoft SQL Server.
IT报告和MS开发主管
UNIQA Asigurari
- 在财务环境中使用Microsoft技术设计并实现了一个完整的数据仓库系统.
- 构建基于OLAP多维数据集和web报表的自报表平台.
- 为所有内部客户端请求开发一个新的web解决方案,并将现有应用程序迁移和集成到新的、更友好的工具中.
- 协调一个由SQL、BI和ASP组成的小团队.NET开发人员通过所有软件开发过程.
IT报告服务主管
UNIQA Asigurari
- 协调IT报告服务的活动, 包括需求分析, development, documentation, acceptance, 报告的自动化.
- 基于微软技术的报表系统的设计、实现和维护.
- 管理Microsoft SQL Server数据库实例, 监视备份和日志,并实现日志传送策略, 数据库优化和性能调优, 以及数据库自动重新索引策略.
- 将数据库实例从Microsoft SQL Server 2005迁移到Microsoft SQL Server 2012.
- 将报表web平台从SQL Server reporting Services 2005迁移到SQL Server reporting Services 2012.
- 开发、建模和实现数据仓库和星型模式数据集市.
- 实现了IBM Db2到Microsoft SQL Server 2012的解决方案,提供了近乎实时的增量复制.
- 为不同的BI工具(如QlikView和Tableau)创建poc.
- 组织在公司核心系统内实施新产品的测试和用户验收流程.
- 用c#和ASP构建窗口和应用程序.NET MVC.
Software Developer
UNIQA Asigurari
- 在Microsoft SQL Server中设计、开发和维护各种报表.
- 受管理的Microsoft SQL Server数据库实例, including backups, restores, log shipping, 以及数据库服务器性能监控.
- 开发ETL流程,将整个公司基于Microsoft SQL Server的核心系统数据库事务迁移到基于IBM Db2的新核心系统.
- 构建了一组复杂的月末报告,成为精算的官方数据源, controlling, 监管报告.
- 设计并实现了一个基于SQL Server reporting Services的web报表平台.
- 基于SQL Server Analysis Services创建各种OLAP多维数据集.
- 通过Web服务实现自动监管报告.
- 构思并实现用于自动从不同来源导入数据的ETL流, 比如Multicash应用程序, 到核心系统.
Experience
数据处理管道
数据科学平台
Apache Hive和Impala优化
UNIQA Asigurari的数据仓库
Project details:
•Microsoft SQL Server用于数据仓库和后端部分
•通过Excel访问OLAP立方体进行分析
•用于BI和前端部分的SQL Server Reporting Services
UNIQA Asigurari的Web应用程序
在这个项目中,我主要使用了微软的技术:ASP.. NET作为前端接口, 数据库为Microsoft SQL Server, 和Active Directory进行身份验证和授权. 每个用户只被授予访问特定模块的权限.
Skills
Languages
SQL, Scala, t - sql (transact - sql), Python, c#.. NET, c#, JavaScript,存储过程,Bash, Cypher
Frameworks
Apache Spark, Spark, ASP.NET, Hadoop, Akka, .NET, ASP.. NET MVC, Bootstrap, Swagger, Play
Paradigms
ETL, 商业智能(BI), OLAP, CQRS, Event Sourcing, Microservices, E2E Testing, Unit Testing, 模型-视图-控制器(MVC)
Tools
Impala, Git, IntelliJ IDEA, Apache Sqoop, Cloudera, Solr, Flink
Platforms
Docker, Linux, Oracle, Apache Kafka, Unix, Jupyter Notebook, Nexus, Kubernetes, 亚马逊网络服务(AWS)
Storage
Databases, Microsoft SQL Server, Apache Hive, Data Pipelines, SSAS Tabular, HBase, PostgreSQL, SQL存储过程, SQL Views, DB2/400, SQL Functions, SQL Server报表服务(SSRS), Teradata, Datastage, SQL Server分析服务(SSAS), 数据库管理(DBA), 数据库复制, SQL Performance, IBM Db2, Neo4j, JSON, PL/SQL, OLTP
Other
软件开发, Programming, Data Engineering, APIs, Algorithms, 软件部署, IT项目管理, Data Warehousing, MicroStrategy, Big Data, Machine Learning, ELT, Data Modeling, Triggers, Shell Scripting, Tox, 集成测试, Shapeless, Web Services, Data Quality, Coaching, Data Marts, Star Schema, Reports, BI Reports, 数据转换, Pipelines, GraphDB, Data Analytics
Libraries/APIs
实体框架,LINQ, Monix, JDBC
Education
计算机科学应用项目管理硕士学位
控制论学院, Statistics, and Informatics; Bucharest University of Economic Studies - 布加勒斯特,罗马尼亚
计算机科学学士学位
控制论学院, Statistics, and Informatics; Bucharest University of Economic Studies - 布加勒斯特,罗马尼亚
电子与通信专业本科以上学历
布加勒斯特Politehnica大学-布加勒斯特,罗马尼亚