Syed Akbar Naqvi,阿曼马斯喀特省马斯喀特开发商
Syed is available for hire
Hire Syed

Syed Akbar Naqvi

验证专家  in 工程

数据工程师和软件开发人员

Location
马斯喀特,阿曼马斯喀特省
至今成员总数
2020年6月18日

Syed拥有超过18年的数据库开发Experience, 数据工程师, 数据架构师, 银行的数据分析师, insurance, retail, 还有农艺部门. 他为不同技术栈上的高性能多tb DWH设计和开发了解决方案, 包括甲骨文, SQL, PL/SQL, PostgreSQL, Redshift, AWS, DWH, Python, PySpark, Kafka, 以及其他与数据相关的工具. 赛义德总是对具有挑战性的项目感到兴奋,因为他可以带来附带的成功.

Portfolio

Varda AG
数据工程,SQL, ETL, Redshift, Python, Amazon RDS, 融合, Jira...
ShopCircle
雪花,数据构建工具(dbt), Tableau, SQL, ETL, Shopify,数据架构...
雅拉国际- DNU - Varda(原共享数据交换:SDX (ODX))
数据工程,SQL, Redshift, Amazon RDS, Python, Apache卡夫卡, ETL...

Experience

Availability

Part-time

首选的环境

亚马逊网络服务(AWS), Amazon EC2, Linux, PL/SQL, Python 3, Apache气流, Apache卡夫卡, Redshift, Snowflake, Amazon RDS

最神奇的...

...thing I've done was a real-time DWH labor scheduler which involves multiple DBs and environments; the code interacts with data from different sources.

工作Experience

数据工程师

2022 - 2023
Varda AG
  • 为主要REST API设计异步和同步流的体系结构,用于从文件和用户中获取地理空间数据.
  • 使用Python在多个模块上工作, SQL, PostgreSQL, 和PostGIS处理传入的数据验证和处理大型GeoJSON和形状文件.
  • 建立了存储边界和字段相关数据的数据模型. 数据模型构成了所有传入和传出数据的主要事实来源.
  • 致力于POC数据仓库,用于雪花数据库上的批量数据交付和监控.
  • 设计并开发几何数据的数据模型,使用Python构建数据管道, SQL, 汇合的卡夫卡, DBT, 以及接近实时的气流过程数据.
Technologies: 数据工程,SQL, ETL, Redshift, Python, Amazon RDS, 融合, Jira, PostgreSQL, Grafana, PostGIS, Docker, 亚马逊网络服务(AWS), PL/SQL, Apache卡夫卡, 数据架构, APIs, 存储过程, AWSλ, Lambda函数, Databases, 地理空间数据, 技术架构, 关系数据库, Data, Snowflake, ELT

高级数据架构师

2022 - 2022
ShopCircle
  • 开发了一个Python库,用于从Shopify api中提取数据并将其加载到Snowflake数据库阶段表中.
  • 管理Snowflake管理员创建和修改数据库组件,如用户, schema, tables, views, 权限, etc.
  • 为Shopify事件数据设计和开发数据模型,并为Tableau仪表板构建kpi.
  • 广泛使用SQL在dbt中创建模型,以转换数据并将数据加载到Snowflake数据库中,以用于报告目的.
  • 编排ETL管道,每小时运行一次,并使用气流中的dag处理增量数据.
  • 构建多个kpi,如ARR、MRR、队列、流失率、活跃用户等.,并创建了复杂的图表来利用这些kpi.
  • 在Tableau Desktop中创建多个仪表板和图表,并将其部署在Tableau Cloud上.
Technologies: 雪花,数据构建工具(dbt), Tableau, SQL, ETL, Shopify,数据架构, APIs, 商业智能(BI)平台, Databases, 数据管道, 数据库优化, 数据库建模, 数据分析, 技术架构, 关系数据库, Data, ELT

数据工程师

2021 - 2022
雅拉国际- DNU - Varda(原共享数据交换:SDX (ODX))
  • 参与主要设计决策,开发用于处理大型地理空间数据集的管道,通过读取Redshift并将数据推送到Amazon DocumentDB和Amazon S3 bucket进行只读访问.
  • 开发了复杂的管道来构建用于web的数据目录.
  • 领导为Amazon DocumentDB设计土壤样本数据的数据模型,并参与开发与Apache气流配合使用的管道.
Technologies: 数据工程,SQL, Redshift, Amazon RDS, Python, Apache卡夫卡, ETL, Apache气流, 数据建模, 亚马逊网络服务(AWS), DocumentDB, Jira, Uber H3, 数据架构, APIs, 存储过程, AWSλ, Lambda函数, Databases, MongoDB, 数据管道, 数据库优化, 技术架构, 数据构建工具(dbt), 关系数据库, Data, ELT

AWS QuickSight专家

2021 - 2021
CartHook公司
  • 使用SQL和Python预先聚合数据,为报表和仪表板开发数据集市和查询.
  • 建立多个图表,包括但不限于ADU MRU,队列,ARR, MRR等.
  • 设计和开发对Redshift现有表的高性能查询,以便在单击秒内显示结果.
技术:亚马逊网络服务(AWS), 亚马逊QuickSight, 潜望镜数据, Redshift, SQL, Python 3, 数据架构, 商业智能(BI)平台, Databases, 数据库优化, Datadog, 数据库建模, 数据分析, 关系数据库, Data, ELT

数据工程师

2020 - 2021
雅拉国际公司
  • 独立开发和改进来自多个来源的基于事件的数据的ETL管道. 该仓库容纳了大约50个数据源,在清理和规范化之后将被合并到一个模式表中.
  • 将具有少量数据源的旧ETL管道迁移到具有更多数据源的新堆栈.
  • 通过重写高性能Redshift SQL查询,提高了整体ETL管道的性能.
  • 构建多个dag并使用气流对其进行编排.
技术:数据工程, Python, SQL, 亚马逊网络服务(AWS), Apache卡夫卡, Apache气流, PostgreSQL, Redshift, Segment.io, 数据架构, Databases, 数据管道, 数据库优化, 数据分析, 数据构建工具(dbt), PySpark, 关系数据库, Data, ELT

AWS红移专家

2020 - 2020
CartHook公司
  • 独立设计和开发用于分析报告的完整DWH.
  • 开发和设计用于近实时数据转换的ETL管道,以与自定义仪表板和Quicksight一起使用.
  • 优化了数据库和查询的性能,以便在毫秒内执行大量操作, 从而降低了红移基础设施的成本.
技术:SQL, Redshift, 亚马逊网络服务(AWS), ETL, SOS柏林调度员, AWS Glue, 数据架构, 存储过程, 商业智能(BI)平台, Databases, 数据管道, 数据库优化, Datadog, 数据库建模, 数据分析, 关系数据库, Data, ELT

数据工程师

2020 - 2020
百事全球-百事国际有限公司
  • Worked on an application that was a POC for the UK region to find the best stores where Pepsico has its products displayed on shelves for sale; the product was called 完美的商店.
  • 开发数据管道,用于处理从每家商店获取的大量图像和数据,并将其转化为洞察力,以建立百事公司的完美商店产品.
  • 使用Azure砖, 数据工厂, 和PySpark开发处理和丰富尼尔森和Trax数据的管道.
技术:数据工程, Python, 砖, Azure数据工厂, PySpark, Azure砖, 微软Azure, Azure, Databases, 数据管道, 技术架构, 关系数据库, Data, ELT

高级技术架构师

2011 - 2019
新进技术服务私人有限公司
  • 为美国零售商的零售销售系统设计和开发ETL定制,用于他们在Oracle数据库上使用ORDM进行日常业务分析, OWB, PLSQL, Oracle调度器. 用SQL和PLSQL编写复杂的业务逻辑.
  • 使用AWS Redshift为基于AWS云的DWH设计并开发ETL. 将来自多个数据源的数据集成到一个数据源中,就像SFTP上的平面文件一样, AWS S3, 谷歌分析摘录, 和IBM Silverpop.
  • 严格使用像Python这样的开源技术, TOS DI, SOS调度器, 以及其他最小化运营成本的方法.
  • 为来自不同来源的数据流创建了维护良好的端到端体系结构,这些数据流可以在没有或只有很少用户交互的情况下独立执行.
  • 在多个平台上执行日常维护和推荐任务, 包括Unix, Linux的窗户, AWS, Redshift, Oracle, 以及其他数据库管理活动.
  • 根据需要实现查询和代码的性能调优.
  • 领导团队整理数据库和etl相关任务的所有技术方面的问题.
  • 设计并开发了一个与零售业劳动力管理相关的大型项目的数据模型.
技术:亚马逊网络服务(AWS), ETL, SOS柏林调度员, 数据库管理(DBA), 商业智能(BI), 数据仓库, 数据仓库设计, 数据建模, Talend, Python, PostgreSQL, Redshift, Oracle SQL, 工程数据, Oracle PL / SQL, SQL, PL/pgSQL, Amazon S3 (AWS S3), 技术架构, ETL实施 & Design, 数据库体系结构, RDBMS, 数据架构, 存储过程, 商业智能(BI)平台, Databases, 数据管道, 数据库优化, 数据库建模, Oracle, 关系数据库, Data

技术作家

2016 - 2018
IAmOnDemand(通过total)
  • 为技术人员写了大约15篇文章,比如, CIO, 数据库管理员, 开发人员, 云计算架构师, and so on.
  • 写了几篇优秀的文章(5-10页长),有目录等. 所有的文章都被成千上万的人发表和阅读. 一些主题包括云技能集、AWS红移、RDS vs . RDS. 本地DBaaS和Aurora vs. RDS,举几个例子.
  • 对文章内容进行事实核查,确保没有抄袭.
技术:亚马逊网络服务(AWS)、DevOps、数据库即服务(DBaaS)、Redshift、数据库

高级顾问

2005 - 2009
凯捷咨询印度有限公司
  • 支持50人以上的大型Java开发团队编写Oracle数据库查询—创建视图, 程序和功能. 作为核心数据库团队的一员,交付不同的用例.
  • 为荷兰PSU部门的一个顶级客户创建了数百个Oracle程序和包,用于所有DML操作. 这是使用动态SQL来加速开发的.
  • 为荷兰的一家顶级PSU部门公司设计和工作可交付成果,后来为该组织带来了更大更好的监控收益.
  • 作为唯一一个支持项目所使用的所有Oracle数据库实例的DBA. 任务涉及设置数据库, 加载数据, 并为开发团队调优性能.
  • 与荷兰的客户一起在现场进行需求收集和项目部署.
  • 作为版主,交付了一个复杂而具有挑战性的项目,该项目与一个近乎实时的DWH相关. 这涉及到使用Oracle流和编程将数据从OLTP环境加载到OLAP环境.
技术:Shell脚本, 数据库管理(DBA), Erwin, 甲骨文流, Toad, Linux, AIX, PL/SQL, Oracle SQL, 存储过程, Databases, 数据库建模, Oracle PL / SQL, Oracle, 关系数据库, Data

RMS连接器

RMS连接器作为零售销售系统(RMS)和Oracle零售数据仓库(ORDM)之间的接口。.

它可以轻松地将RMS数据馈电集成到ORDM中,用于所有级别的销售和库存报告,并被美国和中美洲的顶级零售商使用.

完成工作:
•使用Oracle Warehouse Builder构建从平面文件到Oracle数据库的所有ETL和数据流.
开发从RMS到ORDM的所有新文件的PLSQL包和程序.
•提出建议,并参与生产数据库架构的规划和设置.
•调优数据库和报表性能.
•使用Oracle调度链设置ETL自动化.

客户细分

这个项目是一个运行在AWS上的SaaS应用程序.

该体系结构包括:
•红移:用于存储和报告数据
•Python:用于基于用户输入的数据处理
•SOS Belin Scheduler:一个基于用户输入异步执行Python脚本的调度程序
•UI:用于用户输入
•Tableau:用于报告已创建的细分
•环境:EC2,红移

我的工作是设计和开发端到端的数据流以及数据处理所需的api.

Flow:
1)用户通过选择与客户相关的不同kpi创建细分模型,然后提交作业.
2)然后通过调用SOS REST和Python库提交客户细分.
3)检查REST调用中提供的输入,并在此基础上做出下一个决策.
4)然后对数据进行处理并准备由Tableau拾取.

客户事务和KPI准备需要初始数据负载.

存储操作

这是一个基于手机的应用程序,用于近乎实时的视图,以存储销售方面的转换, traffic, 转换, 员工的贡献对任何门店经理来说都至关重要.

Work done:
•开发分层的数据模型,包括维度、事实和聚合.
•使用Talend, PLINK, Python, SOS和Berlin Scheduler构建ETL程序.
•编写shell脚本来管理数据提要, 他们使用Python脚本处理从Amazon S3到Redshift数据库的文件.

劳动调度程序

劳动调度程序帮助商店经理将预测的客流量需求与员工生产力和Availability联系起来,以优化转换.

Work done:
•创建端到端数据模型.
•根据REST api开发数据操作的程序和api.
•在DB行中实现版本控制.
•建立AWS RDS PostgreSQL,将成本控制在参数之内,并获得高吞吐量.
•设置多个数据库之间的数据交互,使用PostgreSQL数据库链接到Redshift数据库以提取分析数据.
•严格使用PL/pgSQL, Python, PostgreSQL, Redshift来管理数据.

第九营销

IX营销模块帮助零售商了解并在正确的时间做出正确的决定,以增加与在线和实体店客户的销售.

Work done:
•创建数据模型并使用Redshift数据库设置环境.
•从多个来源提取和加载数据,如SFTP, Amazon S3, 谷歌分析API, 和IBM Silverpop.
•创建Python脚本来自动加载数据.

法国国防部

MOD是荷兰最大的雇主,在全球拥有近9万名员工.

Work done:
实施POC期间推荐的新设计.
•在Oracle 10g和Oracle 9i数据库之间安装Oracle流,用于实时提取.
开发ETL流程的新逻辑,用于ODM中的近实时转换.
•设置批处理作业,定期将转换后的数据从ODM加载到CDM,用于Cognos报告.
•为Streams配置PeopleSoft HRMS表.
•调整当前系统的性能.

Eneco能量

Eneco能源公司是荷兰最大的能源公司之一.

Work done:
•在支持soa的架构中成功设计并实现了MVS系统.
•调整物理模型以提高ETL流程的性能.
•成功地将属于一个功能区域的所有对象分离到单独的数据库中,总计为2TB中的300GB.
•数据建模、物理设计和数据库管理.
•对最大的表进行性能调优,最多有150个分区,仅400GB.
•开发一种自动设置测试环境的机制.

荷兰政策管理制度

政策管理系统主要与税务和行政部门接口,并且是重新整合工作流程和员工税务/收入信息处理的组成部分.

角色:数据库团队成员| DBA
完成工作:
•负责Oracle DBA和开发人员的所有工作, 从逻辑和物理设计, 政府, PL/SQL, 编写脚本,与前台沟通cr和用例.
•创建和修改DSS和OLTP物理数据模型.
•执行数据库管理—调整规模、备份恢复策略规划和实施.
•数据库设计和管理.
•数据库维护和发布活动.
•性能调整.

全球FieldID

http://varda.ag
FieldID是一个集中式数据库,用于处理数百万个边界,并为给定的边界及其关联字段分配唯一ID. FieldID的主要目标是提供田间农学数据,供不同的农民和食品生产商在做出明智的农业决策和控制碳排放合规时使用.

我设计了数据模型、架构流和构建数据管道. 使用的工具和技术, Python, SQL, PGSQL, PostgreSQL, Redshift, 汇合的卡夫卡, Apache气流, PostGIS, etc.

场的故事

http://varda.ag
场的故事为最终用户提供了大量经过处理的农学数据集,这些数据集可以由农民或食品生产商购买. 这些工具提供了一个图形用户界面,其中包含关于选定区域土壤的不同生物数据的地图和边界.

使用这些数据, 农民可以在使用化学品和化肥方面做出明智的决定,以实现最佳种植和增加收成. 我分析了数据,并为来自不同来源的数据建立了模型和管道.

我还负责转换数据并将其与不同的Global Boundary id进行映射,以便从GUI方便地访问.

商店圆

商店圆是一家专注于增强Shopify市场应用程序的初创公司. 他们通过从Shopify获取和挖掘事件数据来提升应用程序的功能,从而购买和增强已经运行的应用程序.

我致力于一个内部但非常重要的仪表板,业务所有者使用它来识别应用程序性能,然后向客户提出业务改进建议.

我为kpi构建了数据模型,用于使用Tableau Online创建仪表板和图表. 我使用SQL、DBT、Snowflake和Python构建了转换. 我开发了多个kpi图表,如MRR、ARR、流失率、APR、群组等.,仅举几例.

完美的商店

完美的商店项目是一个高风险的项目,其目的是根据百事公司产品在任何特定商店中的摆放方式以及所有商店的整体销售业绩等参数来确定表现最佳的商店.

POC应该确定表现最好的商店,然后确定货架和产品位置, 竞品销售, rows, 以及架子的位置, etc. 然后,所有这些数据被用来建立和调整其他商店,以便实现类似的销售. 我使用Azure Stack构建数据管道, Azure砖, Azure数据湖, 和Azure数据工厂.

Languages

SQL,存储过程,PL/pgSQL, Python, Python 3,雪花

Paradigms

ETL, ETL实现 & 设计、商业智能、无服务器架构、数据科学、DevOps

Platforms

亚马逊网络服务(AWS), Linux, Azure, AWSλ, Unix, Amazon EC2, Windows, Talend, AIX, 砖, Docker, Apache卡夫卡, Shopify, Oracle

Storage

数据库即服务(DBaaS), PostgreSQL, Oracle PL / SQL, Redshift, 甲骨文Rdb, PL/SQL, JSON, 数据库体系结构, RDBMS, 数据管道, Databases, MySQL, 亚马逊极光, Oracle DBA, 关系数据库, Amazon S3 (AWS S3), Datadog, Oracle SQL, 数据库管理(DBA), PostGIS, 数据库建模, MongoDB

Other

数据仓库,数据仓库设计,技术架构,数据分析,写作 & Editing, 数据建模, 工程数据, 性能调优, CSV, Amazon RDS, 数据架构, 商业智能(BI)平台, 数据库优化, 数据分析, Data, ELT, 甲骨文流, Shell脚本, 虚拟化, APIs, Lambda函数, 数据可视化, BI报告, eCommerce, 地理空间数据, 后端开发, 探索性数据分析, MySQL DBA, 数据构建工具(dbt), DocumentDB, Uber H3, Azure数据工厂, 计算机科学, Azure砖, 微软Azure

框架

Spark

库/ api

PySpark,段.io

Tools

AWS部署, SOS柏林调度员, Toad, Erwin, Postman, 亚马逊QuickSight, 亚马逊监测, AWS IAM, Talend ETL, Apache气流, 融合, Jira, Grafana, 潜望镜数据, AWS Glue, Tableau, Terraform

2005 - 2007

计算机科学硕士学位

印度巴特那,维纳耶卡传教大学

2013年9月至今

Oracle数据库11g Admin - 1

甲骨文大学

有效的合作

如何使用Toptal

在数小时内,而不是数周或数月,我们的网络将为您直接匹配全球行业专家.

1

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

选择你的才能

在24小时内获得专业匹配人才的简短列表,以进行审查,面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作,试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

开始招聘