Syed Akbar Naqvi
验证专家 in 工程
数据工程师和软件开发人员
Syed拥有超过18年的数据库开发Experience, 数据工程师, 数据架构师, 银行的数据分析师, insurance, retail, 还有农艺部门. 他为不同技术栈上的高性能多tb DWH设计和开发了解决方案, 包括甲骨文, SQL, PL/SQL, PostgreSQL, Redshift, AWS, DWH, Python, PySpark, Kafka, 以及其他与数据相关的工具. 赛义德总是对具有挑战性的项目感到兴奋,因为他可以带来附带的成功.
Portfolio
Experience
Availability
首选的环境
亚马逊网络服务(AWS), Amazon EC2, Linux, PL/SQL, Python 3, Apache气流, Apache卡夫卡, Redshift, Snowflake, Amazon RDS
最神奇的...
...thing I've done was a real-time DWH labor scheduler which involves multiple DBs and environments; the code interacts with data from different sources.
工作Experience
数据工程师
Varda AG
- 为主要REST API设计异步和同步流的体系结构,用于从文件和用户中获取地理空间数据.
- 使用Python在多个模块上工作, SQL, PostgreSQL, 和PostGIS处理传入的数据验证和处理大型GeoJSON和形状文件.
- 建立了存储边界和字段相关数据的数据模型. 数据模型构成了所有传入和传出数据的主要事实来源.
- 致力于POC数据仓库,用于雪花数据库上的批量数据交付和监控.
- 设计并开发几何数据的数据模型,使用Python构建数据管道, SQL, 汇合的卡夫卡, DBT, 以及接近实时的气流过程数据.
高级数据架构师
ShopCircle
- 开发了一个Python库,用于从Shopify api中提取数据并将其加载到Snowflake数据库阶段表中.
- 管理Snowflake管理员创建和修改数据库组件,如用户, schema, tables, views, 权限, etc.
- 为Shopify事件数据设计和开发数据模型,并为Tableau仪表板构建kpi.
- 广泛使用SQL在dbt中创建模型,以转换数据并将数据加载到Snowflake数据库中,以用于报告目的.
- 编排ETL管道,每小时运行一次,并使用气流中的dag处理增量数据.
- 构建多个kpi,如ARR、MRR、队列、流失率、活跃用户等.,并创建了复杂的图表来利用这些kpi.
- 在Tableau Desktop中创建多个仪表板和图表,并将其部署在Tableau Cloud上.
数据工程师
雅拉国际- DNU - Varda(原共享数据交换:SDX (ODX))
- 参与主要设计决策,开发用于处理大型地理空间数据集的管道,通过读取Redshift并将数据推送到Amazon DocumentDB和Amazon S3 bucket进行只读访问.
- 开发了复杂的管道来构建用于web的数据目录.
- 领导为Amazon DocumentDB设计土壤样本数据的数据模型,并参与开发与Apache气流配合使用的管道.
AWS QuickSight专家
CartHook公司
- 使用SQL和Python预先聚合数据,为报表和仪表板开发数据集市和查询.
- 建立多个图表,包括但不限于ADU MRU,队列,ARR, MRR等.
- 设计和开发对Redshift现有表的高性能查询,以便在单击秒内显示结果.
数据工程师
雅拉国际公司
- 独立开发和改进来自多个来源的基于事件的数据的ETL管道. 该仓库容纳了大约50个数据源,在清理和规范化之后将被合并到一个模式表中.
- 将具有少量数据源的旧ETL管道迁移到具有更多数据源的新堆栈.
- 通过重写高性能Redshift SQL查询,提高了整体ETL管道的性能.
- 构建多个dag并使用气流对其进行编排.
AWS红移专家
CartHook公司
- 独立设计和开发用于分析报告的完整DWH.
- 开发和设计用于近实时数据转换的ETL管道,以与自定义仪表板和Quicksight一起使用.
- 优化了数据库和查询的性能,以便在毫秒内执行大量操作, 从而降低了红移基础设施的成本.
数据工程师
百事全球-百事国际有限公司
- Worked on an application that was a POC for the UK region to find the best stores where Pepsico has its products displayed on shelves for sale; the product was called 完美的商店.
- 开发数据管道,用于处理从每家商店获取的大量图像和数据,并将其转化为洞察力,以建立百事公司的完美商店产品.
- 使用Azure砖, 数据工厂, 和PySpark开发处理和丰富尼尔森和Trax数据的管道.
高级技术架构师
新进技术服务私人有限公司
- 为美国零售商的零售销售系统设计和开发ETL定制,用于他们在Oracle数据库上使用ORDM进行日常业务分析, OWB, PLSQL, Oracle调度器. 用SQL和PLSQL编写复杂的业务逻辑.
- 使用AWS Redshift为基于AWS云的DWH设计并开发ETL. 将来自多个数据源的数据集成到一个数据源中,就像SFTP上的平面文件一样, AWS S3, 谷歌分析摘录, 和IBM Silverpop.
- 严格使用像Python这样的开源技术, TOS DI, SOS调度器, 以及其他最小化运营成本的方法.
- 为来自不同来源的数据流创建了维护良好的端到端体系结构,这些数据流可以在没有或只有很少用户交互的情况下独立执行.
- 在多个平台上执行日常维护和推荐任务, 包括Unix, Linux的窗户, AWS, Redshift, Oracle, 以及其他数据库管理活动.
- 根据需要实现查询和代码的性能调优.
- 领导团队整理数据库和etl相关任务的所有技术方面的问题.
- 设计并开发了一个与零售业劳动力管理相关的大型项目的数据模型.
技术作家
IAmOnDemand(通过total)
- 为技术人员写了大约15篇文章,比如, CIO, 数据库管理员, 开发人员, 云计算架构师, and so on.
- 写了几篇优秀的文章(5-10页长),有目录等. 所有的文章都被成千上万的人发表和阅读. 一些主题包括云技能集、AWS红移、RDS vs . RDS. 本地DBaaS和Aurora vs. RDS,举几个例子.
- 对文章内容进行事实核查,确保没有抄袭.
高级顾问
凯捷咨询印度有限公司
- 支持50人以上的大型Java开发团队编写Oracle数据库查询—创建视图, 程序和功能. 作为核心数据库团队的一员,交付不同的用例.
- 为荷兰PSU部门的一个顶级客户创建了数百个Oracle程序和包,用于所有DML操作. 这是使用动态SQL来加速开发的.
- 为荷兰的一家顶级PSU部门公司设计和工作可交付成果,后来为该组织带来了更大更好的监控收益.
- 作为唯一一个支持项目所使用的所有Oracle数据库实例的DBA. 任务涉及设置数据库, 加载数据, 并为开发团队调优性能.
- 与荷兰的客户一起在现场进行需求收集和项目部署.
- 作为版主,交付了一个复杂而具有挑战性的项目,该项目与一个近乎实时的DWH相关. 这涉及到使用Oracle流和编程将数据从OLTP环境加载到OLAP环境.
Experience
RMS连接器
它可以轻松地将RMS数据馈电集成到ORDM中,用于所有级别的销售和库存报告,并被美国和中美洲的顶级零售商使用.
完成工作:
•使用Oracle Warehouse Builder构建从平面文件到Oracle数据库的所有ETL和数据流.
开发从RMS到ORDM的所有新文件的PLSQL包和程序.
•提出建议,并参与生产数据库架构的规划和设置.
•调优数据库和报表性能.
•使用Oracle调度链设置ETL自动化.
客户细分
该体系结构包括:
•红移:用于存储和报告数据
•Python:用于基于用户输入的数据处理
•SOS Belin Scheduler:一个基于用户输入异步执行Python脚本的调度程序
•UI:用于用户输入
•Tableau:用于报告已创建的细分
•环境:EC2,红移
我的工作是设计和开发端到端的数据流以及数据处理所需的api.
Flow:
1)用户通过选择与客户相关的不同kpi创建细分模型,然后提交作业.
2)然后通过调用SOS REST和Python库提交客户细分.
3)检查REST调用中提供的输入,并在此基础上做出下一个决策.
4)然后对数据进行处理并准备由Tableau拾取.
客户事务和KPI准备需要初始数据负载.
存储操作
Work done:
•开发分层的数据模型,包括维度、事实和聚合.
•使用Talend, PLINK, Python, SOS和Berlin Scheduler构建ETL程序.
•编写shell脚本来管理数据提要, 他们使用Python脚本处理从Amazon S3到Redshift数据库的文件.
劳动调度程序
Work done:
•创建端到端数据模型.
•根据REST api开发数据操作的程序和api.
•在DB行中实现版本控制.
•建立AWS RDS PostgreSQL,将成本控制在参数之内,并获得高吞吐量.
•设置多个数据库之间的数据交互,使用PostgreSQL数据库链接到Redshift数据库以提取分析数据.
•严格使用PL/pgSQL, Python, PostgreSQL, Redshift来管理数据.
第九营销
Work done:
•创建数据模型并使用Redshift数据库设置环境.
•从多个来源提取和加载数据,如SFTP, Amazon S3, 谷歌分析API, 和IBM Silverpop.
•创建Python脚本来自动加载数据.
法国国防部
Work done:
实施POC期间推荐的新设计.
•在Oracle 10g和Oracle 9i数据库之间安装Oracle流,用于实时提取.
开发ETL流程的新逻辑,用于ODM中的近实时转换.
•设置批处理作业,定期将转换后的数据从ODM加载到CDM,用于Cognos报告.
•为Streams配置PeopleSoft HRMS表.
•调整当前系统的性能.
Eneco能量
Work done:
•在支持soa的架构中成功设计并实现了MVS系统.
•调整物理模型以提高ETL流程的性能.
•成功地将属于一个功能区域的所有对象分离到单独的数据库中,总计为2TB中的300GB.
•数据建模、物理设计和数据库管理.
•对最大的表进行性能调优,最多有150个分区,仅400GB.
•开发一种自动设置测试环境的机制.
荷兰政策管理制度
角色:数据库团队成员| DBA
完成工作:
•负责Oracle DBA和开发人员的所有工作, 从逻辑和物理设计, 政府, PL/SQL, 编写脚本,与前台沟通cr和用例.
•创建和修改DSS和OLTP物理数据模型.
•执行数据库管理—调整规模、备份恢复策略规划和实施.
•数据库设计和管理.
•数据库维护和发布活动.
•性能调整.
全球FieldID
http://varda.ag我设计了数据模型、架构流和构建数据管道. 使用的工具和技术, Python, SQL, PGSQL, PostgreSQL, Redshift, 汇合的卡夫卡, Apache气流, PostGIS, etc.
场的故事
http://varda.ag使用这些数据, 农民可以在使用化学品和化肥方面做出明智的决定,以实现最佳种植和增加收成. 我分析了数据,并为来自不同来源的数据建立了模型和管道.
我还负责转换数据并将其与不同的Global Boundary id进行映射,以便从GUI方便地访问.
商店圆
我致力于一个内部但非常重要的仪表板,业务所有者使用它来识别应用程序性能,然后向客户提出业务改进建议.
我为kpi构建了数据模型,用于使用Tableau Online创建仪表板和图表. 我使用SQL、DBT、Snowflake和Python构建了转换. 我开发了多个kpi图表,如MRR、ARR、流失率、APR、群组等.,仅举几例.
完美的商店
POC应该确定表现最好的商店,然后确定货架和产品位置, 竞品销售, rows, 以及架子的位置, etc. 然后,所有这些数据被用来建立和调整其他商店,以便实现类似的销售. 我使用Azure Stack构建数据管道, Azure砖, Azure数据湖, 和Azure数据工厂.
Skills
Languages
SQL,存储过程,PL/pgSQL, Python, Python 3,雪花
Paradigms
ETL, ETL实现 & 设计、商业智能、无服务器架构、数据科学、DevOps
Platforms
亚马逊网络服务(AWS), Linux, Azure, AWSλ, Unix, Amazon EC2, Windows, Talend, AIX, 砖, Docker, Apache卡夫卡, Shopify, Oracle
Storage
数据库即服务(DBaaS), PostgreSQL, Oracle PL / SQL, Redshift, 甲骨文Rdb, PL/SQL, JSON, 数据库体系结构, RDBMS, 数据管道, Databases, MySQL, 亚马逊极光, Oracle DBA, 关系数据库, Amazon S3 (AWS S3), Datadog, Oracle SQL, 数据库管理(DBA), PostGIS, 数据库建模, MongoDB
Other
数据仓库,数据仓库设计,技术架构,数据分析,写作 & Editing, 数据建模, 工程数据, 性能调优, CSV, Amazon RDS, 数据架构, 商业智能(BI)平台, 数据库优化, 数据分析, Data, ELT, 甲骨文流, Shell脚本, 虚拟化, APIs, Lambda函数, 数据可视化, BI报告, eCommerce, 地理空间数据, 后端开发, 探索性数据分析, MySQL DBA, 数据构建工具(dbt), DocumentDB, Uber H3, Azure数据工厂, 计算机科学, Azure砖, 微软Azure
框架
Spark
库/ api
PySpark,段.io
Tools
AWS部署, SOS柏林调度员, Toad, Erwin, Postman, 亚马逊QuickSight, 亚马逊监测, AWS IAM, Talend ETL, Apache气流, 融合, Jira, Grafana, 潜望镜数据, AWS Glue, Tableau, Terraform
Education
计算机科学硕士学位
印度巴特那,维纳耶卡传教大学
认证
Oracle数据库11g Admin - 1
甲骨文大学
如何使用Toptal
在数小时内,而不是数周或数月,我们的网络将为您直接匹配全球行业专家.
分享你的需求
选择你的才能
开始你的无风险人才试验
对顶尖人才的需求很大.
开始招聘