Mikhail Fishzon，美国新墨西哥州圣达菲的开发者
Mikhail is available for hire
Hire Mikhail

Mikhail Fishzon

Verified Expert  in Engineering

数据工程师和开发人员

Location
圣达菲，新墨西哥州，美国
Toptal Member Since
June 22, 2022

米哈伊尔是谷歌和Lyft的校友，也是一名数据工程师，喜欢将现实生活中的商业问题转化为可扩展的数据平台. 在过去的二十年里, 他帮助公司进行架构设计, build, 维护性能优化的数据库和数据管道. Mikhail精通数据库优化技术，他已经将慢速运行的查询性能提高了99%.

AnalyticsData ReportingData AnalyticsData MigrationData WarehousingData EngineeringIntegrationData Warehouse DesignAmazon RDSData ModelingData ProtectionGDPRSQL数据库管理系统(DBMS)RDBMSDesign PatternAmazon AuroraGreenplumSSISPerlDTSCode Refactoring网上交易处理

Portfolio

Tovuti
亚马逊Aurora, PHP, MySQL，数据架构，数据库设计...
Pirate Ship
数据库管理，数据库性能，MySQL...
BetCloud Pty Ltd
PostgreSQL, SQL，谷歌云平台(GCP)，解决方案架构...

Experience

查询优化- 20年SQL - 20 yearsETL - 18 years数据仓库——17年PostgreSQL - 14 yearsPython - 4 yearsSnowflake - 2 yearsAWS Glue - 2 years

Availability

Full-time

Preferred Environment

SQL, PostgreSQL, MySQL, Pentaho, 亚马逊网络服务(AWS), Amazon RDS, Redshift, Database Architecture, Python, Google Cloud, Amazon Aurora, 谷歌云平台(GCP)

The most amazing...

...我一直在做的是一个数据库设计，它可以支持所有可能的运输机构票价和调度商业模式.

Work Experience

数据架构师和工程师

2022 - PRESENT
Tovuti
  • 从不断发展的Aurora MySQL数据库开始设计和实现规范化的数据模型. Completed MVP, including all models, self-updating catalog, ETL and documentation, 以及基于雪花的目标数据库.
  • 优化了运行缓慢的查询，以确保满足响应sla.
  • 带头设计和实现DevOps数据库, 启用客户端配置的自动化. 该项目包括范围界定, data modeling, database-as-code解决方案, Python-based API, 以及合成数据生成程序.
  • 就数据相关技术、设计模式和数据库架构选择提供建议.
Technologies: 亚马逊Aurora, PHP, MySQL，数据架构，数据库设计, Query Optimization, Data Engineering, Data Modeling, Data Synthesis, 数据库管理系统(DBMS), RDBMS, Serverless架构, SQL, Database Architecture, Database Optimization, 亚马逊网络服务(AWS), Amazon RDS, OLTP, Design Patterns, Data Protection, Business Analysis, Database Schema Design, Reporting, Data Reporting, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Data Management, 最小可行产品(MVP), Python 3, Python, Zapier, Microservices, Snowflake, AWS Glue, snowpark, eCommerce

Senior Database Expert

2023 - 2023
Pirate Ship
  • 协助客户将本地mySQL数据库迁移到Amazon Aurora for mySQL.
  • 建议客户配置适合客户端数据库负载的Aurora数据库引擎.
  • 分析和记录在迁移到Aurora之前的几个月里遗留MySQL问题上发生的性能问题和中断.
Technologies: 数据库管理，数据库性能，MySQL, 亚马逊网络服务(AWS), Data Engineering, MySQL性能调优, Amazon RDS, Amazon Aurora, eCommerce

PostgreSQL数据库管理员

2023 - 2023
BetCloud Pty Ltd
  • 分析并解决了GCP PostgreSQL配置问题，这些问题允许最小化复制延迟并减少对读副本的取消查询.
  • 提出、设计、记录和测试公司的第一个数据库灾难恢复计划.
  • 分析GCP PostgreSQL性能指标，并帮助客户选择优化的数据库引擎配置设置，从而提高性能并降低资源利用率.
技术:PostgreSQL, SQL，谷歌云平台(GCP)，解决方案架构, Database Performance

Database Administrator

2022 - 2023
VIDA
  • 优化了前20个运行时间最长的MySQL查询，性能提高了40倍.
  • 开发数据清除机制，解决本地复制MySQL环境中磁盘空间不足的问题. 生成了一个出色的进程，可以处理将2TB以上的表复制到只读实例.
  • 构建了多个基于批处理的解决方案，用于在复制环境中处理大量I/O数据库任务.
Technologies: MySQL, PostgreSQL, 数据库管理(DBA), SQL, Query Optimization, Database Replication, Database Performance, MySQL性能调优

Data Architect

2022 - 2022
US Service Animals
  • 试验了一个涉及事务的限时数据发现项目, analytical, 以及客户数据平台的转型方面.
  • 揭示了事务模型和数据收集逻辑之间一组预先存在的概念性不一致问题, 导致下游分析层中的数据质量和沿袭问题.
  • 生成了一套体系结构, infrastructure, tooling, 以及详细介绍跨平台和数据收集业务规则的重要更改的方法建议.
  • 记录并向听众提出调查结果和建议, 比如c级高管、产品和技术团队.
技术:数据库设计, SQL, Database Schema Design, Reporting, 商业智能(BI), Integration, Amazon S3 (AWS S3), 客户关系管理(CRM), Tableau, Data Analytics, Amazon Aurora, MySQL, PostgreSQL, Data Architecture, Business Analysis, Architecture, Roadmaps, Data Management, 最小可行产品(MVP), Microservices, Solution Architecture, Database Performance, eCommerce

数据架构师顾问

2019 - 2021
Covax Data
  • 重新架构了公司的主要PostgreSQL OLTP数据库.
  • 设计并实现了OLTP数据访问层的主要部分.
  • 实现了基于postgresql的临时搜索和记录分页功能.
  • Proposed, configured, 并使用pgBackRest测试PostgreSQL高可用性基础架构, including backup, streaming replication, 和专用备份或Wal存储库.
Technologies: OLTP, Data Warehousing, Data Modeling, 高可用性集群, SQL, Data Governance, Data Engineering, ETL, Data Analytics, Data Analysis, Database Architecture, PostgreSQL, Database Optimization, Query Optimization, 亚马逊网络服务(AWS), Amazon RDS, Amazon EC2, Data Architecture, Data Warehouse Design, Design Patterns, Database Design, Data Protection, 数据库管理系统(DBMS), RDBMS, 商业智能(BI), Business Analysis, Database Schema Design, Reporting, PL/SQL, Data Migration, Database Migration, GDPR, Data Pipelines, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Roadmaps, Data Management, Microservices, Solution Architecture, Database Performance

PostgreSQL Advisor

2019 - 2020
Cherre
  • 向客户提供有关PostgreSQL引擎优化方面的建议, storage, 以及长时间运行的查询.
  • 提供了关于索引和权限策略的建议，以及所建议的优化的基准测试.
  • 评估和重构SQL代码库，使其与PostgreSQL 10/11升级兼容.
技术:谷歌云平台(GCP), PostgreSQL, Query Optimization, Database Optimization, Data Engineering, SQL, Database Architecture, REST, Data Architecture, Google Cloud, 数据库管理系统(DBMS), RDBMS, Reporting, Integration, Data Reporting, Databases, Relational Databases, 关系型数据库设计, Architecture, Roadmaps, BigQuery, Google BigQuery, Real Estate, Microservices, Solution Architecture, Database Performance

Senior Data Engineer

2018 - 2019
Lyft
  • 管理和扩展内部Python ETL框架, 包括MySQL的摄取, geocoding scripts, 每晚检查和计数, POS终端数据复制脚本.
  • 在Python中重新实现数据提取脚本, allowing a single, generic, 以及基于配置的提取脚本来处理所有关系数据源, 替换许多遗留脚本.
  • 处理了Airflow和Hive中的合并和重复数据删除进程, 允许数据科学检索数据进行时间点分析.
  • 通过代码重构优化了遗留的Python ETL过程, query optimization, 资源管理的改进. 将数据管道执行时间从12个减少到3个.5 hours.
  • 进行红移簇性能分析, code optimization, benchmarking, 以及结果的记录. 减少了集群工作负载和存储大小，提高了查询性能.
  • 配置和生产化的基于binlog复制的ETL，允许完整的更改数据捕获和版本控制.
Technologies: MySQL, Redshift, 亚马逊红移谱, Python, Apache Hive, Amazon DynamoDB, Stitch Data, Amazon S3 (AWS S3), REST, Apache Airflow, SQL, Data Governance, Data Engineering, Big Data, ETL, ETL Tools, Data Analytics, Data Wrangling, Data Analysis, Database Architecture, PostgreSQL, Presto, Amazon Athena, Database Optimization, Query Optimization, 亚马逊网络服务(AWS), Data Warehousing, Distributed Databases, Amazon RDS, Amazon EC2, OLTP, Data Modeling, 高可用性集群, Data Architecture, Data Warehouse Design, Database Design, Data Protection, 数据库管理系统(DBMS), RDBMS, 商业智能(BI), OLAP, Business Analysis, Database Schema Design, Reporting, Integration, PL/SQL, Data Migration, Database Migration, Analytics, Data Visualization, Data Reporting, GDPR, Data Pipelines, ELT, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Python 3, Big Data Architecture, Roadmaps, Data Lakes, Data Management, Data Build Tool (dbt), NoSQL, Zapier, Data Integration, Microservices, Solution Architecture, Database Performance, Looker, eCommerce

首席数据架构师

2016 - 2018
Blocpower
  • Spearheaded the design, architecture, 并从头开始实施BlocPower数据平台, 包括交易和分析处理的所有方面, storage, and data access layer.
  • 已处理的需求收集, discovery, 分析公司数据漏斗中现有的和新的数据源.
  • 实现了基于配置的ETL模型和框架, data cleansing, 和使用Pentaho数据集成的确认例程, PL/pgSQL, and shell scripting. 用于市政数据的摄取和处理.
  • 开发了一种评分算法，利用公共数据对给定城市的每座建筑进行排名，以确定改造目标和业务发展.
  • 对现有市场进行分析和结构调整, sales, 改进工作流管理流程. 优化了Salesforce工作流、对象结构和数据完整性实践.
技术:Pentaho数据集成(Kettle), PostgreSQL, Amazon RDS, Amazon S3 (AWS S3), Data Architecture, Data Engineering, Database Design, Data Modeling, Data Analytics, 商业智能(BI), OLTP, OLAP, Business Analysis, SQL, Database Architecture, Database Optimization, ETL, Query Optimization, 亚马逊网络服务(AWS), Data Warehousing, Distributed Databases, Amazon EC2, REST, JasperReports, Data Warehouse Design, Data Governance, Data Protection, 数据库管理系统(DBMS), RDBMS, Reporting, Integration, 客户关系管理(CRM), Analytics, Data Visualization, Data Reporting, Data Pipelines, ELT, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Python 3, Big Data Architecture, Roadmaps, Data Lakes, Data Management, 最小可行产品(MVP), Python, Zapier, Geospatial Data, Data Integration, Microservices, Solution Architecture, Database Performance, Salesforce, eCommerce

数据架构师和工程师

2015 - 2016
Bytemark
  • 使用Pentaho data Integration设计并实现了Bytemark的第一个数据仓库和分析平台, 包括数据建模, ETL, 报告仪表板.
  • 作为Bytemark建筑师团队的一员，从头开始重新设计移动票务平台. 监督数据建模、数据访问层和转换脚本实现.
  • 设计了一个灵活的OLTP数据模型，用于处理与行程相关的不同运输代理业务规则, fare structures, and scheduling.
技术:亚马逊RDS, MySQL, Pentaho, Data Architecture, ETL, Query Optimization, Data Warehousing, SQL, Database Design, Data Engineering, Big Data, ETL Tools, Data Analytics, Data Wrangling, Data Analysis, Database Architecture, PostgreSQL, Database Optimization, 亚马逊网络服务(AWS), Amazon EC2, Amazon S3 (AWS S3), OLTP, Data Modeling, JasperReports, Data Warehouse Design, Design Patterns, 数据库管理系统(DBMS), RDBMS, 商业智能(BI), OLAP, Business Analysis, Reporting, Data Migration, Database Migration, Analytics, Data Visualization, Data Reporting, GDPR, Data Pipelines, ELT, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Roadmaps, Financial Services, Data Management, Geospatial Data, Data Integration, Microservices, Solution Architecture, Database Performance, MySQL性能调优, eCommerce

数据仓库-高级数据工程师

2014 - 2015
OnDeck Capital
  • 设计并建立了一个营销活动生成程序，允许OnDeck直接联系数百万潜在客户. 将邮寄周期从18天减少到6天，改善了响应率和客户跟踪.
  • 担任中央OLTP数据库设计和优化的主要贡献者，该数据库用作屡获殊荣的OnDeck Online (ODO)信用决策引擎的后端. 为公司2014年12月的首次公开募股做出贡献.
  • 开发了数据摄取脚本，以促进数据从不同的业务系统转移到新建的OLTP环境中.
  • 介绍了数据使用者的最佳实践、编码风格指南和其他公司数据标准.
  • 设计并实现了一个业务系统报表生成流程. 提供企业数据通道的聚合视图——从潜在客户到已关闭的贷款.
Technologies: Greenplum, PostgreSQL, SQL, ETL, Database Optimization, Query Optimization, Pentaho数据集成(Kettle), Data Engineering, Python, Database Architecture, 亚马逊网络服务(AWS), Data Analytics, Data Warehousing, Pentaho, Amazon RDS, Amazon EC2, Amazon S3 (AWS S3), OLTP, Data Modeling, Data Architecture, Data Warehouse Design, Design Patterns, Database Design, Data Governance, Data Protection, 数据库管理系统(DBMS), RDBMS, 商业智能(BI), OLAP, Business Analysis, Integration, 客户关系管理(CRM), Data Migration, Database Migration, Analytics, Data Visualization, Data Reporting, Data Pipelines, ELT, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Python 3, Big Data Architecture, Roadmaps, Financial Services, Data Management, Data Integration, Solution Architecture, Database Performance, Salesforce, Microsoft Excel, eCommerce

Data Engineer

2011 - 2014
Google
  • 开发和扩展动态ETL模型(DBLoader)，旨在将Oracle Coherence中的内存数据网格中的数据推送到客户选择的关系数据库中. 支持PostgreSQL, Greenplum, SQL Server 2005/2008和Db2.
  • 监督持续的数据仓库规范化和非规范化工作，以平衡一致性, performance, 以及由于不断引入新的业务规则和数据实体以及不断增加的数据量而导致的访问复杂性.
  • 优化和调优了长时间运行的分析查询和ETL更新流程. 为最大的公司客户减少了80%的数据登陆时间.
  • 为近期收购的Meebo (Google+)等公司提供数据库支持, Nik Software (Google Photos)和Channel Intelligence (Google Shopping), 和DoubleClick (Google AdSense).
  • 为新收购的公司编写数据库设计文档和程序. 创建了剧本和故障排除手册.
  • 自动安装SQL Server, replication, 以及使用PowerShell和T-SQL脚本的数据集成任务.
Technologies: Perl, SQL Server DBA, Greenplum, IBM Db2, Windows PowerShell, ETL, JasperReports, Data Warehousing, JVM, Oracle Coherence, SQL, Data Engineering, Big Data, Data Analytics, Data Analysis, Database Architecture, PostgreSQL, Database Optimization, Query Optimization, 亚马逊网络服务(AWS), Distributed Databases, Amazon RDS, Microsoft SQL Server, Amazon EC2, Amazon S3 (AWS S3), Data Modeling, 高可用性集群, Data Architecture, Data Warehouse Design, T-SQL (Transact-SQL), Database Design, Data Governance, Data Protection, 数据库管理系统(DBMS), RDBMS, 商业智能(BI), OLAP, Business Analysis, Reporting, Integration, Analytics, Data Reporting, Data Pipelines, Oracle, Oracle PL/SQL, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Roadmaps, Financial Services, Data Management, NoSQL, Data Integration, Solution Architecture, Database Performance

DBA和数据工程师顾问

2008 - 2010
American Express
  • Led, architected, 并积极参与了美国运通全球反洗钱调查跟踪系统(GAITS)从一开始到几次主要发布的全面改革.
  • 完成GAITS OLTP和OLAP数据模型的多次数据重构迭代，以满足银行保密要求, 爱国者法案数据收集, 以及FinCEN可疑活动备案要求.
  • 在Perl和SQL Server中实现数据管道，将AML调查数据和支持文档摄取到GAITS事务数据库中.
  • 领导设计和实现了第一个OLTP和OLAP数据库以及Amex FI单元的应用服务器. 这包括服务器硬件和软件的安装和配置以及RAID配置和安全.
  • 在Perl、SQL Server和SSIS中实现数据仓库ETL脚本. 添加了下游特定于受众的数据集市, 以及报告生成和发布机制, 使审计准备过程减少了90%.
Technologies: OLTP, Data Warehouse Design, SQL Server DBA, T-SQL (Transact-SQL), SSIS Custom Components, ETL, Database Architecture, Market Insights, Finance, 反洗钱(AML), 商业智能(BI), Crystal Reports, SQL, Database Optimization, Query Optimization, Data Analytics, Data Warehousing, Microsoft SQL Server, Perl, Data Modeling, Data Architecture, Windows PowerShell, Data Engineering, Database Design, Data Governance, Data Protection, 数据库管理系统(DBMS), RDBMS, OLAP, Business Analysis, Reporting, Integration, Data Migration, Database Migration, Analytics, Data Visualization, Data Reporting, Data Pipelines, Oracle, Oracle PL/SQL, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Architecture, Data Management, Oracle8i, Data Integration, Solution Architecture, Database Performance, Microsoft Excel

Data Engineer

1999 - 2006
大都会犹太卫生系统
  • 用Perl和MSSQL Server开发了索赔汇款数据集成脚本, 允许将汇出的索赔线合并到集中的索赔数据库中. 该软件消除了以前需要手工汇款的过程.
  • 在MSSQL DTS中应用药房数据摄取流程. 实现包括一个保险成员匹配算法，以帮助手写处理处方, 将成员不匹配的数量从65%减少到5%.
  • 实施养老院供应清单数据模型, ETL, 以及MSSQL Server和Crystal Reports中的报表生成和交付机制. 该解决方案提供了以前不支持的供应使用、频率和支出分析.
Technologies: SQL, Microsoft SQL Server, SQL Server DBA, Perl, ETL, Data, Data Analysis, Reporting, Database Optimization, Query Optimization, Analytics, Data Warehousing, DTS, SQL Server集成服务(SSIS), Healthcare Services, Healthcare, Data Reporting, Oracle, Oracle PL/SQL, 数据库管理(DBA), Databases, Relational Databases, 关系型数据库设计, Data Integration, Database Performance, Microsoft Excel

内存网格数据提取到报表数据库的ETL模型

http://www.txvia.com
Txvia是一家电子支付领域的公司，它开发了一个图解IDE (Txvia IDE)和一组可配置的电子支付模型. TxVia IDE允许用户根据客户的业务规则和工作流程创建电子支付平台. 记录系统是一个分布式的内存数据网格, 我的工作是构建一个ETL解决方案，将平台数据加载到客户选择的关系数据库中.

我发展并扩展了一种动态, 基于配置的ETL模型(DBLoader)，它在TxVia IDE的上下文中生成数据管道代码. 它使用特定于客户端的电子支付模型为每个即将发布的版本生成表映射.

这个ETL模型允许一个人跟踪特定于客户端的源系统更改, improve ETL mechanics, 并同时管理30多个ETL流程实例.

数据库:PostgreSQL (EC2)， Greenplum (EC2)， SQL Server(本地)，Db2(本地)
公司:TxVia(被Google收购)

运输机构业务规则的统一数据模型

Bytemark是一家为全球代理商提供支付即服务解决方案的运输收费公司.

使用超类型-子类型模式设计OLTP数据模型，并通过数据访问方法完成，支持所有可能的公交机构票价和调度业务规则和模型.

统一的数据模型处理成本高昂的客户机实现, 提高查询性能, 并提供了云基础设施成本降低50%的方案.

数据库:Amazon RDS for MySQL
公司:Bytemark(被Siemens AG收购)

长时间运行ETL进程的优化

Motivate International是美国最大的共享单车公司.

我通过代码重构优化了遗留的Python ETL过程, query optimization, 改善资源管理. 我还将数据管道的执行时间从12个减少到3个.5 hours.

数据库:MySQL的Amazon RDS, Amazon Redshift
公司:Motivate International(被Lyft收购)
2004 - 2006

数字与平面设计课程

帕森斯新设计学院-美国纽约

1995 - 1999

计算机科学学士学位

宾汉姆顿大学-宾汉姆顿，纽约州，美国

2022年12月至今

完成Python训练营

Udemy

Libraries/APIs

JasperReports

Tools

亚马逊红移谱, MySQL性能调优, Stitch Data, Apache Airflow, Pentaho数据集成(Kettle), Amazon Athena, Crystal Reports, DTS, AWS Glue, Microsoft Excel, Looker, Oracle Coherence, Tableau, BigQuery, Zapier

Languages

SQL, Python, Perl, T-SQL (Transact-SQL)， Python 3, Snowflake, PHP

Platforms

亚马逊网络服务(AWS)、Pentaho、Amazon EC2、谷歌云平台(GCP)、Oracle、Salesforce、JVM

Paradigms

ETL, Design Patterns, Database Design, 商业智能(BI), Microservices, REST, OLAP, Serverless架构

Storage

Database Architecture, PostgreSQL, Distributed Databases, MySQL, Greenplum, Microsoft SQL Server, Amazon S3 (AWS S3), OLTP, SQL Server DBA, Amazon Aurora, PL/SQL, 数据库管理系统(DBMS), RDBMS, Database Migration, SQL Server集成服务(SSIS), Data Pipelines, 数据库管理(DBA), Databases, Relational Databases, Database Replication, Data Integration, Database Performance, Redshift, Google Cloud, Oracle PL/SQL, Data Lakes, NoSQL, IBM Db2, Apache Hive, Amazon DynamoDB

Frameworks

Windows PowerShell，快

Industry Expertise

Healthcare

Other

Query Optimization, Database Optimization, Data Analytics, Data Warehousing, Amazon RDS, Data Modeling, 高可用性集群, Data Architecture, Data Warehouse Design, Data Engineering, ETL Tools, GDPR, Data Protection, Business Analysis, Market Insights, Database Schema Design, Reporting, Integration, Data Migration, Analytics, Data Reporting, ELT, 关系型数据库设计, Architecture, Roadmaps, Data Management, Finance, 最小可行产品(MVP), Solution Architecture, eCommerce, SSIS Custom Components, Data Governance, Big Data, Data Wrangling, Data Analysis, Data Synthesis, 反洗钱(AML), 客户关系管理(CRM), Healthcare Services, Data, Data Visualization, Big Data Architecture, Financial Services, Oracle8i, Geospatial Data, snowpark, Data Build Tool (dbt), Google BigQuery, Real Estate

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

Choose your talent

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring