MBA知识:什么是 ETL，为什么它很重要？（定义、用途和常见问题解答）

管理和整合数据可以帮助公司从整体上查看数据并将其应用于做出更明智的业务决策。最常见的数据整合方法之一是 ETL，这是一个三步过程，可从各种来源收集、清理各种数据类型并将其传输到单个存储库。如果您参与组织的数据管理或有兴趣了解有关数据整合的更多信息，了解 ETL 的流程和价值可能会有所帮助。

在本文中，我们解释了 ETL 是什么，解释了它对企业的重要性，研究了企业如何使用它，并讨论了 ETL 的软件集成。

什么是 ETL？
ETL 代表“提取、转换和加载”，是指将数据从源传输到本地或基于云的数据仓库的过程。这种类型的仓库是从组织内的各种来源收集的数据的存储。ETL 过程不仅将来自多个来源的数据集成到一个集中的存储库中，而且还允许不同的数据类型工作，并让专业人员从整体上查看它们。

缩写中指示的三个术语是该过程的三个阶段：

萃取
数据提取从孤立的系统中收集数据，这些系统是彼此独立工作的团队或部门。数据可能来自组织内的各种来源，因此它可能以多种格式到达。常见来源包括但不限于：

数据库
遗留系统
云系统
销售或营销应用程序
移动设备
分析工具
客户关系管理系统
提取后，数据最初保存在暂存区，该暂存区是数据源和目标仓库之间的中间存储空间。在那里，它被监控和分类。

转型
当前存储在暂存区的数据都是原始的。要将其转移到目标仓库，必须将所有内容转换为统一格式。该流程的这一阶段包括许多子流程，具体取决于您希望应用的规则，包括但不限于：

清理：清理过程可解决缺失值和不一致的问题。
标准化：标准化过程将格式化规则应用于数据集。
重复数据删除：重复数据删除意味着删除重复或冗余的数据。
验证：验证数据意味着标记异常并删除未使用的数据。
排序：排序过程根据数据的类型排列各种类型的数据。
正在加载
在 ETL 过程的最后阶段，数据被传输到仓库。它涉及将大量数据传输到单个目的地。这可以通过两种方式发生：

完全：完全加载，也称为破坏性加载，会删除存储库中的现有数据，并将其完全替换为新转换的数据。一些传入的负载可能已经存在于存储库中，但会与全新的数据一起重新加载。
增量：增量负载仅将新的、未更改的数据传输到存储库，而保留未更改且相关的现有数据。增量加载更快并保留历史记录。

为什么 ETL 对企业很重要？
今天的公司生成并依赖大量数据来做出有效的业务决策，ETL 为他们提供了一种简化的方式来管理、查看和使用这些数据，从而带来以下优势：

历史背景
历史背景意味着公司可以通过数据的镜头看到自己的演变。数据存储库不仅包括来自新实施系统的最新数据，还包括遗留数据——来自以前使用的系统的旧数据。这种新旧结合使公司能够比较过去和现在的数据，这可以帮助他们更好地了解市场趋势和客户需求等因素，进而为与营销和生产相关的决策提供信息。

综合观点
统一的观点意味着公司的所有数据集都可以在单个存储库中使用，包括来自多个来源和各种类型的数据。合并使可视化变得更容易，因为您可以在一个地方查看数据，从而促进分析和理解数据的过程。它还可以更快，因为它消除了与在不同数据库之间定位信息相关的延迟。

生产力和效率
使用专门的 ETL 软件可以提高生产力和效率，因为它允许用户自动化可重复的过程。也就是说，该软件允许公司通过耗时的手工编码、重新格式化或大量的技术技能将数据传输到存储库。相反，成员可以专注于为组织增加价值的其他任务。

企业如何使用 ETL？
以下是企业使用 ETL 的最常见方式：

仓储
数据仓库是来自多个来源的数据的存储库。仓库数据对决策者、项目经理、财务分析师、销售团队和营销专家很有用，他们可以将其用于确保产品符合标准、研究过去的项目和产品发布、分析财务趋势和制定销售策略等目的.

迁移到云端
云迁移是将数据和其他数字工具或资产从本地数据库传输到云基础架构的过程。维护数据和工作负载具有可扩展性且通常具有成本效益，因为公司可以购买云服务器空间而无需首先考虑现场空间限制，并且只需为其所需的服务器容量付费。云计算还可以简化 ETL，因为数据直接传输到云并在该基础架构内进行转换。

整合市场数据
ETL 软件可以让公司从各种来源收集和整合数据，这些数据从营销的角度来看是有用的，例如社交网络渠道、电子商务平台和移动应用程序。如果没有这样的软件，大量的客户交互可能难以跟踪，并且相关的洞察力将难以应用。有了它，营销人员可以结合其他数据来个性化和增强客户的用户体验。

ETL 的软件集成
软件集成是指不同软件应用程序能够同步的质量，允许用户将来自不同来源的数据汇集在一起，而不是让它们彼此孤立存在。ETL 工具允许从多个不同来源进行集成，以便公司可以更有效地查看和分析数据。以下是一些需要考虑的流行工具：

Adeptia Connect：此工具为 ETL 提供了一种自助服务方法，具有易于理解的界面，允许用户创建预配置的应用程序到应用程序和应用程序到数据库的数据集成连接，而对 IT 专家的依赖最小。
Singer：开源 ETL 工具，Singer 允许用户描述用于数据提取和数据加载的脚本如何相互通信，从而允许将数据从任何来源移动到任何目的地。
Stitch：针对中小型企业，Stitch 可以收集和移动来自 130 多个不同来源的数据，并将其路由到多个目的地。
Xplenty：这是一个为电子商务设计的基于云的数据集成解决方案，允许用户最小化或消除手动编码，并提供反向 ETL 功能，允许将数据从仓库移动到第三方系统。