产品发布｜Aloudata AIR 国内首个 Data Fabric 逻辑数据平台

AloudataAIR作为国内首个DataFabric逻辑数据平台，通过自研的数据虚拟化技术，轻松实现多源异构数据的集成整合和自适应加速，为DataFabric数据架构理念在国内的实践落地开辟了清晰的路径。

传统“搭湖建仓”遇上数据管理“新挑战”

得益于互联网和移动互联网的发展，以及数字化设备的普及，企业现在可以获取到更丰富的数据，不仅包括用户的交易结果，还包括他们的行为数据，甚至是IoT设备生成的数据。随着SaaS应用的普及，我们还能够接触到更多种类的企业数据。

数据量的增加和数据类型的丰富为我们打开了新的想象空间，使得企业数字化应用的场景变得更加多样化，企业内部各种职能对数据的需求也随之激增。这服务器托管网给我们的数据管理带来了新的挑战：如何确保企业中的每个人都能及时获取到正确的数据，以支持他们的业务决策，同时如何保证这些数据的有序、安全和合规流通。

在过去，为了让用户更好地利用和处理这些数据，我们通常会选择搭建数据湖和数据仓库，将所有数据物理集中起来。随着数据量、用数需求和用数人数持续激增，数据架构的复杂度和组织架构的复杂度对物理集中的方式带来多方面的挑战。

一方面，在传统的湖仓架构下，企业需依赖大量的ETL 工作以满足用数需求和实现数据管理，但这一过程耗时耗力。即使数据团队投入巨大努力去满足需求，也难以获得业务部门的认可和好评。因此，尽管建立了湖、仓，甚至数据中台，但我们在数据响应效率和业务满意度方面仍未见明显改善。

另一方面，建立了数据湖和数据仓库后，需要将业务数据从业务数据库迁移到这些平台，随后由于各种性能问题，还需要将数据进一步迁移到不同类型的数据集市，导致了多次不必要的数据复制、计算和存储，给企业带来了巨大的成本压力。同时，由于合规和组织结构的复杂性，企业实际上并不能将所有数据集中到单一的数据湖或数据仓库中，数据孤岛依然广泛存在。

DataFabric 理念下的全新视角

面对这些挑战，近几年兴起了一种全新的数据管理理念——DataFabric。

简单来说，DataFabric为我们提供了一个框架，让人与数据之间的交互更为高效。它的核心思想是，企业不再需要像过去那样将所有数据集中存放在一个物理的数据湖或数据仓库中。DataFabric能够管理不同位置、不同格式的数据，并通过逻辑集中的方式进行组织，使用户在需要时能够快速、准确地获取到所需数据。

那么，DataFabric能为我们带来什么？

首先，它极大地提升了工作效率。业务团队不再依赖ETL团队，可以直接访问和使用数据。其次，由于DataFabric采用逻辑化的集中方式，它减少了大量不必要的数据搬运、存储和处理，从而显著降低了成本。最后，DataFabric解决了由于合规、组织架构等原因导致的数据无服务器托管网法集中的问题。通过逻辑化集中的方式，它还允许我们在一个统一平台上进行数据治理和控制，确保数据的安全、合规和可控流通。

事实上，Aloudata 团队并非是在接触DataFabric理念之后才开始开发AloudataAIR这个平台的。Aloudata 许多团队成员自己就曾是庞大ETL团队中的一员，切身体会到传统 ETL 数据工程之痛，进而提出 NoETL 的主张，希望通过ETL的自动化，使整个数据开发和管理过程变得更加高效和敏捷。最终发现，这种思路与DataFabric理念不谋而合。

AloudataAIR：极致轻盈的数据交付

AIR的寓意是“极致轻盈的数据交付”，它的名字缘由是：

• A-Adaptive自适应
• I-Integration集成
• R-Resilience弹性

AloudataAIR的核心架构包含三个层次：首先是数据连接层，通过这一层可以轻松地将企业中所有的数据逻辑连接起来，无论其物理位置和数据格式如何，让用户能够快速访问企业内的全域数据；其次是虚拟化层，一旦数据被连接，用户就可以通过自动化的链路编排和自适应加速在这一层进行跨数据源的数据整合，满足业务分析的需求；第三是消费层，提供了各种标准化接口，使用户可以在自己熟悉和喜欢的工具上进行数据分析和应用。

此外，AloudataAIR还提供了数据资产目录与数据治理层。数据管理员可以在这里集中设置数据的安全和合规访问策略，而业务人员则可以在数据目录中快速找到并理解他们需要的数据，并将其连接到自己喜欢的工具中进行分析和使用。

AloudataAIR核心优势特性主要有六点：

• 多源异构的数据集成：支持50种不同的数据连接方式，包括传统数据库、数据湖、数据仓库、各类API服务和应用，以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。
• 逻辑化数据整合：用户不需要关注底层技术细节，可以通过SQL语言去表达和定义需求，或通过拖拽式界面来实现数据准备。AloudataAIR支持跨源、多级逻辑视图定义，大大简化了各种复杂场景下的数据整合工作。
• 自适应数据加速：内置的MPP引擎可用于提高某些高性能场景的数据源查询性能。此外，自适应物化加速和智能下推功能，确保在大规模数据量下依然能实现秒级的交互式响应速度。
• 集中数据治理与控制：管理人员可以在AloudataAIR中集中设置安全和合规的访问策略，包括细致的访问控制和对敏感数据的动态脱敏处理，确保数据的安全性。
• 统一的数据资产目录：提供统一的数据资产目录，它不仅有技术语言描述，还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据，甚至系统会根据用户角色和需求主动推荐相关数据。
• 标准开放的数据服务：用户找到所需数据后，可以通过标准化的数据服务将这些数据连接到各种工具上，无论是用于可视化分析的工具，还是更高级的数据科学或AI工具，用户都可以在自己熟悉和喜爱的环境中进行工作。
  

三大引擎提供灵活的数据集成、管理、应用的解决方案

AloudataAIR能够实现这样的特性，主要依赖于其背后的三大核心技术能力，这些能力构成了产品的支柱。

1. 主动元数据引擎：一旦数据被连接，它就能实时主动采集数据和相关信息。这不仅包括数据本身的特性，还包括数据服务能力和用户的数据使用行为。这样的实时收集，为我们提供了一个完整的数据和相关信息的集合。
2. AI增强的策略引擎：帮助自动化数据编排、分类分级打标，以及数据推荐等一系列与数据相关的业务活动。这种自动化能力大大提高了数据处理的效率和智能化水平。
3. 数据虚拟化引擎：作为第三个核心引擎，它主要承担两类任务。第一类是高效执行设定的物化操作；第二类任务是，当用户进行数据查询时，它能够协调各个数据源，选择最优的执行策略，以最快的速度提供数据，确保了数据操作的高效执行。

这三大核心技术能力是AloudataAIR的基石，并在持续不断的演进中，以适应不断变化的数据管理需求。

因此，AloudataAIR不仅在提高效率、降低成本方面带来了显著改变，也能在工作方式和团队协作方面带来积极的影响。其价值核心主要有三点：

• 提高交付效率：由于大量工作不再依赖人工ETL作业，业务人员实现了自助式数据准备，数据的交付效率得到了极大的提升。过去可能需要几周甚至更长时间的ETL排期，现在可能仅需一天、几小时，甚至几分钟就能完成，效率提升至少10倍以上。
• 显著节约成本：AloudataAIR的逻辑化集中和自动化编排减少了大量不必要的同步、存储和计算的工作，结合智能、灵活的物化视图生命周期管理，至少可以节约50%以上的存算成本。
• 减轻ETL团队负担：在过去，ETL团队常常因业务需求而压力山大。如今，许多业务需求可以由业务团队自助满足，这不仅使业务团队满意，也使ETL团队的工作量大幅减少。ETL工程师只需要专注于最核心的数据资产，其数据开发工作量至少减少了70%。

由于每个企业的数字化阶段可能都不相同，当以上价值映射到每个企业的具体场景时，我们可以看到AloudataAIR有几种典型的应用场景和架构方案：

1. 敏捷数据集成解决方案。对于还没有建设统一数仓或数据湖的企业，可能其积累了大量的业务数据，也需要挖掘数据价值以实现数字化转型，但同时他们可能对建立大型数据仓库和数据中台有所顾虑，担心建设和维护成本过高和投资回报周期过长，或者担心缺乏专业的数据建模团队。AloudataAIR 可以帮助这些企业快速实现敏捷的数据基础层建设，通过构建逻辑数仓快速完成全域数据的逻辑集成与准备，以低成本启动他们的数字化转型之路。
2. 跨平台数据管理解决方案。对于已经有一定数字化基础的企业，可能已经建立了数据湖、数据仓库甚至是复杂的数据分析机制。那大家可能会有疑问：是否还需要DataFabric这样的方案？实际上，我们有许多这样的客户。因为尽管数据已经集中存储，但由于业务场景的需要，他们仍需通过复杂的步骤将数据进行加工并同步到其他地方以供使用，甚至还有大量数据因为种种原因不能集中到湖、仓之中。AloudataAIR可以帮助这些企业连接包括湖、仓在内的各类数据源，形成统一的数据服务平台，实现跨平台的数据管理，使业务团队能在一个统一的数据平面上查找、理解和使用数据，同时简化了数据架构的复杂性。同时，传统的跨平台数据治理和安全管控更是一件费时费力的事情，有了AloudataAIR构建的统一数据平台，数据资产团队可以方便地实现集中的安全管控。
3. 多云和混合云数据管理方案。第三种是更加复杂的应用场景，对于分布在多个地区或拥有多个子公司的大型企业，往往在混合多云的环境中建有多个独立的湖、仓，物理集中所有数据到一个数据仓库以实现全域数据的统一消费是不现实的。通过AloudataAIR，这些企业可以在不同的地区或业务单位中部署AIR产品，然后在集团或中心层面进行整合，形成跨地区、跨业务单位的逻辑系统和管控。这样做解决了跨地区的合规性、同步成本、时效性以及组织层面的数据权责等问题。

因此可以说，AloudataAIR能够满足不同类型企业在数字化转型过程中的各种需求，无论是在数据集成、管理还是应用层面，都提供了灵活而高效的解决方案。

AloudataAIR 在招商银行的实践

在具体实践中，AloudataAIR 也已经取得了显著成效。招商银行作为一家领先的股份制银行，在数据平台基础设施和数据体系建设方面有着很大的投入，也采纳和发展了很多先进的数据管理工具与方法。

尽管招商银行已经将大量数据集中存储，但仍然面临着之前典型的问题。例如，根据不同应用场景的需要，数据需要从数据湖和数据仓库中导出到各种分析工具中去。从IT的角度看，这似乎是一个正常的流程，但从业务的角度来看，这就意味着他们的很多需求还是要经历漫长的等待，因为IT需要处理大量的数据源和复杂的数据结构。

在使用AloudataAIR构建统一的敏捷数据使用平台后，招商银行将所有数据源连接到了这一敏捷用数平台上，业务团队可以在此平台上统一找到所需数据，并进行相关工作。实际应用中，这为业务带来了以下价值：

1. 简化数据访问。业务团队不再需要四处寻找所需数据，而是可以在一个地方统一查找和理解数据。
2. 提高数据处理效率。通过逻辑视图定义和自动化编排，业务团队可以更容易地处理和准备数据，而无需关注物理层面的链路编排等技术细节。目前每月由业务团队自助生成的数据已占到总数据的70%以上，ETL压力显著降低。
3. 降低成本。动态集成和自动化编排减少了不必要的数据复制、计算和存储，至少节约了 50%以上的存算成本。

总的来说，AloudataAIR逻辑数据平台支持异构数据的逻辑集成、整合与查询，通过自适应物化加速和自动回收技术，能实现秒级查询响应并节省50%以上的存算成本。

恰如其名，Aloudata 研发AloudataAIR 的初衷正是希望让每个企业、每个人都能随时享受到新鲜的数据“空气”。如果您想要了解更多AloudataAIR 相关信息，可直接访问官网，期待与您交流。

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net

相关推荐: 实时获取淘宝商品评论数据：价值、挑战与解决方案

一、引言 随着电商行业的迅猛发展，用户评论在电商决策中的影响力逐渐增强。作为中国电商市场的领军者，淘宝提供了商品评论API，使得第三方开发者可以轻松获取淘宝商品评论数据。本文将深入探讨淘宝商品评论API在电商行业中的重要性，以及如何通过API实现实时数据获取。…