企业数据现代化：Hadoop、Netezza 与数据平台转型

数据环境现状

走进任何一家一线银行的数据环境，都会看到层层历史积累：大型机、2000年代购入的 Oracle 数据仓库、为满足监管报告而采购的 Netezza 一体机、分析团队搭建的 Hadoop 集群、SAS 工作负载、Tableau、SQL Server，以及不断扩大的 Azure 或 AWS 资源。在购入当时，每一层都是对某个问题的合理解答。

企业数据架构师的工作，不是用一个漂亮的平台替换全部系统，而是划定边界：哪些工作负载属于哪个平台，哪些平台具有战略意义，哪些属于战术用途，哪些已到生命周期末期。随后，同样重要的是， 落实这些边界 ——为每个新项目的平台选择提供咨询、审批和建议。

以 Hadoop 作为战略性数据落地区

Hadoop 是新型和非结构化工作负载的战略选择。读取时建模使我们无需先商定目标模式即可接收原始数据；HDFS 与 Hive 元数据存储为跨领域关联提供统一物理位置；开放生态系统（Spark、Hive、Impala、下游笔记本）让各分析团队获得所需灵活性，无需另建专用基础设施。

我们制定的架构规则很简单：如果新工作负载接收原始事件数据、执行跨领域关联，或服务于需要灵活计算能力的数据科学家，就优先选择 Hadoop。如果是针对严格建模的数据集市进行行级监管报告，则保留原平台。

让 Netezza 承担擅长的战术性工作

Netezza 无需被替换，而是需要停止承接不适合它的工作负载。它仍然非常擅长在 TB 级事实表上执行结构化、集合式、形态可预测的 SQL。监管数据集市、财务报告、风险汇总——这些都适合 Netezza，因此全部保留。

我们从 Netezza 移除的是原本就不该放在那里的工作负载：对原始事件流的临时探索性分析、本应在落地区完成的跨领域关联，以及把数据仓库当临时表使用的 ETL 暂存。移走这些任务后，Netezza 能更好地履行本职工作。

平台选型决策树

批准新项目的平台选择，需要可重复使用的决策树，而不是开会。我们使用的是：

• 是否针对已建模的数据集市进行监管报告？ → 现有数据仓库技术栈（Netezza 或 Oracle）。
• 是否接收模式灵活的原始事件数据？ → Hadoop 落地区。
• 是否为事务性工作负载？ → 业务数据库，而非数据仓库群。
• 是否为笔记本驱动的探索性分析？ → Hadoop，并通过联邦查询只读访问已建模的数据集市。
• 数据集是否是新的，使用方是否为云原生？ → 云数据平台路径，并审慎设计流回本地环境的单向数据流。

这棵决策树，加上每个项目前置的企业数据架构评审关卡，遏制了数据环境的无序扩张。决策树本身比它得出的技术选择更重要。

没有官僚作风的治理

数据治理常被诟病，因为它往往只提供政策而不提供实现手段。在一线银行真正有效的治理，是在发布政策的同时交付 工具与防护机制 ：真正保持最新的元数据目录、在摄取时应用的数据分类方案、自动生成而非人工维护的数据血缘，以及针对必然存在的例外情况设立明确的升级处理路径。

作为企业数据架构师，我们充当治理团队与交付团队之间的桥梁。治理团队制定规则；我们确保每次平台选择都体现这些规则。做对的项目更快，而非更慢——因为它们不必在六个月后重做数据层。

这对您的数据战略意味着什么

• 不要寻找唯一的万能平台。 应在两三个平台之间划定恰当的边界。
• 通过移除工作负载逐步退役，而非直接移除平台。 停止给平台分配不合适的任务，它自然就会缩小。
• 在开头进行架构评审，而不是结尾。 及早批准平台选择，成本比重建低十倍。
• 在摄取时建立血缘并进行分类。 事后补做，是数据环境中代价最高的一类技术债务。
• 云是目的地，不是截止日期。 迁移能够获益的工作负载，保留无法获益的部分。

正在重新思考您的数据环境？

SEYSO 曾为一线银行提供企业数据架构咨询——选择平台、淘汰重复系统、治理多平台数据环境。如果您面对的是不断膨胀的数据仓库技术栈、利用不足的 Hadoop 集群，或需要安排先后顺序的云数据迁移，我们期待与您交流。