如何抑制数据结构的复杂性力量

一个建筑设计师会精心设计承重墙、煤气管道、电缆和其他结构组件的布局，但技术架构师在设计数据体系架构时却不会这样精细。大多数公司依赖于一个由不同年龄段的系统组成的大杂烩，然后每隔几年替换其中一些系统，或者当发生并购时与其他系统进行互联互通。

不像闪闪发光的新摩天大楼，我们的技术框架更像是摇摇欲坠的旧城堡，这里有一个扩展，那里有一个辅助接口，就像一座数据体系结构复杂的歌门鬼堡（Gormenghast Castle）。

我曾供职于一家拥有大约600个主要应用的大公司：其全球ERP系统仅是其中一部分，公司本身拥有很多实例，每个都有细微的差别。连接所有这些系统需要相当复杂的接口，通过这些接口数据从一个系统流动到另一个系统。

获取数据的行为本身就是一个重要的任务。暂且不论文档、电子邮件、幻灯片和电子表格，先来看看企业系统。若要有效地运营一家企业，其业务数据自然应该保持一致、可控、准确和及时；然而，在现实中，还远远做不到这一点。一份2011年的信息差异调查发现，只有18%的公司曾尝试评价其内部数据的质量，但很少有公司把数据质量问题作为成本考虑。

数据质量是一个问题，数据一致性是另一个问题：我们在2008年对主数据管理 （MDM）进行的一项调查中发现，一般的大公司拥有六个生成不同版本的客户主数据的系统和九个生成不同版本的产品主数据的系统。某些接受调查的公司甚至拥有一百多个系统，彼此作为潜在的主数据源而相互竞争。

新MDM集线器 = 多个数据源

修复这个问题并不容易。如果作为一个企业架构师，你认为从现在起只会有一个客户数据的来源，那么如何去实现呢？如果建设了一个MDM集线器，那么所需要做的事情就是一个一个增加源的数量。除此之外，还需要积极地关掉现有的可以生成新客户数据的应用程序，而不是在新系统中做这些事情，或者最起码挂接这些应用程序到新的授权主源，然后用客户数据验证它。这都要求对这些应用程序进行修改，并做出更改添加新客户帐户过程的业务决策。[page]

不考虑技术因素的话，如果你在IT部门工作，就可能没有权力这么做；也就是说，你不能强迫销售部门和市场营销部门的员工去改变他们做事的方式。不管所涉及的主数据是什么类型，也不管是产品、位置、资产、供应商或财务数据，都存在同样的问题。数据越重要就越敏感，拥有控制能力的人也越多，他们会越努力地争取保留该权力。

假设某个时候你被授权可以做出这种改变，从技术上讲会发生什么呢？新的客户主数据集线器将连接到当前的使用客户数据的系统，这些系统生成新的客户数据并将其用于其他用途，例如业务报表或合规性。这可能涉及大量的系统，因此将需要很长的一组接口。记住，要为产品、位置等等数据做同样的事情。

服务总线如同罕见的独角兽

另一种方法是建立服务总线体系结构，即将应用程序接入到由基础设施工具管理的数据管道中，基础设施工具从管道中提取数据，并将其提供给已授权的新数据源。它的主要优势是根据需求使用点对点接口移动数据：每个应用程序只需要接入服务总线，使用新的主数据中心集线器向管道提供数据。这是对这一问题最好的解决方案，但它显然把相当多的业务要求放在服务总线上，还要求对所有应用程序（不管是旧的还是新的）都使用管道技术。

中央农村会议下周一召开明年一号文件聚焦三农 在现实中，有多少家企业能在企业范围内实现呢？很少，尽管供应商竭尽全力在营销。像这样的举措也需要考虑外部数据：零售商需要能够访问供应商数据， 银行依赖来自第三方（如彭博Bloomberg和路透社Reuters）的市场数据，大多数公司使用来自邓白氏（Dun Bradstreet）的供应商信用评级数据。这些数据的格式并不在你的更改职权范围内。

在大多数公司中，比技术挑战更大的是政治障碍。正如前面所提到的，拥有组织数据可以给人带来某种存在感，大部分人都不愿意不战而弃。数据治理方案的出现是一线曙光，通常由相关的业务部门领导。数据治理首先是一个组织、一个过程，而不是一种技术，其目的是让企业高管为员工分配数据管理权限并为数据的一致性和质量负责。至少它能直接应付公司政治，尽管数据治理仍处于初级阶段。一份2010年8月的信息差异研究指出，只有31%的公司有实施中的数据治理计划；另一份2010年12月的基准调查则表明，只有57%的此类方案获得成功实施。

我看不到任何新技术的加入。一旦系统开始运作，就很难取代它们，企业里数据的多样性与预算、控制和权力密不可分，项目一旦被剥夺就不容易夺回。数据治理方案可以解决最根本的多样性问题，其中一些能够成功，但任何人都不应低估任务的规模，应当正视技术和数据设计师所希望控制的数据体系结构的复杂性。黎巴嫩诗人Mikhail Naimy写道：他的迷宫愈加复杂，他也愈发难以见到阳光。 在当今的大型企业中，我们就为自己精心建立了技术迷宫。