大数据背景下的数据需求统一管理

如果一个企业真的意识到大数据可以成为核心竞争力，那么在数据治理和数据应用领域应该有坚实的实践基础，这是一件值得骄傲的事情。

数据治理看起来很高，但它必须有耐心；数据治理贯穿整个生命周期。在熟悉业务和技术的基础上，我们应该精通具体的数据管理功能领域。更重要的是，我们应该有战略愿景和熟练的沟通。要做到深刻，我们必须谈论哲学，所以这是一门很高的知识。

数据应用是一条先进的路线，职业规划和发展包括整个堆栈的词。工程师、分析师、建模师、教师应努力学习技术，然后在工作中站稳脚跟，有机会发光。

1、大数据背景下的数据处理和数据应用

五年前给银监会写报奖材料时，请参考Gartner魔力象限画了一个数据领域的四象限图。总体意思是数据治理和数据应用要保持平衡，在企业数据体系建设过程中二者处于相辅相成的关系。协调好了就会相互扶持，共同进步；否则就会相互掣肘，彼此深深的伤害。

（以数据处理和数据管理水平为水平轴，反映数据系统的前瞻性；以数据应用和服务为垂直轴，反映数据系统的执行能力。在魔法象限图中，水平轴越靠近右侧，银行数据处理和数据管理水平越高；垂直轴越靠近上方，银行数据应用和服务越好，即数据价值利用效果越好。水平轴在前瞻性计划中更为明显，垂直轴更注重价值实现。

在大数据的背景下，数据治理与数据应用的结合更加紧密。传统的数据治理通常集中在it系统建设已经进行，但现在数据治理可以完全依靠大数据应用项目进行。插入一个槽点，谈论数据湖是不合适的。必须结合数据治理（管理）管理和数据应用进行讨论。简而言之，在大数据时代，数据系统的功能应该更紧密地团结在数据治理周围，这需要整体考虑。

此时，似乎是时候再扔一张照片来放慢你的想法了。然而，之前发布了很多与治理相关的图片，所以它们没有重复。让我们谈谈这个话题。最近，我和一家大银行的老师谈了数据管理的最新发展，收获颇丰；结合实际需求，我将从多个角度谈谈大数据背景下的需求管理。

2、数据治理的需求必须是统一管理

数据治理的一个基本原则是覆盖整个生命周期，这意味着与数据治理相关的需求会稍微繁琐一些，甚至可以it各部门和业务部门都在。数据治理还有一个原则，即高层支持和广泛参与，是解决问题的必要基础。

例如，中国银行业监督管理委员会在现场检查数据质量良好标准后进行了整改。这一需求需要两三年才能完成，组织结构、系统建设、数据标准、数据质量等领域将有若干任务需要完成。稍好一点的是数据标准的实施，标准更难实施，数十个系统改造很常见；不谈论工作量，风险和隐患会吓死人。更好的是数据质量，麻烦主要是原则责任定义和整改监督。

数据治理的需求必须统一管理，否则根本做不到，可以由cdo办公室专人负责。此外，在大数据时代，cdo至少视角是2.0这个版本专注于实现数据价值。这并不意味着我们不再关注数据管理，而是说数据管理已经逐渐成为基本能力和正常机制。

3、数据集成平台和统一的需求管理

一般来说，集成平台包括数据仓库，ods、外部数据管理平台、历史数据（日志）归档平台、数据挖掘创新实验室平台、具体应用集成平台（数据湖）等典型代表。

这些平台上下游影响系统较多，通常投资较大，因此最好进行统一的规划和需求管理。这也意味着紧密团结在数据处理周围。没有规则就没有方圆。大型数据集成平台从零开始非常快乐，从多么麻烦。

如果没有可靠的应用程序，直接规划数据湖显然会导致数据集成平台更加复杂和随机。据我所知，数据湖的初衷是围绕应用程序进行集成，包括灵活的查询、报告、分析或挖掘。edw虽然已经过时，但脱离应用进行整合和治理更不可能成功。

4、企业数据应用阶梯能力对应的需求管理

从描述阶段到挖掘阶段，企业有8种类型的数据应用需求，数据应用水平与相应的技术类型密切相关。

图中的人实际上与企业相对应。一些企业仍处于前两个阶段。零星报告支持运营管理，信息化水平有待提高。大多数传统BI事实上，该项目并没有在教科书中定义的商业智能中发挥应有的作用，提供多维分析和决策支持信号（触发器）的能力，即图中的3和4。在这一步中，在数据支持下的企业站起来，逐渐从电子转向数字，但仍处于低头状态。如果该行业的大多数企业都不完美it该系统支持生产运行，基本上这一层次的数据应用可以发挥足够的竞争力。

图4后面是一堵墙，非常合适。这堵墙不仅在能力上，而且在思想和意识上。对于企业来说，无论他们是否了解数据系统和数据管理，这个位置也应该有相应的墙。简单地解释一下，统计分析可以帮助找到新的商机和预测（forecast）提供量化参考；预测（predict）典型的模型是做风险控制或营销，优化是通过系统的建模支持赢得同行的竞争优势。

不同的企业对数据应用有不同的理解，不同的企业部门也有不同的差异，不同的团队甚至出现在同一部门下面。根据不同线路的发展状态和业务痛点，应该有不同的解决方案。并不是所有的场景都需要分析和预测，尽管它们看起来很耀眼，但在适当的时间和地点提供最合适的解决方案是最好的选择。

特别是，很多人看到这张张照片后会自动与工作能力相匹配，这实际上是不合适的。每种类型的应用都应用于个人技术能力，对应于足够长的技术路线进步；从跪到跑，主要是指企业对数据的理解和应用水平。

不同的数据应用程序需要具有不同技术特点的人来完成。技术行业专业化，合理搭配可以提高战斗力。如果你有机会，你可以详细谈谈数据科学家的概念。事实上，银行不需要数据科学家，而是需要数据科学团队。

需要提供数据部门1-8综合支持能力，然后通过统一的需求管理完成科学的调度。此外，在独立控制方面，企业需要掌握的能力越多。

5、写在最后

统一的需求管理不仅是数据系统发展的必然选择，也是大数据背景下必须采取的手段。数字化和智能化是每个企业都面临和迎接的发展趋势。技术是公平的，选择是关键。

国内外相关数据能力成熟** 对第五级的描述是相似的，即实现行业基准。银行数据领域的行业基准代表着先进的生产力。统一的需求管理是其多年经验的总结，值得学习和思考。