新闻稿




数据建模在大数据世界中的重要性


随着更多组织拥抱大数据和分析来获得极大的数据集的洞察力,用于管理数据的工具和系统已经生长,更改,乘以。我们现在使用NoSQL数据库和Hadoop文件系统使用NoSQL数据库和Hadoop文件系统来存储越来越大量的企业数据。

You would think that with the towering importance of data in today’s modern organization that data modeling would be viewed as extremely important by management and IT professionals, so it is somewhat ironic that the age of big data has coincided with a long-term slide in data administration and modeling in many organizations. This is not a situation that should continue to be tolerated.

什么是数据建模?

数据建模是分析组织感兴趣的“事物”以及这些事物如何相互关联的过程。数据建模过程的结果是发现并记录业务的数据资源。在创建概念和逻辑数据模型时,您正在开发组织业务的词典。

数据模型是使用充当现实世界事物抽象的组件构建的。最简单的数据模型由实体和关系组成。随着数据模型工作的进展,会添加额外的细节和复杂性,包括属性、域、约束、键、基数、需求、关系——更重要的是,数据模型中所有内容的定义。如果我们想了解我们拥有的数据——以及如何使用它——就需要一个基本的模型。

大数据的问题

大数据和分析是现代IT的重要组成部分。分析师们估计,我们使用和管理的数据量每年都会翻一番,对这些数据进行分析可以发现迄今未知的见解,从而获得竞争优势。此外,用于分析的大数据正在被人工智能和机器学习软件所使用,通过自动化流程和任务,从而提高生产率和运营效率,将进一步提高我们计算投资的回报。

但是,当使用NoSQL和Hadoop等灵活的模式技术时,可能会出现问题。当大量数据被发现、摄取并转移到组织中时,这种灵活性通常是必需的。当数据的一行(或记录)与下一行(或记录)具有不同的模式时,您不能将固定的模型应用于数据。

然而,程序员必须知道数据的样子。你不能只是在某人身上抛出大量数据,并说:“这是数据,现在给我写了一个节目。”嗯,你可以这么说,但是程序员(或某人)必须分析和记录数据的结构。

嗯,这听起来很像数据模型,不是吗?好吧,应该,因为它是。在写入任何代码之前,在任何代码之前,在关系世界中常见,有时基于程序代码或工具中的应用程序查询执行大数据建模。我们要避免的是,在20世纪80年代在关系之前,在关系中嵌入了应用程序中的数据的所有知识。我们应该尽量避免需要开发人员每次使用时都会重新模拟相同的数据。数据建模创建了一个可通过所有人访问的企业数据的记录系统,而不仅仅是那些了解编程语言du Jour的人。

为什么仍然需要数据建模

如果我没有相信你的数据建模仍然很重要,那么考虑法规遵守的影响,这是您的组织确保它遵守政府法律和适用行业法规的必要流程和程序。

这包括HIPAA,PCI-DS和GDPR等法规。这些以及许多其他规则指定了必须以各种方式保护或控制的数据的类型和实例。如果没有数据模型,可以识别和定义您所拥有的数据(包括它来自哪里以及使用它),您如何希望符合适用于您业务的所有法规?

开始今天

如果您现在没有对组织的数据进行建模和定义,那么您总是可以在一个项目一个项目的基础上开始这样做。将数据文档作为开始的每个新项目的组成部分。教育您的开发团队数据建模和适当文档的重要性。确保每个项目都需要一个数据模型。使用这种方法,随着时间的推移,您可以将数据建模构建到组织的结构中。