ODS定位和来源
数据仓库(Data Warehouse,简称DW)是为决策支持而创建的,因此建立一个完善可靠的决策支持软件系统取决于能否建立一个良好的数据仓库。尽管基于数据仓库的决策支持系统被认为是一种很好的决策支持方案,但该系统结构不适合中层管理人员和实时分析和处理应用程序,因为该系统结构将操作环境与分析环境完全分离。因此,提出了操作数据存储(ODS)的概念。它弥补了DB-DW基于两层体系结构的不足,形成了DB-ODS-DW三层体系结构。
(WMS控制系统)
业务数据存储是用于支持企业日常整体应用的数据集,并将其视为业务处理的基础。它可以将数据馈送到数据仓库,也称为操作数据存储。ODS中存储的数据具有以下特点:面向主题、综合、可变、当前或近当前数据。因此,与DW一样,ODS采用了面向主题的综合ODS数据库数据组织模式。在进入ODS时,还应提取、转换和整合数据。与数据仓库不同,ODS存储当前或接近当前的数据,可以在线修改,包括添加、删除、修改等。因此,它们的技术支持不同。ODS支持面向记录的在线更新和与原始数据库系统的数据一致性。因此,支持技术与面向应用的分布式数据库系统(DB)支持技术一样复杂。ODS传统数据库(DB)的区别在于,ODS提供全球一致的在线事务处理(OLTP),而DB仅适用于部门级OLTP、数据库DB、业务数据存储ODS和数据仓库DW之间的比较。
ODS的概念
ODS是主题、综合、变量和当前详细数据的集合,用于支持企业对所有实时、可操作和综合信息的需求。它通常被用作数据仓库的过渡和数据仓库项目的选择之一。
那为什么我们有一个?ODS系统如何?ODS通常在系统结构中可用。ODS具有以下功能:
ODS的定位和作用
ODS主要旨在优化报告速度、集成交互式数据、扩展第三方集成,并形成企业数据仓库(EDW)的基础。ODS作为输出和显示的数据源,通过集成通用数据在系统中发挥着非常重要的作用。在MES2.0中,关系数据主要保存,不涉及PRM静态数据或类似数据的PHD实时数据。相反,固定的业务结算单元用于提取和存储数据。
MES的ODS既有传统的ODS性能,也有一些DW功能,可以说是两者的结合。为了满足区域公司对全面业务和系统性能优化的需求,还牺牲了一些相反的功能。
同时,适当控制数据粒度,以使DW数据的维度和事实存储保持数据的频率和稳定性。原则上,作为只读数据库,它也大大提高了系统性能,不仅满足了企业决策的需要,也支持了中层业务管理的需要。为了满足历史数据和系统性能的保留,可以拆分数据表,并通过配置修改ODS表中保留的数据周期。超过该期限的数据可以存档在历史数据表中,根据实施过程,常见问题可以进一步添加到ODS中。
ODS架构
ODS数据来自基本业务数据库,通过ETL提取和处理,存储在ODS中以供进一步集成和处理,并提供生产统计报告和相关显示模块。
ODS建设原则和方法
目前,MES的ODS在同一数据库中,表和业务数据表的ODS将在后续工作中迁移到独立的表空间。ODS中间维度表以完全方式推送,首先删除,然后插入。数据推送前记录日志信息,数据推送后修改日志状态;ODS事实表是增量推送。它记录推送数据之前的日志信息。推送数据的开始时间为当前时间。增量获取业务数据是通过业务数据中的修改日期字段在最后一次推送时间内获取数据。推送数据后,将修改日志状态。如果存在异常回滚,则必须在同一事务中写入数据推送并修改日志状态。在创建用于推送数据的存储过程之后,将用于从每个模块推送数据存储过程放在包中。
任务
创建作业并定义数据提取频率;
根据实际情况定义作业执行时间,并自动提取数据;
该测试可以手动执行。
文件
创建与每个事实表对应的历史数据存档表;
创建档案配置表并配置档案记录;
创建一个JOB来调用归档存储过程并完成常规的自动归档。
优化
索引收集:确保实体的完整性;加快数据库速度。
非聚集索引:大大加快数据检索速度,确保数据记录的唯一性,加快表之间的连接,实现表之间的引用完整性,减少查询中的分组和排序时间。
视图:方便查询,简化数据操作,提高数据安全性。