大型实时历史数据库的系统设计与技术实现

　　引言

　　实时历史数据库系统作为企业综合自动化的基础数据平台，为各类应用系统提供数据支撑，是工业企业综合自动化系统建设的核心功能模块之一。它与传统关系数据库平台的区别主要在于海量的数据吞吐以及严格的实时性要求。

　　在国外，实时历史数据库产品经过十多年的发展已经日渐成熟，如OSISoft公司的PI系统和AspenTech公司的Infoplus实时数据库系统等。在国内，实时历史数据库产品无论在性能指标还是在市场份额上都与国外产品有很大差距。

　　为提高我国在这一领域的核心竞争力，国家将实时数据库系统研究列人“十五”攻关计划，大力扶持有关科研单位开发具备自主知识产权的大型实时数据库系统。本文简单介绍了新一代大型实时历史数据库系统―supDATA系统的设计思想和关键技术的实现。

　　一、总体设计与系统架构

　　1.1总体性能指标

　　supDATA系统主要具有以下性能指标。

　　数据库容量：标签库最大容量可达20万点;

　　1.1.2.数据类型：支持模拟量、数字量、开关量以及字符串等类型;

　　1.1.3.数据压缩技术：采用两级压缩技术，第一级有损压缩率可达1:40，第二级无损压缩率可达1:10;

　　1.1.4.内存缓冲性能：在10万点负荷下，内存<256MB;

　　1.1.5.数据读取速度：先进的数据存储结构、优化的磁盘读写算法、高效的检索机制;

　　1.1.6.采集频率：支持毫秒级数据采集，最小采集周期可达100ms，以最小周期采集的标签点可达50(x)个;

　　1.1.7.采集缓存：接口机本地数据库缓存，通信恢复后自动同步缓存数据，最大缓存时间可由管理员配置;

　　1.1.8.接口机可扩展性：单台接口机可扩展采集犯个现场数据源;

　　1.1.9.体系结构：分布式网络结构;

　　1.1.10.冗余技术：支持网卡冗余、服务器集群配置以及采集接口机冗余配置，故障切换时何<2;

　　1.1.11.安全机制：任何一个组件、服务和应用程序均能提供安全服务，并按角色划分用户操作权限;

　　1.1.12.监控画面：实时画面刷新周期<500ms，画面切换响应时间<15。

　　1.2 系统结构

　　SupDATA实时历史数据库系统基于MS-WindowsServer操作系统，提供实时数据、海量历史数据和报警服务，并通过完善的人机界面软件以及管理配置软件，完成对数据的采集、存储、查询、显示和分析的功能。系统具体结构图如图1所示。

　　1.3服务器数据处理流程

　　实时数据处理流程具体为：服务器接收到接口机发出的实时数据后，首先对实时数据进行第一级压缩计算，若该实时数据需要进行历史归档，则存人对应标签点的内存缓存页，所有标签点的内存页大小相同;当内存页存满后，经第二级压缩后存人历史文件中。