PDM中基于负载信息的文件读取均衡算法

引言

    目前，PDM(product data management)系统均采用基于RDB(relational database)实现，且采用独立文件服务器存储产品数据。随着制造企业产品数据的不断积累，面对海量数据高效存储与访问要求，传统存储方式成为制约PDM系统性能的瓶颈之一。另一方面，RDB横向扩展性差，且随MBD(model based definition)/ MBE(model based enterprise)技术的实施，PDM数据的结构特征越来越弱，因此使用NOSQL数据库存储文件元数据信息，将云存储技术应用于PDM，构建企业私有云环境下的PDM文件系统，在提升PDM文件读写性能的同时，使PDM文件系统具有更好的健壮性和扩展性。

    Hadoop是一个优秀的开源云计算平台，以HDFS(Hadoop distributed file system)和MapReduce分布式计算框架为核心。其中，HDFS作为GFS(Google file system)的开源实现是Hadoop数据存储的基础。针对HDFS负载均衡的研究已经取得一些成果。现有研究多是基于数据节点存储空间的负载均衡，通过合理的数据块分布实现数据节点的负载均衡。在PDM中，由于用户对历史产品数据的访问大大少于对新产品数据的访问，因此可能会出现数据节点存储数据量相同，但数据节点用户请求量相差较大的现象，使某些数据节点处于过载状态，而其它数据节点处于低载或空载状态。本文提出一种基于负载信息的文件读取均衡算法，算 法使用动态负载均衡技术，即客户端根据数据节点负载信息动态创建文件读取请求，避免用户请求过度集中于某些数据节点，较好实现数据节点负载均衡，并使用户等待时间明显缩短。

1 负载评价

    通常，集群负载均衡可分为静态和动态两种方式。静态负载均衡算法无需根据集群运行状态进行任务的调整；动态负载均衡在系统运行过程中根据各节点的资源利用情况，动态调整分配给各节点的任务。对集群文件服务系统中常见的负载均衡算法进行了详细介绍。

    静态负载均衡不考虑当前所有连接状态及各节点之间当前的负载情况。由于无需额外获取服务器负载信息，任务分配与系统当前状态无关，造成任务分配具有盲目性的特点，因而导致负载均衡效果不理想。对负载均衡算法进行了详细介绍并对比优缺点。

    动态负载均衡根据集群各节点当前状态进行任务的动态分配，负载均衡效果明显优于静态负载均衡方式，但如果算法设计不合理容易导致负载均衡失败并增加集群的额外开销。利用自适应的反馈机制，有效降低获取负载信息的额外开销。提出一种改进的基于反馈的负载均衡算法，在考虑服务节点真实负载，处理能力的基础上，尽量简化负载均衡器的任务分配算法。分别对Hadoop默认负载均衡算法进行改进，经实验对比数据节点存储空间使用更加平均，实现了数据节点存储空间的负载均衡。建立基于控制变量的数据负载均衡数学模型，通过控制变量动态分配网络带宽以实现数据负载均衡。提出基于结点网络距离与数据负载计算每个结点的调度评价值，实现数据放置负载均衡的同时保证了良好的数据传输性能。