文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN201310331429.4

申 请 日：20130801

发 明 人：石进 张辰 潘健翔

申 请 人：南京大学 江苏南大苏富特科技股份有限公司

申请人地址：210093 江苏省南京市鼓楼区汉口路22号

公 开 日：20131023

公 开 号：CN103366016A

代 理 人：陈建和

代理机构：南京瑞弘专利商标事务所(普通合伙)

语　　种：中文

摘　　要：本发明公开了一种基于HDFS加入中间件优化电子文件集中存储的方法，通过使用存储缓存和读取缓存的策略来提高海量小文件的存储和访问效率，其中：存储缓存策略的设计方法为设置多个缓冲区，存储小文件时通过多个缓冲区的优化选择来提高缓冲区的利用率，从而减少HDFS访问次数；读取缓存策略的设计方法为使用buddy system的方式管理固定大小的整个读取缓存，并为每个分段缓存设置效率阈值，通过效率阈值来控制缓存的更新策略，最大限度提高缓存利用率，从而使访问文件时尽可能的利用读取缓存，减少访问HDFS的次数。

主 权 项：1.一种基于HDFS加入中间件优化电子文件集中存储的方法，其特征在于，所述中间件包括以下设计：（1）通用的小文件合并存储缓存机制：在小文件存入HDFS之前进行合并操作，自动的合并存储过程对于上层应用透明；（2）文件访问的读取缓存机制：将伙伴系统机制应用到读取缓存管理机制之中，并设置效率阈值最优化缓存机制。

关 键 词：缓存 缓冲区  存储缓存  设计方法  存储  缓存利用率  电子文件 访问次数  访问文件  访问效率  固定大小  缓存策略 集中存储  优化选择  中间件 海量 分段  优化  管理  

IPC专利分类号：G06F17/30(20060101);G06F12/08(20060101)