多模態(tài)醫(yī)療數(shù)據(jù)中海量小文件存儲優(yōu)化方法

摘要： Hadoop分布式文件系統(tǒng)(HDFS)通常用于大文件的存儲和管理,當(dāng)進(jìn)行海量小文件的存儲和計算時,會消耗大量的NameNode內(nèi)存和訪問時間,成為制約HDFS性能的一個重要因素.針對多模態(tài)醫(yī)療數(shù)據(jù)中海量小文件問題,提出一種基于雙層哈希編碼和HBase的海量小文件存儲優(yōu)化方法.在小文件合并時,使用可擴(kuò)展哈希函數(shù)構(gòu)建索引文件存儲桶,使索引文件可以根據(jù)需要進(jìn)行動態(tài)擴(kuò)展,實現(xiàn)文件追加功... （共19頁）