基于自相似的气象数据分类识别方法

气象卫星和雷达资料的数据文件往往达到几十兆甚至上千兆字节，根据扩展名对文件进行分类仅是一种约定俗成，不具备基于数据特征的属性，因而在一定程度上缺乏可靠性。通过统计分析可得到典型气象数据的一些编码特性，但若对全文件进行值谱分析，效率低，因此需要研究快速准确的大文件分类识别方法。在研究已有文件分类方法的基础上，分析研究典型气象数据的字节值频率分布统计特征，作为分类的特征参数；采用自相似理论，自适应确定文件的截取长度和截取原点，提出了最小特征文件块指纹模型，设计了基于自相似的大数据文件快速识别算法。实验表明该算法在保证数据类型识别的查准率和查全率的基础上，大幅度减少了大文件数据分类的时间。