基于SPARK ON YARN的网络舆情预警技术

随着互联网的快速发展,近年来网络舆情热点事件频发,一些不良热点事件严重影响了网络社会治安,因而迫切要求网络监管者提高网络管理水平,然而传统的人工监控方式无法准确有效地发现潜在的危害事件并采取相关预警措施.因此,本文从传播媒体级别、地域空间分布、帖子数量、爆料者影响力、意见倾向状况、信息文本长度、事件内容这七个方面建立相应的指标项以及对应的预警分数,基于此预警指标体系,本文以spark on yarn为基础构建分布式预警框架,对海量的网络舆情数据进行深度分析挖掘,最后,本文以"六安教师讨薪"为例子进行说明,来分析预警效果.