朱振方：男，1980.8月生，山东交通学院信息科学与工程学院副教授，计算机系主任，硕士生导师。主要研究领域为网络舆情分析、自然语言处理、网络信息过滤、垃圾邮件过滤等，主要从事网络信息安全方面的教学工作。

刘培玉：男，1960.07出生，山东师范大学二级教授，博士生导师。主要研究领域计算机科学与技术、网络空间安全，主要研究方向互联网管理、网络舆情分析、电子数据取证等。

计算机技术和互联网技术的迅速发展，使得网络上的网站、网页等各种信息以爆炸性的趋势增长，随之而来的还有大量的冗余信息和垃圾信息，并由此带来了信息泛滥、信息迷航以及信息疾病等一系列问题。这些冗余信息、垃圾信息不但影响着用户对Internet的使用效率和质量，同样影响着网络的健康发展。因此，基于此而产生的网络信息过滤技术相关研究具有巨大的社会效益和经济效益。

网络信息过滤，就是根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用的信息的过程。广义的信息过滤包括对文本、音频、图像、视频等多种信息存在形式的过滤处理，狭义的信息过滤是特指对文本信息的过滤处理。本书相关研究就是针对文本信息过滤特别是中文文本信息过滤中存在的问题而提出的。

本书面向从事自然处理、网络信息、网络舆情分析等领域研究的高年级本科生、研究生和研究人员。

前言

第一章  绪论 1

第一节  研究背景及意义 1

一、中国互联网迅速发展 1

二、互联网迅速发展带来的负面影响 1

三、信息过滤研究的意义 3

第二节  文本信息过滤面临的问题 5

一、国外相关研究 5

二、国内研究进展 6

三、相关研究存在的问题 7

第三节  本书主要研究内容及贡献 9

一、研究环境 9

二、研究内容 9

三、本书贡献 11

四、本书组织结构 11

第二章  文本信息过滤关键技术概述 14

第一节  文本信息过滤的基本模型 14

第二节  网络数据的获取 15

一、数据包捕获技术 15

二、协议解析技术 16

第三节  文本切词技术 16

一、基于字符串匹配的切词方法 17

二、基于理解的切词方法 17

三、基于统计的切词方法 17

第四节  特征选择算法 18

一、文档频率 18

二、信息增益 19

三、互信息 19

四、统计量 20

第五节  权值计算方法 21

第六节  文本表示模型 21

第七节  文本分类算法 22