图书目录
...........................................................................................................................................
第1章   导论    1
1.1  计算传播学概述    1
1.1.1  计算传播学的发展    2
1.1.2  计算传播学的概念    2
1.1.3　计算传播学的基本内容    3
1.1.4　计算传播学的应用    3
1.2　大数据与人工智能    4
1.2.1　大数据的概念与发展历程    5
1.2.2　人工智能的概念与发展历程    6
1.2.3　大数据和人工智能与计算传播学的关系    7
1.3  计算传播学与网络爬虫的关系    7
本章小结    8
第2章   网络爬虫概念综述    9
2.1　网络爬虫简介    9
2.1.1　概念与作用    9
2.1.2　应用场景    10
2.2　反爬虫技术    11
2.3　网络爬虫的算法分析    15
2.3.1　深度优先搜索算法    16
2.3.2　广度优先搜索算法    16
2.3.3  最佳优先搜索算法    17
2.4　网络爬虫种类    17
2.4.1　通用网络爬虫    17
2.4.2　主题网络爬虫    19
2.4.3　增量式网络爬虫    20
2.4.4　深层网络爬虫    21
2.5　网络爬虫工具    22
2.5.1　八爪鱼    22
2.5.2　Python    23
2.5.3　Puppeteer    25
本章小结    27
第3章   网络爬虫技术原理    28
3.1　Chrome开发者工具    28
3.1.1  Elements面板    30
3.1.2　Network面板    31
3.2　网址分析    33
3.2.1　HTTP介绍    34
3.2.2　URL地址分析    37
3.3　网页构成    38
3.3.1　HTML    38
3.3.2　CSS与JavaScript    42
3.3.3　网页类型    45
3.4　模拟登录与验证码    46
3.4.1　模拟登录场景介绍    46
3.4.2　登录信息与Cookie简介    46
3.4.3　模拟登录验证处理    56
3.5　代理    58
3.5.1　IP地址    58
3.5.2　代理的作用    59
3.5.3　代理的获取与使用    59
3.5.4  使用八爪鱼软件设置代理IP地址    61
3.6　解析网页内容    62
3.6.1　XPath介绍    63
3.6.2　XPath实例    67
本章小结    70
第4章   八爪鱼软件概述    71
4.1　八爪鱼软件简介    71
4.1.1　八爪鱼功能介绍    72
4.1.2  八爪鱼工作界面介绍    73
4.2　采集模式    78
4.2.1　模板采集模式    78
4.2.2　智能模式    82
4.2.3　自定义模式    85
4.3　步骤参数设置    89
4.3.1　打开网页    90
4.3.2　点击元素    92
4.3.3　提取数据    93
4.3.4　循环    95
4.3.5　判断条件    97
4.3.6　输入文本    98
4.3.7　识别验证码    99
4.3.8　切换下拉选项    100
4.3.9  移动鼠标到元素上    101
本章小结    102
第5章   基于关键字的新闻网页爬取    103
5.1　新闻简介    103
5.1.1　新闻的价值    104
5.1.2　新闻的特点    104
5.1.3  新闻的作用    105
5.2　新闻网页采集需求分析    105
5.2.1　人民网简介    105
5.2.2　需求介绍    108
5.3  新闻网页采集流程设计    109
5.3.1　新建任务    109
5.3.2　搜索    110
5.3.3　自动识别搜索页    113
5.3.4　自动识别详情页    119
5.3.5  字段介绍    122
5.3.6　采集设置    123
5.4　新闻网页采集数据结果    125
本章小结    125
第6章   基于关键字的微信公众号爬取    126
6.1　微信公众号简介    126
6.1.1　微信公众号的作用    126
6.1.2　微信公众号与新媒体传播    127
6.2　微信公众号采集需求分析    128
6.3　微信公众号采集流程设计    129
6.3.1　新建任务    129
6.3.2　登录    130
6.3.3　关键字列表循环    131
6.3.4　设置翻页循环    133
6.3.5　循环列表    136
6.3.6　点击进入正文    139
6.3.7　获取正文信息    140
6.3.8　采集设置    143
6.4　微信公众号采集数据结果查看    144
本章小结    144
第7章   微博博文评论爬取    145
7.1　微博简介    145
7.1.1　微博的传播特征    145
7.1.2　微博的作用    147
7.2　微博评论采集需求分析    148
7.2.1　微博可获取数据    148
7.2.2　网址分析    149
7.2.3　流程与步骤    150
7.3　微博评论采集流程设计    150
7.3.1　新建任务    150
7.3.2　判断是否要登录    151
7.3.3　循环翻页    157
7.3.4　循环列表    159
7.3.5  获取正文信息    163
7.3.6  启动采集    166
7.4　微博评论采集数据结果查看    167
本章小结    168
第8章   网络舆情热点数据的获取与追踪    169
8.1　背景说明    169
8.1.1　舆情热点发展的过程    169
8.1.2　舆情热点的获取    170
8.2　热点数据采集需求分析    173
8.2.1　百度指数    173
8.2.2　百度搜索风云榜    176
8.3　热点数据采集流程设计    178
8.3.1　百度指数    178
8.3.2　百度搜索风云榜    184
8.4　热点数据采集数据结果查看    192
本章小结    193
参考文献    194