开?篇
项目一 平台类数据工具使用
任务1．1 指数类数据工具――百度指数
【基础知识】
一、趋势研究
二、需求图谱
三、人群画像
【任务实施】
【思考题】
任务1．2 电商平台数据工具――生意参谋
【基础知识】
一、首页
二、实时概况
三、流量和品类
四、交易和服务
五、市场
【任务实施】
【思考题】
任务1．3 插件类数据工具――店侦探
【基础知识】
一、店侦探简介
二、店侦探插件安装及使用
【任务实施】
一、店侦探插件数据采集
二、店侦探竞店数据采集
【思考题】
任务1．4 新媒体类数据工具――飞瓜
【基础知识】
【任务实施】
【思考题】
项目二 网络数据采集器使用
任务2．1 京东产品信息试采――八爪鱼基础教程
【基础知识】
一、HTTP请求响应过程
二、爬虫的基本原理
三、八爪鱼介绍
【任务实施】
一、八爪鱼简易模式的使用
二、八爪鱼自定义模式的使用
【思考题】
任务2．2 京东评论内容采集――Ajax
【基础知识】
【任务实施】
【思考题】
任务2．3 京东评论内容修正――XPath
【基础知识】
一、XPath概念
二、查看和调试XPath
三、XPath表达式
【任务实施】
【思考题】
任务2．4 京东评论图片采集――正则表达式
【基础知识】
【任务实施】
【思考题】
任务2．5 用户登录模式采集――自定义Cookie
【基础知识】
一、静态网页和动态网页
二、无状态HTTP
三、Cookie
四、Session
五、Cookie属性结构
【任务实施】
【思考题】
项目三 苏宁市场竞争数据采集
任务3．1 苏宁请求流程分析――Chrome＆Postman
【基础知识】
一、打开Chrome开发者工具
二、 Elements
三、 Network
【任务实施】
一、搜索结果列表页分析
二、苏宁产品详情页参数分析
三、苏宁产品评论参数分析
【思考题】
任务3．2 苏宁产品列表请求――Requests库的使用
【基础知识】
一、基本用法
二、高级用法
【任务实施】
【思考题】
任务3．3 列表响应数据提取――lxml＆RE库
【基础知识】
一、lxml库
二、RE库
【任务实施】
一、苏宁产品URL提取
二、苏宁clusterId提取
【思考题】
任务3．4 评论响应数据输出――JSON
【基础知识】
一、JSON基础知识
二、JSON用法
【任务实施】
【思考题】
任务3．5 苏宁用户账号登录――Selenium＆ChromeDriver
【基础知识】
一、环境配置
二、基础用法
【任务实施】
【思考题】
项目四 采集数据存储
任务4．1 最简单的文件型存储――Excel、CSV文件
【基础知识】
一、Excel文件
二、CSV文件
【任务实施】
一、使用Excel存储数据
二、使用CSV存储数据
三、Excel与CSV文件互转
【思考题】
任务4．2 最普通的关系型数据库――MySQL
【基础知识】
一、MySQL认知
二、MySQL的安装
三、MySQL可视化客户端的使用
【任务实施】
一、MySQL数据库的数据操作
二、MySQL数据库与Excel文件的交互
【思考题】
任务4．3 最潮流的分布式数据库――MongoDB
【基础知识】
一、MongoDB认知
二、MongoDB的安装
三、MongoDB可视化客户端的使用
【任务实施】
【思考题】
项目五 数据清洗
任务5．1 数据规范处理――表格规范
【基础知识】
一、数据类型
二、一维表vs二维表
【任务实施】
一、数据类型转换
二、数据结构转换
【思考题】
任务5．2 错误数据处理――查错补缺
【基础知识】
【任务实施】
一、缺失值处理
二、重复值处理
三、逻辑错误处理
【思考题】
任务5．3 文本数据处理――文本操作
【基础知识】
【任务实施】
一、查找替换
二、单元格特殊字符去除
三、文本数据提取
【思考题】
任务5．4 无序数据处理――筛选排序
【基础知识】
一、逻辑“与”“或”“非”
二、排序依据
【任务实施】
一、数据筛选
二、数据排序
【思考题】
任务5．5 数据分合处理――拆分合并
【基础知识】
【任务实施】
一、数据拆分
二、数据合并
三、合并单元格拆分
【思考题】
参考文献
展开
