目录

Contents 

项目 1.基础开发环境的安装与配置 ………………………………… 1

任务 1.1.通过 Anaconda3安装基础开发环境 ………………………………………… 4

任务 1.2.常见问题与解决方案 ……………………………………………………………13

项目总结 ………………………………………………………………………………………20

项目巩固与提高 ………………………………………………………………………………20

项目 2.通过国务院新闻网官方 API获取时政新闻 ……………… 21

任务 2.1.从开放的 API采集数据 …………………………………………………………23

任务 2.2.将数据存储到 Excel文件 ………………………………………………………27

项目总结 ………………………………………………………………………………………28

项目巩固与提高 ………………………………………………………………………………29

项目 3.采集巨潮资讯网的股票财经信息 ………………………… 30

任务 3.1. Chrome网络抓包工具的使用  …………………………………………………33 

任务 3.2. 通过截获 XHR请求采集数据 ……………………………………………………35 

任务 3.3. 采集更多信息 ……………………………………………………………………41 

项目总结 ………………………………………………………………………………………44

项目巩固与提高 ………………………………………………………………………………45 

IV

互联网数据采集技术与应用

项目4 采集网络个性头像… ………………………………………… 46

任务4.1 采集图片数据… ……………………………………………………………………52

任务4.2 二进制数据的存储… ………………………………………………………………60

项目总结…………………………………………………………………………………………76

项目巩固与提高…………………………………………………………………………………77

项目5 获取全国主要城市未来5 天的天气情况… ………………… 78

任务5.1 申请API 接口… ……………………………………………………………………79

任务5.2 采集天气数据… ……………………………………………………………………81

项目总结…………………………………………………………………………………………89

项目巩固与提高…………………………………………………………………………………90

项目6 对多个MySQL 数据库进行数据整合… …………………… 91

任务6.1 数据读取与合并… ……………………………………………………………… 104

项目总结……………………………………………………………………………………… 109

项目巩固与提高……………………………………………………………………………… 110

项目7 通过MongoDB 对半结构化Excel 数据进行高效存储… … 111

任务7.1 MongoDB 安装… ……………………………………………………………… 113

任务7.2 MongoDB shell 工具… ………………………………………………………… 122

任务7.3 pymongo 的安装与使用………………………………………………………… 124

任务7.4 批量将Excel 数据存入MongoDB… ………………………………………… 128

项目总结……………………………………………………………………………………… 130

项目巩固与提高……………………………………………………………………………… 130

参考文献… ……………………………………………………………… 131