易燃物汇聚 YouTube 有声书与书评
实战Python网络爬虫 封面

实战Python网络爬虫

黄永祥

1.2万人在读
23.4万字总字数
¥59.4定价

内容简介

本书从原理到实践,循序渐进地讲述了使用Python开发网络爬虫的核心技术。全书从逻辑上可分为基础篇、实战篇和爬虫框架篇三部分。基础篇主要介绍了编写网络爬虫所需的基础知识,包括网站分析、数据抓取、数据清洗和数据入库。网站分析讲述如何使用Chrome和Fiddler抓包工具对网站做全面分析;数据抓取介绍了Python爬虫模块Urllib和Requests的基础知识;数据清洗主要介绍字符串操作、正则和BeautifulSoup的使用;数据入库讲述了MySQL和MongoDB的操作,通过ORM框架SQLAlchemy实现数据持久化,进行企业级开发。实战篇深入讲解了分布式爬虫、爬虫软件的开发、12306抢票程序和微博爬取等。框架篇主要讲述流行的爬虫框架Scrapy,并以Scrapy与Selenium、Splash、Redis结合的项目案例,让读者深层次了解Scrapy的使用。此外,本书还介绍了爬虫的上线部署、如何自己动手开发一款爬虫框架、反爬虫技术的解决方案等内容。本书使用Python 3.X编写,技术先进,项目丰富,适合欲从事爬虫工程师和数据分析师岗位的初学者、大学生和研究生使用,也很适合有一些网络爬虫编写经验,但希望更加全面、深入理解Python爬虫的开发人员使用。

读者书评

★★★★★

这本书个人关键挺好的,但是对于初学者来说理解有一点难度,但是对初学者来说涉及到的知识结构比较全面,个人感觉本书作者比较厉害,写的内容深入浅出吧,肯定有多年的大量的编程的经验,个人比较喜欢这边书的编写风格。推荐。

★★☆☆☆

虽然书才出版没多久,但是所有实战的代码都不能用。

★★★★★

- 实战Python网络爬虫.从爬虫软件开发到自己动手开发爬虫框架; 2019.6

★★★★★

非常棒!有理论有实战,理论由浅入深、文风简洁,实战具有操作性、最小可操作案例

★★★☆☆

介绍了很多的库,但都限于泛泛而谈。适用于大略的简要了解各种库。

★★★★★

本书结构 本书共分28章,各章内容概述如下: 第1章介绍什么是网络爬虫、爬虫的类型和原理、爬虫搜索策略和爬虫的合法性及开发流程。 第2章讲解爬虫开发的基础知识,包括HTTP协议、请求头和Cookies的作用、HTML的布局结构、JavaScript的介绍、JSON的数据格式和Ajax的原理。 第3章介绍使用Chrome开发工具分析爬取网站,重点介绍开发工具的Elements和Network标签的功能和使用方式,并通过开发工具分析QQ网站。 第4章主要介绍Fiddler抓包工具的原理和安装配置,Fiddler用户界面的各个功能及使用方法。 第5章讲述了Urllib在Python 2和Python 3的变化及使用,包括发送请求、使用代理IP、Cookies的读写、HTTP证书验收和数据处理。 第6章~第8章介绍Python第三方库Requests、Requests-Cache爬虫缓存和Requests-HTML,包括发送请求、使用代理IP、Cookies的读写、HTTP证书验收和文件下载与上传、复杂的请求方式、缓存的存储机制、数据清洗以及Ajax动态数据爬取等内容。 第9章介绍网页操控和数据爬取,重点讲解Selenium的安装与使用,并通过实战项目“百度自动答题”,讲解了Selenium的使用。 第10章介绍手机App数据爬取,包括Appium的原理与开发环境搭建、连接Android系统,并通过实战项目“淘宝商品采集”,介绍了App数据的爬取技巧。 第11章介绍Splash、Mitmproxy与Aiohttp的安装和使用,包括Splash动态数据抓取、Mitmproxy抓包和Aiohttp高并发抓取。 第12章介绍验证码的种类和识别方法,包括OCR的安装和使用、验证码图片处理和使用第三方平台识别验证码。 第13章讲述数据清洗的三种方法,包括字符串操作(截取、查找、分割和替换)、正则表达式的使用和第三方库BeautifulSoup的安装以及使用。 第14章讲述如何将数据存储到文件,包括CSV、Excel和Word文件的读取和写入方法。 第15章介绍ORM框架SQLAlchemy的安装及使用,实现关系型数据库持久化存储数据。 第16章讲述非关系型数据库MongoDB的操作,包括MongoDB的安装、原理和Python实现MongoDB的读写。 第17章至第21章介绍了5个实战项目,分别是:爬取51Job招聘信息、分布式爬虫——QQ音乐、12306抢票爬虫、微博爬取和微博爬虫软件的开发。 第22章至第25章介绍了Scrapy爬虫框架,包括Scrapy的运行机制、项目创建、各个组件的编写(Setting、Items、Item Pipelines和Spider)和文件下载及Scrapy中间件,并通过实战项目“Scrapy+Selenium爬取豆瓣电影评论”、“Scrapy+Splash爬取B站动漫信息”和“Scrapy+Redis分布式爬取猫眼排行榜”、“爬取链家楼盘信息”和“QQ音乐全站爬取”,深入讲解了Scrapy的应用和分布式爬虫的编写技巧。 第26章介绍爬虫的上线部署,包括非框架式爬虫和框架式爬虫的部署技巧。 第27章介绍常见的反爬虫技术,并给出了可行的反爬虫解决方案。 第28章介绍爬虫框架的编写,学习如何自己动手编写一款爬虫框架,以满足特定业务场景的需求。

★★☆☆☆

讲的东西实在太多,干货不多,表示看不下去了,示例代码还是图片,无力吐槽。只能说适合空闲的童鞋慢慢看吧

★★★★☆

还是挺不错的一本书。书中所涉内容涵盖 Python 网络爬虫各个方面,并配有多个实战案例,适合初中级爬虫工程师阅读学习。

★★★☆☆

介绍了很多方面的包及其用法。觉得有点泛了。倒不如集中在提取,清洗,读解JS等几个方面,讲明白讲通透。这样至少会真正学到一些知识点,而不是看了后面忘了前面。

★☆☆☆☆

写的是可以,可是还是很浅,一个东西只讲概念不讲应用。多少说不过去。

书籍信息

作者黄永祥
出版社清华大学出版社
出版时间2019-06-01
ISBN9787302524892
分类计算机-编程设计
格式EPUB
完结状态连载中
章节数179