Python網絡爬蟲技術

案例和內容結合緊密，代碼復現容易，入門優選。

Python網絡爬蟲技術 江吉彬 張良均 106個想法 ◆ 第1章 Python爬蟲環境與爬蟲簡介 >> 第1章 Python爬蟲環境與爬蟲簡介 ◆ 任務1.1 認識爬蟲 >> 任務1.1 認識爬蟲 >> 1.1.1 爬蟲的概念 >> 1.1.2 爬蟲的原理 >> 1.1.3 爬蟲的合法性與robot.txt協議 ◆ 任務1.2 認識反爬蟲 >> 任務1.2 認識反爬蟲 >> 1.2.1 網站反爬蟲的目的與手段 >> 1.2.2 爬取策略制定 ◆ 任務1.3 配置Python爬蟲環境 >> 任務1.3 配置Python爬蟲環境 >> 1.3.1 Python爬蟲相關庫介紹與配置 >> 1.3.2 配置MySQL數據庫 >> 1.3.3 配置MongoDB數據庫 ◆ 小結 >> 小結 ◆ 實訓 Python爬蟲環境配置 >> 實訓 Python爬蟲環境配置 ◆ 課後習題 >> 課後習題 ◆ 第2章 網頁前端基礎 >> 第2章 網頁前端基礎 ◆ 任務2.1 認識Python網絡編程 >> 任務2.1 認識Python網絡編程 >> 2.1.1 瞭解Python網絡編程Socket庫 >> 2.1.2 使用Socket庫進行TCP編程 >> 2.1.3 使用Socket庫進行UDP編程 ◆ 任務2.2 認識HTTP >> 任務2.2 認識HTTP >> 2.2.1 熟悉HTTP請求方法與過程 >> 2.2.2 熟悉常見HTTP狀態碼 >> 2.2.3 熟悉HTTP頭部信息 >> 2.2.4 熟悉Cookie ◆ 小結 >> 小結 ◆ 實訓 使用Socket庫連接百度首頁 >> 實訓 使用Socket庫連接百度首頁 ◆ 課後習題 >> 課後習題 ◆ 第3章 簡單靜態網頁爬取 >> 第3章 簡單靜態網頁爬取 ◆ 任務3.1 實現HTTP請求 >> 任務3.1 實現HTTP請求 >> 3.1.1 使用urllib 3庫實現 >> 3.1.2 使用Requests庫實現 ◆ 任務3.2 解析網頁 >> 任務3.2 解析網頁 >> 3.2.2 使用正則表達式解析網頁 >> 3.2.3 使用Xpath解析網頁 >> 3.2.4 使用Beautiful Soup庫解析網頁 ◆ 任務3.3 數據存儲 >> 任務3.3 數據存儲 >> 3.3.1 將數據存儲爲JSON文件 >> 3.3.2 將數據存儲到MySQL數據庫 ◆ 小結 >> 小結 ◆ 實訓 >> 實訓 >> 實訓1 生成GET請求並獲取指定網頁內容 >> 實訓2 搜索目標節點並提取文本內容 ◆ 課後習題 >> 課後習題 ◆ 第4章 常規動態網頁爬取 >> 第4章 常規動態網頁爬取 ◆ 任務4.1 逆向分析爬取動態網頁 >> 任務4.1 逆向分析爬取動態網頁 >> 4.1.1 瞭解靜態網頁和動態網頁的區別 >> 4.1.2 逆向分析爬取動態網頁 ◆ 任務4.2 使用Selenium庫爬取動態網頁 >> 任務4.2 使用Selenium庫爬取動態網頁 >> 4.2.1 安裝Selenium庫及下載瀏覽器補丁 >> 4.2.2 打開瀏覽對象並訪問頁面 >> 4.2.3 頁面等待 >> 4.2.4 頁面操作 >> 4.2.5 元素選取 >> 4.2.6 預期條件 ◆ 任務4.3 存儲數據至MongoDB數據庫 >> 任務4.3 存儲數據至MongoDB數據庫 >> 4.3.1 瞭解MongoDB數據庫和MySQL數據庫的區別 >> 4.3.2 將數據存儲到MongoDB數據庫 ◆ 小結 >> 小結 ◆ 實訓 >> 實訓 >> 實訓1 爬取網頁“http://www.ptpress.com.cn”的推薦圖書信息 >> 實訓2 爬取某網頁的Java圖書信息 >> 實訓3 將數據存儲到MongoDB數據庫中 ◆ 課後習題 >> 課後習題 ◆ 第5章 模擬登錄 >> 第5章 模擬登錄 ◆ 任務5.1 使用表單登錄方法實現模擬登錄 >> 任務5.1 使用表單登錄方法實現模擬登錄 >> 5.1.1 查找提交入口 >> 5.1.2 查找並獲取需要提交的表單數據 >> 5.1.3 使用POST請求方法登錄 ◆ 任務5.2 使用Cookie登錄方法實現模擬登錄 >> 任務5.2 使用Cookie登錄方法實現模擬登錄 >> 5.2.1 使用瀏覽器Cookie登錄 >> 5.2.2 基於表單登錄的Cookie登錄 ◆ 小結 >> 小結 ◆ 實訓 >> 實訓 >> 實訓1 使用表單登錄方法模擬登錄數睿思論壇 >> 實訓3 基於表單登錄後的Cookie模擬登錄數睿思論壇 ◆ 課後習題 >> 課後習題 ◆ 第6章 終端協議分析 >> 第6章 終端協議分析 ◆ 任務6.1 分析PC客戶端抓包 >> 任務6.1 分析PC客戶端抓包 >> 6.1.1 瞭解HTTP Analyzer工具 >> 6.1.2 爬取千千音樂PC客戶端數據 ◆ 任務6.2 分析App抓包 >> 任務6.2 分析App抓包 >> 6.2.1 瞭解Fiddler工具 >> 6.2.2 分析人民日報App ◆ 小結 >> 小結 ◆ 實訓 >> 實訓 >> 實訓1 抓取千千音樂PC客戶端的推薦歌曲信息 >> 實訓2 爬取人民日報App的旅遊模塊信息 ◆ 課後習題 >> 課後習題 ◆ 第7章 Scrapy爬蟲 >> 第7章 Scrapy爬蟲 ◆ 任務7.1 認識Scarpy >> 任務7.1 認識Scarpy >> 7.1.1 瞭解Scrapy爬蟲的框架 >> 7.1.2 熟悉Scrapy的常用命令 ◆ 任務7.2 通過Scrapy爬取文本信息 >> 任務7.2 通過Scrapy爬取文本信息 >> 7.2.1 創建Scrapy爬蟲項目 >> 7.2.2 修改items/pipelines腳本 >> 7.2.3 編寫spider腳本 >> 7.2.4 修改settings腳本 ◆ 任務7.3 定製中間件 >> 任務7.3 定製中間件 >> 7.3.1 定製下載器中間件 >> 7.3.2 定製Spider中間件 ◆ 小結 >> 小結 ◆ 實訓 >> 實訓 >> 實訓1 爬取“http://www.tipdm.org”的所有新聞動態 >> 實訓2 定製BdRaceNews爬蟲項目的中間件 ◆ 課後習題 >> 課後習題

講的東西很多，但都不深入，看完後感覺是，略知一二，卻不會動手實操。

Python不好的兄弟，別從這本書學爬蟲