Scrapy網絡爬蟲實戰

講到了基礎的urlib，re，requests以及bs4，也是本人以前用的最多的爬蟲工具。進階層面的有css，XPath，selenium，也都非常實用，另外，如果用selenium的webdriver的send_keys()方法的時候，有些帶安全控件的輸入框是無法被輸入的，這裏可以用pyautogui的模擬鍵盤輸入，具體方法知乎也有，建議ipython也走一遍。而且說到pyautogui，我發現它真的可以解決很多自動化問題哦，配合郵件什麼的~最後scrapy的框架本身也很棒，比自己之前寫的爬蟲有條理多了，雖然不是很好理解，但是一旦搞通了還是能提高不少效率的。本書雖然代碼排版有點不太友好，但是確實幫到不少，好評~

專門講Scrapy的書也沒幾本，這本還算可以，最起碼應該講的都講清楚了，可以上手幹活了。如果要深入研究Scrapy，可以再去看相關的文章 隨着見識的增長，越來越認識到，開發高效的爬蟲需要的是綜合能力，而不僅僅是調框架，綜合能力包括數據結構算法（圖樹堆）、網絡基礎（應用層）、數據庫、正則、Linux……算了，我乾脆說需要一個科班得了[裂開]

Scrapy網絡爬蟲實戰 東郭大貓 194個想法 ◆ 第1章 Python開發環境的搭建 >> 第1章Python開發環境的搭建 ◆ 1.1 Python SDK安裝 >> 1.1 Python SDK安裝 >> 1.1.1 在Windows上安裝Python >> 1.1.2 在Ubuntu上安裝Python ◆ 1.2 安裝開發工具PyCharm社區版 >> 1.2 安裝開發工具PyCharm社區版 ◆ 1.3 安裝開發工具Visual Studio社區版 >> 1.3 安裝開發工具Visual Studio社區版 ◆ 第2章 爬蟲基礎知識 >> 第2章爬蟲基礎知識 ◆ 2.1 爬蟲原理 >> 2.1 爬蟲原理 >> 2.1.1 爬蟲運行基本流程 >> 2.1.2 HTTP請求過程 ◆ 2.2 網頁分析方法1：瀏覽器開發人員工具 >> 2.2 網頁分析方法1：瀏覽器開發人員工具 >> 2.2.1 Elements面板 >> 2.2.2 Network面板 ◆ 2.3 網頁分析方法2：XPath語法 >> 2.3 網頁分析方法2：XPath語法 >> 2.3.1 XPath節點 >> 2.3.2 XPath語法 >> 2.3.3 XPath軸 >> 2.3.4 XPath運算符 ◆ 2.4 網頁分析方法3：CSS選擇語法 >> 2.4 網頁分析方法3：CSS選擇語法 >> 2.4.1 元素選擇器 >> 2.4.2 類選擇器 >> 2.4.3 ID選擇器 >> 2.4.4 屬性選擇器 >> 2.4.5 後代選擇器 >> 2.4.6 子元素選擇器 >> 2.4.7 相鄰兄弟選擇器 ◆ 2.5 網頁分析方法4：正則表達式 >> 2.5 網頁分析方法4：正則表達式 >> 2.5.1 提取指定字符 >> 2.5.2 預定義字符集 >> 2.5.3 數量限定 >> 2.5.4 分支匹配 >> 2.5.5 分組 >> 2.5.6 零寬斷言 >> 2.5.7 貪婪模式與非貪婪模式 >> 2.5.8 Python中的正則表達式 ◆ 2.6 爬蟲常用類庫1：Python中的HTTP基本庫urllib >> 2.6 爬蟲常用類庫1：Python中的HTTP基本庫urllib >> 2.6.1 發送請求 >> 2.6.2 使用Cookie ◆ 2.7 爬蟲常用類庫2：更人性化的第三方庫requests >> 2.7 爬蟲常用類庫2：更人性化的第三方庫requests >> 2.7.1 發送請求 >> 2.7.2 請求頭 >> 2.7.3 響應內容 >> 2.7.4 響應狀態碼 >> 2.7.5 cookies參數 >> 2.7.6 重定向與請求歷史 >> 2.7.7 超時 >> 2.7.8 設置代理 >> 2.7.9 會話對象 ◆ 2.8 爬蟲常用類庫3：元素提取利器BeautifulSoup >> 2.8 爬蟲常用類庫3：元素提取利器BeautifulSoup >> 2.8.1 安裝BeautifulSoup >> 2.8.2 安裝解析器 >> 2.8.3 BeautifulSoup使用方法 >> 2.8.4 BeautifulSoup對象 >> 2.8.5 遍歷文檔樹 >> 2.8.6 搜索文檔樹 >> 2.8.7 BeautifulSoup中的CSS選擇器 ◆ 2.9 爬蟲常用類庫4：Selenium操縱瀏覽器 >> 2.9 爬蟲常用類庫4：Selenium操縱瀏覽器 >> 2.9.1 安裝Selenium >> 2.9.2 Selenium的基本使用方法 >> 2.9.3 Selenium Webdriver的原理 >> 2.9.4 Selenium中的元素定位方法 >> 2.9.5 Selenium Webdriver基本操作 >> 2.9.6 Selenium實戰：抓取拉鉤網招聘信息 ◆ 2.10 爬蟲常用類庫5：Scrapy爬蟲框架 >> 2.10 爬蟲常用類庫5：Scrapy爬蟲框架 >> 2.10.1 安裝Scrapy >> 2.10.2 Scrapy簡介 ◆ 2.11 基本爬蟲實戰：抓取cnBeta網站科技類文章 >> 2.11 基本爬蟲實戰：抓取cnBeta網站科技類文章 >> 2.11.1 URL管理器 >> 2.11.2 數據下載器 >> 2.11.3 數據分析器 >> 2.11.4 數據保存器 >> 2.11.5 調度器 ◆ 第3章 Scrapy命令行與Shell >> 第3章Scrapy命令行與Shell ◆ 3.1 Scrapy命令行介紹 >> 3.1 Scrapy命令行介紹 >> 3.1.1 使用startproject創建項目 >> 3.1.2 使用genspider創建爬蟲 >> 3.1.3 使用crawl啓動爬蟲 >> 3.1.4 使用list查看爬蟲 >> 3.1.5 使用fetch獲取數據 >> 3.1.6 使用runspider運行爬蟲 >> 3.1.7 通過view使用瀏覽器打開URL >> 3.1.8 使用parse測試爬蟲 ◆ 3.2 Scrapy Shell命令行 >> 3.2 Scrapy Shell命令行 >> 3.2.1 Scrapy Shell的用法 >> 3.2.2 實戰：解析名人名言網站 ◆ 第4章 Scrapy爬蟲 >> 第4章Scrapy爬蟲 ◆ 4.1 編寫爬蟲 >> 4.1 編寫爬蟲 >> 4.1.1 scrapy.Spider爬蟲基本類 >> 4.1.2 start_requests()方法 >> 4.1.3 parse(response)方法 >> 4.1.4 Selector選擇器 ◆ 4.2 通用爬蟲 >> 4.2 通用爬蟲 >> 4.2.1 CrawlSpider >> 4.2.2 XMLFeedSpider >> 4.2.3 CSVFeedSpider >> 4.2.4 SitemapSpider ◆ 4.3 爬蟲實戰 >> 4.3 爬蟲實戰 >> 4.3.1 實戰1：CrawlSpider爬取名人名言 >> 4.3.2 實戰2：XMLFeedSpider爬取伯樂在線的RSS >> 4.3.3 實戰3：CSVFeedSpider提取csv文件數據 >> 4.3.4 實戰4：SitemapSpider爬取博客園文章 ◆ 第5章 Scrapy管道 >> 第5章Scrapy管道 ◆ 5.1 管道簡介 >> 5.1 管道簡介 ◆ 5.2 編寫自定義管道 >> 5.2 編寫自定義管道 ◆ 5.3 下載文件和圖片 >> 5.3 下載文件和圖片 >> 5.3.1 文件管道 >> 5.3.2 圖片管道 ◆ 5.4 數據庫存儲MySQL >> 5.4 數據庫存儲MySQL >> 5.4.1 在Ubuntu上安裝MySQL >> 5.4.2 在Windows上安裝MySQL >> 5.4.3 MySQL基礎 >> 5.4.4 MySQL基本操作 >> 5.4.5 Python操作MySQL ◆ 5.5 數據庫存儲MongoDB >> 5.5 數據庫存儲MongoDB >> 5.5.1 在Ubuntu上安裝MongoDB >> 5.5.2 在Windows上安裝MongoDB >> 5.5.3 MongoDB基礎 >> 5.5.4 MongoDB基本操作 >> 5.5.5 Python操作MongoDB ◆ 5.6 實戰：爬取鏈家二手房信息並保存到數據庫 >> 5.6 實戰：爬取鏈家二手房信息並保存到數據庫 ◆ 第6章 Request與Response >> 第6章Request與Response ◆ 6.1 Request對象 >> 6.1 Request對象 >> 6.1.1 Request類詳解 >> 6.1.2 Request回調函數與錯誤處理 ◆ 6.2 Response >> 6.2 Response >> 6.2.1 Response類詳解 >> 6.2.2 Response子類 ◆ 第7章 Scrapy中間件 >> 第7章Scrapy中間件 ◆ 7.1 編寫自定義Spider中間件 >> 7.1 編寫自定義Spider中間件 >> 7.1.1 激活中間件 >> 7.1.2 編寫Spider中間件 ◆ 7.2 Spider內置中間件 >> 7.2 Spider內置中間件 >> 7.2.1 DepthMiddleware爬取深度中間件 >> 7.2.3 OffsiteMiddleware過濾請求中間件 >> 7.2.5 UrlLengthMiddleware網址長度限制中間件 ◆ 7.3 編寫自定義下載器中間件 >> 7.3 編寫自定義下載器中間件 >> 7.3.1 激活中間件 >> 7.3.2 編寫下載器中間件 ◆ 7.4 下載器內置中間件 >> 7.4 下載器內置中間件 >> 7.4.1 CookiesMiddleware >> 7.4.2 HttpProxyMiddleware ◆ 7.5 實戰：爲爬蟲添加中間件 >> 7.5 實戰：爲爬蟲添加中間件 ◆ 第8章 Scrapy配置與內置服務 >> 第8章Scrapy配置與內置服務 ◆ 8.1 Scrapy配置簡介 >> 8.1 Scrapy配置簡介 >> 8.1.1 命令行選項（優先級最高） >> 8.1.2 每個爬蟲內配置 >> 8.1.3 項目設置模塊 >> 8.1.4 默認的命令行配置 >> 8.1.5 默認全局配置（優先級最低） ◆ 8.2 日 志 >> 8.2 日 志日誌是查看程序運行狀態 ◆ 8.3 數據收集 >> 8.3 數據收集 ◆ 8.4 發送郵件 >> 8.4 發送郵件 >> 8.4.1 簡單例子 >> 8.4.2 MailSender類 >> 8.4.3 在settings.py中對Mail進行設置 ◆ 8.5 實戰：抓取貓眼電影TOP100榜單數據 >> 8.5 實戰：抓取貓眼電影TOP100榜單數據 >> 8.5.1 分析頁面元素 >> 8.5.2 創建項目 >> 8.5.3 編寫items.py >> 8.5.4 編寫管道pipelines.py >> 8.5.5 編寫爬蟲文件top100.py ◆ 第9章 模擬登錄 >> 第9章模擬登錄 ◆ 9.1 模擬提交表單 >> 9.1 模擬提交表單 ◆ 9.2 用Cookie模擬登錄狀態 >> 9.2 用Cookie模擬登錄狀態 ◆ 9.3 項目實戰 >> 9.3 項目實戰 >> 9.3.1 實戰1：使用FormRequest模擬登錄豆瓣 >> 9.3.2 實戰2：使用Cookie登錄 ◆ 第10章 Scrapy爬蟲優化 >> 第10章Scrapy爬蟲優化 ◆ 10.1 Scrapy+MongoDB實戰：抓取並保存IT之家博客新聞 >> 10.1 Scrapy+MongoDB實戰：抓取並保存IT之家博客新聞 >> 10.1.1 確定目標 >> 10.1.2 創建項目 >> 10.1.3 編寫items.py文件 >> 10.1.4 編寫爬蟲文件news.py >> 10.1.5 編寫管道pipelines.py >> 10.1.6 編寫settings.py >> 10.1.7 運行爬蟲 ◆ 10.2 用Benchmark進行本地環境評估 >> 10.2 用Benchmark進行本地環境評估 ◆ 10.3 擴展爬蟲 >> 10.3 擴展爬蟲 >> 10.3.1 增大併發 >> 10.3.2 關閉Cookie >> 10.3.3 關閉重試 >> 10.3.4 減少下載超時時間 >> 10.3.5 關閉重定向 >> 10.3.6 AutoThrottle擴展 ◆ 第11章 Scrapy項目實戰：爬取某社區用戶詳情 >> 第11章Scrapy項目實戰：爬取某社區用戶詳情 ◆ 11.1 項目分析 >> 11.1 項目分析 >> 11.1.1 頁面分析 >> 11.1.2 抓取流程 ◆ 11.2 創建爬蟲 >> 11.2 創建爬蟲 >> 1

基本上等於就是翻譯的scrapy的項目文檔。 最後一章的項目實例算作者自己的內容。 因此評價一般

寫得不錯，因爲要處理數據，現學現用，看了本書對正則有了較全面的瞭解，好書………

寫得不太好，很多知識點都只是說了大概，貼了代碼，並沒有詳細地說明作用。看完之後並不能做到立即開始寫項目，還要大量找別的資料

不夠細緻。這種程度，乾脆百度。

屬於快速閱讀。之前搞過一部分。所以選擇性看了自己不熟悉和感興趣的

Scrapy網絡爬蟲實戰 東郭大貓 194個想法 ◆ 第1章 Python開發環境的搭建 >> 第1章Python開發環境的搭建 ◆ 1.1 Python SDK安裝 >> 1.1 Python SDK安裝 >> 1.1.1 在Windows上安裝Python >> 1.1.2 在Ubuntu上安裝Python ◆ 1.2 安裝開發工具PyCharm社區版 >> 1.2 安裝開發工具PyCharm社區版 ◆ 1.3 安裝開發工具Visual Studio社區版 >> 1.3 安裝開發工具Visual Studio社區版 ◆ 第2章 爬蟲基礎知識 >> 第2章爬蟲基礎知識 ◆ 2.1 爬蟲原理 >> 2.1 爬蟲原理 >> 2.1.1 爬蟲運行基本流程 >> 2.1.2 HTTP請求過程 ◆ 2.2 網頁分析方法1：瀏覽器開發人員工具 >> 2.2 網頁分析方法1：瀏覽器開發人員工具 >> 2.2.1 Elements面板 >> 2.2.2 Network面板 ◆ 2.3 網頁分析方法2：XPath語法 >> 2.3 網頁分析方法2：XPath語法 >> 2.3.1 XPath節點 >> 2.3.2 XPath語法 >> 2.3.3 XPath軸 >> 2.3.4 XPath運算符 ◆ 2.4 網頁分析方法3：CSS選擇語法 >> 2.4 網頁分析方法3：CSS選擇語法 >> 2.4.1 元素選擇器 >> 2.4.2 類選擇器 >> 2.4.3 ID選擇器 >> 2.4.4 屬性選擇器 >> 2.4.5 後代選擇器 >> 2.4.6 子元素選擇器 >> 2.4.7 相鄰兄弟選擇器 ◆ 2.5 網頁分析方法4：正則表達式 >> 2.5 網頁分析方法4：正則表達式 >> 2.5.1 提取指定字符 >> 2.5.2 預定義字符集 >> 2.5.3 數量限定 >> 2.5.4 分支匹配 >> 2.5.5 分組 >> 2.5.6 零寬斷言 >> 2.5.7 貪婪模式與非貪婪模式 >> 2.5.8 Python中的正則表達式 ◆ 2.6 爬蟲常用類庫1：Python中的HTTP基本庫urllib >> 2.6 爬蟲常用類庫1：Python中的HTTP基本庫urllib >> 2.6.1 發送請求 >> 2.6.2 使用Cookie ◆ 2.7 爬蟲常用類庫2：更人性化的第三方庫requests >> 2.7 爬蟲常用類庫2：更人性化的第三方庫requests >> 2.7.1 發送請求 >> 2.7.2 請求頭 >> 2.7.3 響應內容 >> 2.7.4 響應狀態碼 >> 2.7.5 cookies參數 >> 2.7.6 重定向與請求歷史 >> 2.7.7 超時 >> 2.7.8 設置代理 >> 2.7.9 會話對象 ◆ 2.8 爬蟲常用類庫3：元素提取利器BeautifulSoup >> 2.8 爬蟲常用類庫3：元素提取利器BeautifulSoup >> 2.8.1 安裝BeautifulSoup >> 2.8.2 安裝解析器 >> 2.8.3 BeautifulSoup使用方法 >> 2.8.4 BeautifulSoup對象 >> 2.8.5 遍歷文檔樹 >> 2.8.6 搜索文檔樹 >> 2.8.7 BeautifulSoup中的CSS選擇器 ◆ 2.9 爬蟲常用類庫4：Selenium操縱瀏覽器 >> 2.9 爬蟲常用類庫4：Selenium操縱瀏覽器 >> 2.9.1 安裝Selenium >> 2.9.2 Selenium的基本使用方法 >> 2.9.3 Selenium Webdriver的原理 >> 2.9.4 Selenium中的元素定位方法 >> 2.9.5 Selenium Webdriver基本操作 >> 2.9.6 Selenium實戰：抓取拉鉤網招聘信息 ◆ 2.10 爬蟲常用類庫5：Scrapy爬蟲框架 >> 2.10 爬蟲常用類庫5：Scrapy爬蟲框架 >> 2.10.1 安裝Scrapy >> 2.10.2 Scrapy簡介 ◆ 2.11 基本爬蟲實戰：抓取cnBeta網站科技類文章 >> 2.11 基本爬蟲實戰：抓取cnBeta網站科技類文章 >> 2.11.1 URL管理器 >> 2.11.2 數據下載器 >> 2.11.3 數據分析器 >> 2.11.4 數據保存器 >> 2.11.5 調度器 ◆ 第3章 Scrapy命令行與Shell >> 第3章Scrapy命令行與Shell ◆ 3.1 Scrapy命令行介紹 >> 3.1 Scrapy命令行介紹 >> 3.1.1 使用startproject創建項目 >> 3.1.2 使用genspider創建爬蟲 >> 3.1.3 使用crawl啓動爬蟲 >> 3.1.4 使用list查看爬蟲 >> 3.1.5 使用fetch獲取數據 >> 3.1.6 使用runspider運行爬蟲 >> 3.1.7 通過view使用瀏覽器打開URL >> 3.1.8 使用parse測試爬蟲 ◆ 3.2 Scrapy Shell命令行 >> 3.2 Scrapy Shell命令行 >> 3.2.1 Scrapy Shell的用法 >> 3.2.2 實戰：解析名人名言網站 ◆ 第4章 Scrapy爬蟲 >> 第4章Scrapy爬蟲 ◆ 4.1 編寫爬蟲 >> 4.1 編寫爬蟲 >> 4.1.1 scrapy.Spider爬蟲基本類 >> 4.1.2 start_requests()方法 >> 4.1.3 parse(response)方法 >> 4.1.4 Selector選擇器 ◆ 4.2 通用爬蟲 >> 4.2 通用爬蟲 >> 4.2.1 CrawlSpider >> 4.2.2 XMLFeedSpider >> 4.2.3 CSVFeedSpider >> 4.2.4 SitemapSpider ◆ 4.3 爬蟲實戰 >> 4.3 爬蟲實戰 >> 4.3.1 實戰1：CrawlSpider爬取名人名言 >> 4.3.2 實戰2：XMLFeedSpider爬取伯樂在線的RSS >> 4.3.3 實戰3：CSVFeedSpider提取csv文件數據 >> 4.3.4 實戰4：SitemapSpider爬取博客園文章 ◆ 第5章 Scrapy管道 >> 第5章Scrapy管道 ◆ 5.1 管道簡介 >> 5.1 管道簡介 ◆ 5.2 編寫自定義管道 >> 5.2 編寫自定義管道 ◆ 5.3 下載文件和圖片 >> 5.3 下載文件和圖片 >> 5.3.1 文件管道 >> 5.3.2 圖片管道 ◆ 5.4 數據庫存儲MySQL >> 5.4 數據庫存儲MySQL >> 5.4.1 在Ubuntu上安裝MySQL >> 5.4.2 在Windows上安裝MySQL >> 5.4.3 MySQL基礎 >> 5.4.4 MySQL基本操作 >> 5.4.5 Python操作MySQL ◆ 5.5 數據庫存儲MongoDB >> 5.5 數據庫存儲MongoDB >> 5.5.1 在Ubuntu上安裝MongoDB >> 5.5.2 在Windows上安裝MongoDB >> 5.5.3 MongoDB基礎 >> 5.5.4 MongoDB基本操作 >> 5.5.5 Python操作MongoDB ◆ 5.6 實戰：爬取鏈家二手房信息並保存到數據庫 >> 5.6 實戰：爬取鏈家二手房信息並保存到數據庫 ◆ 第6章 Request與Response >> 第6章Request與Response ◆ 6.1 Request對象 >> 6.1 Request對象 >> 6.1.1 Request類詳解 >> 6.1.2 Request回調函數與錯誤處理 ◆ 6.2 Response >> 6.2 Response >> 6.2.1 Response類詳解 >> 6.2.2 Response子類 ◆ 第7章 Scrapy中間件 >> 第7章Scrapy中間件 ◆ 7.1 編寫自定義Spider中間件 >> 7.1 編寫自定義Spider中間件 >> 7.1.1 激活中間件 >> 7.1.2 編寫Spider中間件 ◆ 7.2 Spider內置中間件 >> 7.2 Spider內置中間件 >> 7.2.1 DepthMiddleware爬取深度中間件 >> 7.2.3 OffsiteMiddleware過濾請求中間件 >> 7.2.5 UrlLengthMiddleware網址長度限制中間件 ◆ 7.3 編寫自定義下載器中間件 >> 7.3 編寫自定義下載器中間件 >> 7.3.1 激活中間件 >> 7.3.2 編寫下載器中間件 ◆ 7.4 下載器內置中間件 >> 7.4 下載器內置中間件 >> 7.4.1 CookiesMiddleware >> 7.4.2 HttpProxyMiddleware ◆ 7.5 實戰：爲爬蟲添加中間件 >> 7.5 實戰：爲爬蟲添加中間件 ◆ 第8章 Scrapy配置與內置服務 >> 第8章Scrapy配置與內置服務 ◆ 8.1 Scrapy配置簡介 >> 8.1 Scrapy配置簡介 >> 8.1.1 命令行選項（優先級最高） >> 8.1.2 每個爬蟲內配置 >> 8.1.3 項目設置模塊 >> 8.1.4 默認的命令行配置 >> 8.1.5 默認全局配置（優先級最低） ◆ 8.2 日 志 >> 8.2 日 志日誌是查看程序運行狀態 ◆ 8.3 數據收集 >> 8.3 數據收集 ◆ 8.4 發送郵件 >> 8.4 發送郵件 >> 8.4.1 簡單例子 >> 8.4.2 MailSender類 >> 8.4.3 在settings.py中對Mail進行設置 ◆ 8.5 實戰：抓取貓眼電影TOP100榜單數據 >> 8.5 實戰：抓取貓眼電影TOP100榜單數據 >> 8.5.1 分析頁面元素 >> 8.5.2 創建項目 >> 8.5.3 編寫items.py >> 8.5.4 編寫管道pipelines.py >> 8.5.5 編寫爬蟲文件top100.py ◆ 第9章 模擬登錄 >> 第9章模擬登錄 ◆ 9.1 模擬提交表單 >> 9.1 模擬提交表單 ◆ 9.2 用Cookie模擬登錄狀態 >> 9.2 用Cookie模擬登錄狀態 ◆ 9.3 項目實戰 >> 9.3 項目實戰 >> 9.3.1 實戰1：使用FormRequest模擬登錄豆瓣 >> 9.3.2 實戰2：使用Cookie登錄 ◆ 第10章 Scrapy爬蟲優化 >> 第10章Scrapy爬蟲優化 ◆ 10.1 Scrapy+MongoDB實戰：抓取並保存IT之家博客新聞 >> 10.1 Scrapy+MongoDB實戰：抓取並保存IT之家博客新聞 >> 10.1.1 確定目標 >> 10.1.2 創建項目 >> 10.1.3 編寫items.py文件 >> 10.1.4 編寫爬蟲文件news.py >> 10.1.5 編寫管道pipelines.py >> 10.1.6 編寫settings.py >> 10.1.7 運行爬蟲 ◆ 10.2 用Benchmark進行本地環境評估 >> 10.2 用Benchmark進行本地環境評估 ◆ 10.3 擴展爬蟲 >> 10.3 擴展爬蟲 >> 10.3.1 增大併發 >> 10.3.2 關閉Cookie >> 10.3.3 關閉重試 >> 10.3.4 減少下載超時時間 >> 10.3.5 關閉重定向 >> 10.3.6 AutoThrottle擴展 ◆ 第11章 Scrapy項目實戰：爬取某社區用戶詳情 >> 第11章Scrapy項目實戰：爬取某社區用戶詳情 ◆ 11.1 項目分析 >> 11.1 項目分析 >> 11.1.1 頁面分析 >> 11.1.2 抓取流程 ◆ 11.2 創建爬蟲 >> 11.2 創建爬蟲 >> 11.2.1 cookies收集器 >> 11.2.2 Items類 >> 11.2.3 Pipeline管道編寫 >> 11.2.4 Spider爬蟲文件 >> 11.2.5 Middlewars中間件編寫