
韋瑋
隨着大數據時代的到來,我們經常需要在海量數據的互聯網環境中搜集一些特定的數據並對其進行分析,我們可以使用網絡爬蟲對這些特定的數據進行爬取,並對一些無關的數據進行過濾,將目標數據篩選出來。對特定的數據進行爬取的爬蟲,我們將其稱爲聚焦網絡爬蟲。在大數據時代,聚焦網絡爬蟲的應用需求越來越大。本書從系統化的視角,爲那些想學習Python網絡爬蟲或者正在研究Python網絡爬蟲的朋友們提供了一個全面的參考,讓讀者可以系統地學習Python網絡爬蟲的方方面面,在理解並掌握了本書的實例之後,能夠獨立編寫出自己的Python網絡爬蟲項目,並且能夠勝任Python網絡爬蟲工程師相關崗位的工作。
內容冗長,而且不全,名不符實。書中介紹的方法僅適合靜態頁面的爬取,無法爬取AJAX生成的頁面,而後者越來越成爲網站的主流技術,特別是移動頁面。部分內容僅適合參考。
開頭部分太不友好了,不用requests庫有點遺憾。ajax和selenium也沒有講到,scrapy講的也不是很全面!大體上還可以看看!
有些初級,書中對scrapy功能應用並不全面
一星給通俗詳細的語言,小白還能跟着學學邏輯,但是一本技術書,你自己放的代碼都編譯不成功,是什麼鬼?
相對於Scrapy0.25文檔,寫的很通俗易懂。按照文章裏的代碼依樣畫葫蘆確實也能爬到不少數據 但是,還是需要全局性地去掌握了python,網頁的設計構造,還有數據庫的語句,因爲如果只是掌握了簡單的基礎,讀起來很痛苦,當然很痛苦我也讀完了,攤手,我總是安慰自己:裏面不懂的內容和你自己的智力沒有關係,如果掌握了全面的知識,現在的問題就不是問題了。 但是爲什麼不掌握了所有的基礎知識再來看這本書呢,畢竟知識的掌握和應用,總是相輔相成的,就像你瞭解一個地方,博覽羣書固然不錯,但是親身踏足也許也沒有什麼不好,當然我總是這樣安慰自己,知道了一個知識點一門編程語言的應用場景,再去系統學習這門語言,會有很多不一樣的角度 另外Fiddler對於mac用戶非常不友好,希望韋大大能介紹一款用戶界面友好的抓包軟件 最後,這本書只是一個起點,想要深刻了解爬蟲,乃至數據分析,還要繼續學習
1.scrapy框架寫的很細(贊贊贊👍) 2.防反爬取:模擬登錄,IP池,用戶池,設置延時 3.數據導入數據庫 4.沒有涉及的:沒有細寫分佈式爬取。數據處理不夠詳細(得另找書看看數據可視化numpy,matplotlib,pandos之類的,可以看看《Python網絡數據採集》《Python數據處理》) 總體不錯,買了實體書看了一遍
本書由淺入深,循序漸進地講解了Python網絡爬蟲系列知識,理論與實踐相結合,讀起來並不會感覺到枯燥。 書中案例基本以python3來實現,但也照顧到了還一直堅持使用python2的讀者。從使用urllib等標準庫寫一些簡單的定向爬蟲,到用Scarpy框架來實現一些較複雜的爬蟲,各種知識點都有涵蓋。喜歡爬蟲的此書一定不要錯過,值得一讀。
看開頭幾章節不像本好書,寫的太生硬了,有點晦澀難懂。但是從講編程開始,就變得流暢多了。小白直接略過前幾章,往後面看,會有收穫的。我能給個七八分吧,畢竟還沒看完,看完再總結。
雖然已經讀完一遍,而且和b站上的一個視頻感覺是配套的。內容一模一樣。但是還是不甚了了,需要再讀一遍,邊讀邊操作。
本書從技術、工具與實戰3個維度講解了Python網絡爬蟲: 技術維度:詳細講解了Python網絡爬蟲實現的核心技術,包括網絡爬蟲的工作原理、如何用urllib庫編寫網絡爬蟲、爬蟲的異常處理、正則表達式、爬蟲中Cookie的使用、爬蟲的瀏覽器僞裝技術、定向爬取技術、反爬蟲技術,以及如何自己動手編寫網絡爬蟲; 工具維度:以流行的Python網絡爬蟲框架Scrapy爲對象,詳細講解了Scrapy的功能使用、高級技巧、架構設計、實現原理,以及如何通過Scrapy來更便捷、高效地編寫網絡爬蟲; 實戰維度:以實戰爲導向,是本書的主旨,除了完全通過手動編程實現網絡爬蟲和通過Scrapy框架實現網絡爬蟲的實戰案例以外,本書還有博客爬取、圖片爬取、模擬登錄等多個綜合性的網絡爬蟲實踐案例。 作者在Python領域有非常深厚的積累,不僅精通Python網絡爬蟲,在Python機器學習、Python數據分析與挖掘、Python Web開發等多個領域都有豐富的實戰經驗