Python數據預處理技術與實踐

當前，大數據與人工智能技術炙手可熱，其對應的工作崗位也逐年增加，薪資也較爲誘人。我們在做大數據與人工智能處理時，不可避免地會遇到數據的問題。現實中的數據是不完整的，比如存在缺失值、干擾值等髒數據，這樣就沒有辦法直接挖掘數據的價值，也不能將其直接應用於人工智能設備。爲了提高數據的質量產生了數據預處理技術。數據預處理主要是指對原始數據進行文本抽取、數據清理、數據集成、數據變換、數據降維等處理，其目的是提高數據質量，以更好地提升算法模型的性能，其在數據挖掘、自然語言處理、機器學習、深度學習算法中應用廣泛。數據預處理是一項很龐雜的工程，當你面對一堆數據手足無措的時候，當你面對數據預處理背後的坑一籌莫展的時候，當你的算法性能遲遲不能提升的時候，本書可以幫助你解決以上問題。本書從什麼是數據預處理及其相關基礎知識入手，分別介紹了網絡爬蟲、數據抽取、數據清洗、數據集成、數據變換、數據向量化、數據規約等技術，並結合實際項目和案例幫助讀者將所學知識快速應用於工程實踐，相信會對數據預處理感興趣的讀者和大數據從業者有所幫助。

從內容而言，本書的預處理主要是針對文本數據的，儘管也包含也一些通用的預處理技術，但基本就是點到爲止。因此 ，專門學習通用數據預處理技術的童鞋，這本書會讓你失望的，對於學習自然語言處理的同學，這本書都是有一定的閱讀和參考價值。

這本書的定位應該是自然語言處理的碩士閱讀論文前的入門教程。

花了幾個小時把以前上課的教材瀏覽了一遍，幾年前還是有認真上過這門課，如今看來還是有作用的。

大概讀了一遍，簡單介紹了好多實用的技術框架，後面代碼實現就OK了。。。