利用Python进行数据分析（原书第2版）

这是陪伴我走过至暗时刻的一本课本书籍，对我来说意义非凡，因为一定程度上治愈了我的心理问题，或者可以说是改善了不良脑回路？经历了两次重度抑郁，并不后悔带它见证我一段人生路途中的艰辛、坎坷甚至是狼狈。正因为人都有理想，所以该你经历的事情总得一件也不落下去经历一遍，方能坚定真正理想。抑郁症可能会伴随着我终身，但这也并不妨碍每一次我的向前迈步。首先你得自己看得起自己，再者看清你的价值根本不需要过劳去证明（身心透支），接着去奏响由柴米油盐酱醋茶谱成的生活主旋律吧，最终它们将稳稳当当地契合上音阶里do re mi fa sol la si七个音符，这便是理想与现实之间的奇妙联系。每一个来时的自己都不会被我所厌弃，如我对这本“无生命”却有灵的书的情感一样，不因知识而傲慢恰恰是阅读后真实的成长，其核心价值。It’s my dream still, not a lie for sale. 我的目标是完成人生的交响乐，活成一首幸福的诗歌。收获意外的自我突破，舞出精彩跳得畅快，而不是争夺比赛的第一名。知识并不难学，只需要你尊重它。 （我看书是为了缓慢增长知识练逻辑，不是为了快速升职发财臭显摆！！！！！我的书评更加不会是谁的AI选书筛子！这都已经活在两个丝毫不相干的世界了，你看不懂 能怪我吗？啊！）

一本好书，相当基础，很适合回顾一些基本细节 还是那句话，每一个工具有它最擅长的地方，虽然Python能做很多东西，但是能用Excel，能用BI，能用SQL，为什么要走弯路呢？ 另外，工具最终也是为业务服务的，业务Sense还是排第一位，你需要体系化的深度的思考，你也一定会有体系化的深度的思考。 这些内容结合你对工具的熟练使用，最终成为了你的背书。 系统梳理了一些pandas包的常用命令，供自己和你随时取用。 1、Series/DataFrame生成数组型对象，其中重要的参数data/index/columns pd.Sereis([1,2,3,4]) 生成[1,2,3,4]的Series数组 2、isnull/notnull检查缺失数据 pd.isnull(df)/df.isnull() 逐个检查df中的元素是否为NA 3、head默认选出头部的五行 df.head() 4、reindex用于创建一个符合新索引的新对象，默认修改行索引，利用columns参数修改列索引 df.reindex(columns=['zh','wu','c']) 按照abc的顺序重建索引，注意不会修改原来的数据，如果是新加的索引，则对应数据为NA 5、drop删除数据（默认轴0） inplace=True直接清除被删除的数据 df.drop(['qi','wa'],axis=1) 删除ab两列数据，注意原df数据不变 6、loc轴标签切片 df.loc['c':'e','wu':'wa'] 两端闭区间，输出三行三列数据 7、iloc整数标签切片 df.iloc[3:5,2:3] 左闭右开，输出两行一列数据 8、describe一次性产生多个汇总统计 df.describe() 常用来看df的概览情况 9、sum/count/mean/cumsum求和/计数/平均/累加 df.sum(axis=1) 沿着列方向进行求和操作 10、corr相关系数，一列和另一列的相关系数 df.corr()、df.cov()，以DataFrame的形式返回相关性和协方差 df.zh.corr(df.qi)df['zh'].corr(df['wa']) 两种写法均可，都是有效的Python属性 11、value_counts计算Series中元素出现的个数，按照降序排序 df['qi'].value_counts() 计算'qi'列中不同元素的个数 12、read_csv/read_excel从相关文件中读取分隔好的数据 df_xz = pd.read_excel(r'D:\python\test1.xlsx') 很多参数和细节，特别是中文路径，以及分隔符等等 13、dropna默认删除包含缺失值的行 how='all'为删除所有值为NA的行 df.dropna(how='all',axis=1) 删除元素全为NA的列 14、fillna补全缺失值 inplace=True直接修改已经存在的对象method：根据上一个值ffill或者下一个值bfill来插值 df.fillna(value=df.apply(lambda x:x.mean()),axis=0) 沿着横轴方向（计算每一列的平均值），将其填充在当下列的NA中 15、cut/qcut离散化和分箱，qcut为等长分箱 x：必须是一维数组bins：分成几组right：表示右边是开放还是闭合，默认闭合labels：自定义箱名precision：定义精度，比如2代表两位小数 pd.cut(score,[0,60,80,90,100],right=False,labels=['差','中','良','优秀']) 将分数score按照制定的分组分成优良中差四组 16、merge根据一个或多个键将行进行连接 left/right：左右merge的df分别是什么on：关联的列名是什么，可用left_on和right_on分别指定how：关联关系，默认inner内关联，还有left/right/outer pd.merge(df1,df2,on=['name','key'],how='left'] 连接df1和df2，通过name和key两个字段进行左关联 17、concat拼接数据 axis：默认为0，沿着行拼接，axis=1沿着列拼接 pd.concat([df,df.loc[:,['wa']]]) 将df和df的wa列数据按照行进行拼接 18、groupby聚合生成groupby对象 by：按照什么字段聚合函数：count/sum/mean/median/std/min/max/prod，或自定义函数agg/aggregate：将函数传递给该方法，grouped.agg(lambda x:x.max()-x.min())，将一个极值算法传递给生成的groupby对象 df['zh'].groupby(df['key'].sum()或者是df.groupby(['key'])[['zh','wa']].sum() 按照key列对df的zh列数据进行求和 19、sort_values沿着特定轴对数字进行排序 by：按照那列的数据排序axis=0：默认按照行排序ascending：默认降序 df.sort_values(by=['qi','wa']) 按照qi和wa两列，对df进行排序 20、sample随机抽样 n：取几个数 df.sample(5) 随机抽取DataFrame或Series的5行数据

韦斯是pandas的原创者。pandas是一种流行的Python数据处理工具。我们在第2章中看到过这个工具。pandas是Python中任何数据科学工作流的核心组件。在可预见的将来，它仍将发挥作用。绝对值得你花时间学习它所提供的工具和相关知识。

是pandas的入门指南，不是数据科学的入门指南。优点是面对不同数据处理问题，pandas的处理手段介绍的很详细。书里借鉴了hadley对数据分析问题的基本抽象即拆分，分析，合并来描述pandas语法很有条理性。缺点大概有两个，一个是对语法细节着墨过多，如果是新手可能会限在语法里而抓不住数据分析任务主要处理框架。二是作为17年的书里面很多例子用到的类已经被弃用，作者在自己主页放了抢先的第三版，改进了这个问题。 从我个人来说，其实如果是数据分析入门在学会了python/R的语法后，hadley的r4ds可能更适合入门。r4ds更重视的是整个数据分析过程的大框架：数据导入>整洁>(|变形>可视化>建模>|)>交流。在流程的每个节点上介绍tidyverse的语法。读完以后脑子理由就好像有了一个数据分析任务的探索地图，即便某个语法不记得了也能按图索骥去检索。

#利用python进行数据分析 通过掌握python变成、NumPy库、pandas库以及IPython、Jupyter等工具，可以进行数据处理、清洗、规整、可视化以及建模等分析工作。Anaconda3中自带1000多个数据分析的包，或者选择精简版的Miniconda，安装过程中最好将其加入到系统环境变量，配置好环境后就可以根据书中的代码示例进行练习。

中规中矩的一本技术书吧。大部分讲的是几个库的使用，一边看一边跟着敲到后来头昏脑胀，后面几章大致翻了翻都跳了，等到要用的时候不如再直接查官方文档。收获最大的反而是前几章把Python基本语法复习了下，以及介绍ipython的使用方法。 图书馆把这本书的第一版是放到了统计学的架子上，也是没怎么学过统计学和数据分析，所以很多地方不是看不懂就是不知道有啥用，毕竟这本书没怎么讲原理。感觉很多例子也不够好，自己跟着把例子改了改才懂。最后，严重谴责一下作者不讲jupyter notebook的使用方法，跟着书敲到了一半后才发现有多好用。[流泪][流泪][流泪]

本书由Python pandas项目创始人Wes McKinney亲笔撰写，详细介绍利用Python进行操作、处理、清洗和规整数据等方面的具体细节和基本要点。第2版针对Python 3.6进行全面修订和更新，涵盖新版的pandas、NumPy、IPython和Jupyter，并增加大量实际案例，可以帮助你高效解决一系列数据分析问题。

春节假期肝完了，每行代码基本都敲了，感觉是过的最有意义的一个春节了，内容和结构都很好。但是翻译真的很差，非常多地方都很难懂，都要借助ai才能理解。 第一遍都理解了，但是有遗忘，应用估计也不太行，后续复习就通过python金融大数据那本吧。 不过先看因子的书了，几年行研从业零数学编程基础学量化，就算跪着量化这门也要进去😂

如果不拿pandas用于实际工作中的话，会觉得这本书一般般，但如果真的需要用到pandas了，这本书绝对是五星好评的必读书籍！还得需要举一反三多熟练！

如果你看到代码中出现 ....：或....：感到困惑，其实它并没有特殊含义，只是因为一行写不下，在排版中表示紧跟着上一行的内容。IN表示输入行，OUT表示输出行，中括号[ ]内的数字表示行号，很多代码在上下文中是呼应的，所以看行号方便找关联代码。O记的书多读几遍还是蛮舒服的，只是本书排版最开始不好接受，现在已经很熟悉，而且感觉还不错。