数据剖析从零开局实战 数据处了解析 Pandas读取HTML页面 (从0开始数据分析)
本文目录导航：
数据剖析从零开局实战，Pandas读取HTML页面+数据处了解析
前面三篇文章讲了数据剖析虚构环境创立和pandas读写CSV、TSV、JSON、Excel、XML格局的数据，当天咱们继续探求pandas。
一 基本常识概要1.应用Pandas检索HTML页面（read_html函数）
2.实战训练经常使用read_html函数间接失掉页面数据
3.基本数据处置：表头处置、dropna和fillna详解
4.基本数据可视化剖析案例
二 开局入手动脑的read_html函数这里咱们要引见的是Pandas里解析HTML页面的函数：read_html。
检查源码后咱们可以看出，该函数的参数比拟多，上方我挑重点给大家解释几个。
(1)io（最关键参数）
源码注释
AURL,afile-likeobject,,``https``youmighttryremovingthe``s``.我的了解
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。(2)match 源码注释
strorcompiledregularexpression,.+(matchanynon-emptystring).我的了解
字符串或编译的正则表白式，可选蕴含与此正则表白式或字符串婚配的文本的一组表将前往。除非HTML十分便捷，否则您或许须要在此处传递一个非空字符串。默以为“.+”（婚配任何非空字符串）。自动值将前往页面上蕴含的一切<table>标签蕴含的表格。该值将转换为正则表白式，以便BeautifulSoup和LXML之间分歧。(3)flavor 源码注释
flavor:strorNone,4andhtml5libaresynonymouswitheachother,``None``triestouse``lxml``toparseandifthatfailsitfallsbackon``bs4``+``html5lib``.我的了解
要经常使用的解析引擎。bs4和html5lib是彼此的同义词，它们都是为了向后兼容。默以为空，尝试用于lxml解析的自动值，假设失败，则经常使用bs4和html5lib。 2.数据基本处置（1）处置列名#处置列名importre#婚配字符串中恣意空白字符的正则表白式space=(r\s+)deffix_string_spaces(columnsToFix):将列名中的空白字符转变成下划线tempColumnNames=[]#保留处置后的列名#循环处置一切列foritemincolumnsToFix:#婚配到(item):#处置并加出列表(_(((item))))这句有点长触及到列表的一些操作，我解释一下(str2)str1示意被分隔的字符串；str2示意分隔字符串(list1)str2示意按什么字符串启动衔接；list1示意待衔接的列表(str4)示意在列表list2的末尾减少str4这个元素else:#否则间接加出列表(item)returntempColumnNames上方这段代码来自书本，其目标是处置列名，将列名里为空的字符转变成-符号，细心一想，其实这个是可以通用的，比如处置某行数据里为空的，处置某个列表里为空的数据等，复用性很强。
（2）对缺失数据处置之dropna函数dropna()函数：对缺失的数据启动过滤。
罕用参数解析： axis：
源码注释
axis:{0orindex,1orcolumns},default0Determineifrowsorcolumnswhichcontainmissingvaluesareremoved.*0,orindex:Droprowswhichcontainmissingvalues.*1,::0.23.0:Passtupleorlisttodroponmultipleaxes.我的了解
少用，自动值为0，示意删除蕴含缺少值的行；值为1，示意删除蕴含缺少值的列。源码注释
how:{any,all},defaultanyDetermineifroworcolumnisremovedfromDataFrame,whenwehaveatleastoneNAorallNA.*any:IfanyNAvaluesarepresent,dropthatroworcolumn.*all:IfallvaluesareNA,dropthatroworcolumn.我的了解
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。0源码注释
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。1我的了解
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。2inplace： 源码注释
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。3我的了解
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。4 （3）对缺失数据处置之fillna函数fillna()函数：用指定值或插值的方法填充缺失数据。
罕用参数解析： value： 源码注释
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。5我的了解
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。6源码注释
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。7我的了解
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。8源码注释
数据地址（网页地址、蕴含HTML的文件地址或许字符串）。留意lxml只接受HTTP、FTP和文件URL协定。假设你有以“https”扫尾的URL，你可以尝试删除“s”再传入参数。9我的了解
strorcompiledregularexpression,.+(matchanynon-emptystring).0吐个槽：别看源码里的英文注释单词都很便捷，但，太便捷了，基本连不成句子，我都是一个个通常+外表翻译，而后能力弄明白参数的意思。
3.数据爬取实战训练五行代码爬取2019富豪榜（60亿美元以上的）
strorcompiledregularexpression,.+(matchanynon-emptystring).1页面数据：
爬取结果
经过上方实战，你须要知道： 1、不要感觉怎样这么便捷啊（是由于我找好了网站，这个网站数据里只要一个table，数据也比拟洁净）； 2、真正上班中网站或许是不配合的，数据或许是不配合的，这个时刻最好的方法是见仁见智，多看源代码。
4.数据可视化剖析实战训练基于咱们上方拿到的数据，咱们做个便捷的数据可视化和剖析报告。 上方咱们曾经拿到了2019富豪榜（60亿美元以上的）的数据，蕴含排名、姓名、财产数额、财产起源、国度这些消息，明白数据属性后，咱们就该想一下咱们能从那些方面去剖析那些疑问？ 我想到的几个方面： （1）排行榜上各个国度的人数各多少？那些国度最多？ （2）那些公司上榜的人数最多？ （3）排行榜上的人所在的行业散布？
（0）读取数据和数据可视化读取数据咱们间接应用pandans的read_csv函数。
strorcompiledregularexpression,.+(matchanynon-emptystring).2数据可视化，咱们从最便捷的pyecharts模块。
strorcompiledregularexpression,.+(matchanynon-emptystring).3（1）排行榜上各个国度的人数各多少？那些国度最多？strorcompiledregularexpression,.+(matchanynon-emptystring).4从上方数据，咱们可以很显著的发现，富豪榜上富豪的国籍，美国居多，而且可以说是遥遥上游，总共是300人，美国国籍的有106人，占了总数据的1/3还多，这个比拟好了解，美国不时是一个超级大国，各个方面的开展都位列环球前列。
位列第二的是中国，占了43人，也是特意多的，而且关于中国，开展到如今是十分十分不容易的，从1949年成立，到往年2019年，建国70年，从“为中华之崛起而读书”到“为成功中国梦、树立贫弱独裁文化谐和漂亮的社会主义现代化强国而妥协”，作为中国人，我是自豪的。
第三名是德国和俄罗斯，各占20人,德国是个工业大国，欧洲最大经济体，所以德国的强壮是显而易见的，另外俄罗斯，环球面积最大的国度，曾经苏联也是环球第二经济强国，只管苏联解体后不如从前，但近几年普京执政，经济稳步上升。
再前面的国度中以欧洲国度居多，其中第五是印度，其科技实力十散兴旺。
（2）那些公司上榜的人数最多？留意哦~能上这个榜的，财产最低都是60亿美元，从统计数据来看，玛氏公司上榜人数最多，有6个上榜的富豪来自玛氏公司，其次是沃尔玛百货有限公司，有3团体来自该公司，这两个公司都是日化类公司，接上去的：微软、Facebook、谷歌都是科技类公司
不查一下，我还真不知道原来“饿货，快来条士力架”的士力架、“德芙，纵享丝滑”的德芙是来自一家公司的，而且是玛氏公司的，此处双击666。另外沃尔玛在2018年被评比为环球五百强的第一位，莫种意义来说，这就是宇宙最强公司啊~（小时刻我不时以为富迪是最凶猛的超市，长大后我又以为万达是最凶猛的超市，如今，我知道了，是沃尔玛！）
（3）排行榜上的人所在的行业散布？等你回答这局部其实是不好做的，由于咱们失掉到的数据里没有间接和行业相连的数据，惟一能和行业有点咨询的就是公司，这就须要咱们经过公司称号去判别（或许在网上失掉）该公司的类别属性，比如是互联网公司，还是传统行业等等方面。
三 送你的话保持 and 致力 ： 终有所获。
思维很复杂，
成功很幽默，
只需不丢弃，
终有成名日。
—《老表打油诗》
下期见，我是爱猫爱技术的老表，假设感觉本文对你学习有所协助，欢迎点赞、评论、关注我！
Python—pandas笔记2
深化探求Python Pandas的环球：数据处置与操作实战
1. 数据统计与剖析
应用pandas的弱小配置，轻松对CSV数据启动统计剖析:
2. 缺失值治理
3. SettingWithCopyWarning处置打算
4. 字符串处置与转换
5. 轴参数与操作
6. Index提升与个性
7.)
示例：经过键关联电影评分、用户和电影消息，成功数据兼并。
8.)
9. Excel处置
经过以上步骤，你将把握如何高效地经常使用pandas启动数据处置，无论是统计剖析、缺失值处置，还是数据融合与兼并，Pandas都能助你轻松应答。
（一）通常出真知——玩转pandas
经常使用pandas启动数据剖析时，通常是失掉真知的关键途径。
经过不时通常，咱们可以更熟练地把握这一弱小的工具。
以下内容整顿自网上资源，供读者极速相熟pandas。
首先，了解pandas的基本结构和操作是关键。
pandas外围是DataFrame和Series。
DataFrame似乎一个表格，蕴含行和列，其中每一行代表一个样本，每一列代表一个特色。
Series则相似一个一维数组，用于存储繁多维度的数据。
其次，熟练把握pandas的数据操作配置，如数据挑选、排序、兼并、分组等，是提高数据剖析效率的关键。
例如经常使用``或``启动数据挑选，经过`_values`对数据启动排序，经常使用``兼并多个数据集，以及应用``启动数据分组等。
数据荡涤是数据剖析中的关键过程，pandas提供了丰盛的函数来处置缺失值、反双数据和意外值等疑问。
经常使用``删除缺失值，`_duplicates`去除反双数据，以及``统计数值型数据的形容性统计消息等。
在启动数据可视化时，pandas与Matplotlib和Seaborn等库联合经常使用，能够轻松生成各种图表。
例如，经常使用``生成直方图、散点图等，进一步了解数据散布和相关。
此外，学习pandas的初级配置，如数据重塑、期间序列剖析等，将使你在数据剖析畛域更进一步。
应用``或``函数启动数据重塑，把握``和``等期间序列剖析方法。
总之，经过不时通常，熟练把握pandas的用法，将大大提高数据剖析的效率与准确性。
在数据剖析的路线上，不时探求与通常是无法或缺的。
phper