[问题] 请问该用什么方法做爬出来的资料分析

楼主: CCMAKE (夏夜晚风)   2018-10-08 21:51:15
请问各位大大
小弟目前有一个log档 是纪录一些资料的量测结果
现已使用Python把内容所要的数据爬成一个资料结构
大概如下面的格式:
[{'A': '46', 'B': '35', 'C': '27', .......}, {'A': '25', 'B': '13', 'C': '4',
.......}, ...........]
其中A, B, C.....为各个测试项目
后面的value则是每一次量测的结果
我目前是有办法把这个资料结构转成CSV档然后用excel开成表格
不过对于之后要做的资料分析方法有点疑惑
不知道该用什么方法比较好
目前我希望可以把每一笔的资料 跟一个固定的criteria去比较
例如 A项 有个标准值60, B项有个标准值50.....
然后我希望可以执行程式后就抓出有哪几次的实验结果是fail的(低于标准值)
如果我想完成这个工作
请问是直接在Python 里面写程式比较好(处理我爬完之后的这个list)?
或是利用转出的csv, 到excel用他的公式比较好?
(不过这样感觉很麻烦,爬完资料还要再去excel做一次分析)
如果我想在Python 里面完成, 然后直接产生csv档或是excel档
里面就有标示pass或是fail
有没有什么比较推荐的方法或是套件呢?
另外可能还会做平均或是图表之类的资料分析, 假使我现在是这样的资料结构 (list中的
dictionary)
有什么比较好的方法可以达到各种的分析呢 (希望可以直接产生excel的结果档案)
感谢各位的帮忙 :)
作者: f496328mm (为什么会流泪)   2018-10-08 21:53:00
等一下,为什么要把资料结构转成 csv 用 excel 开表格你要用 excel 去做分析?你画图表、作分析,全部都可以在 python 中做
楼主: CCMAKE (夏夜晚风)   2018-10-08 21:57:00
转成csv只是我先试试看转档有没有问题 XD主要还是希望用Python直接解决资料的分析 然后一次输出f大有没有比较推荐的资料分析方法来做我这个list的分析呢?
作者: TuCH (谬客)   2018-10-08 22:01:00
pandas
作者: f496328mm (为什么会流泪)   2018-10-08 22:02:00
你知道 dataframe 吗?去摸摸看 pandas,之后使用用一些条件式就能标示 pass or fail 了你先把 data 转成 pandas.dataframe
楼主: CCMAKE (夏夜晚风)   2018-10-08 22:14:00
感谢建议! 先来研究看看 :)
作者: iftrush (绫绢姊)   2018-10-09 15:08:00
更简单的方法 把A弄成nparraynp.where(A>60, 'Pass', 'Fail')其他以此类推
作者: tommy5617 (地瓜YA!)   2018-10-10 13:59:00
pandas!

Links booklink

Contact Us: admin [ a t ] ucptt.com