[心得] 新店板各年月文章分类统计

楼主: zp01 (zp01)   2022-05-21 19:23:03
之前板上曾经有交易文是否删除的讨论
我看了讨论内容后,就一直在思考,是否能取得一些统计数字,来客观的看待这件事
只凭大家每个人各自的印象来讨论这件事,总觉得不够客观
如果能取得资料,我就能用最简单的excel 大概分析一下板上文章的各分类分布情形
但我一直找不到哪边可以汇出这板上的标题资料,也没找到可用的资料汇出工具程式
所以一直没做这事
这两天疫情正在高峰,放假不敢出门,想起之前家里小朋友在学校学了python
一直搞不清楚学生学这做什么用,印象中只在网络上看过有学生讲自己用python写爬虫,
我想既然这东西可以让学生拿来爬网扫资料,也许我也做得到
反正今天闲著也是闲著,就找了个教学网站来学一下,由Visual Studio Code
安装开始做起。我花了一点时间,了解这东西语法怎么用。看完两三个章节
我发现这东西不难,网络上能参考的网站很多,只是有的细节讲不清楚
试改了两三个范例程式后 我大概知道 变量如何宣告、 for loop、读写档的写法
就开始试着参考网络上的文章,写了一个简单的爬标题程式
扫出这个板上所有文章的 标题、作者、日期 再利用标题分类,用excel来分析
结果如图
https://www.upload.ee/image/14159996/st_count.jpg
可以看出交易类文章和一般讨论文章的消长
有兴趣的人可以在这里抓excel的统计
https://www.upload.ee/files/14160033/ptt_HT_20220521.7z.html
现有44234篇文章中,最大的几类总数统计如下
[问题] 10353
[交易]+[征求]+[赠送]+[买卖] 19880 (9885+4805+4664+526)
[闲聊] 2452
[新闻] 1074
[心得] 834
[食记] 667
[板务] 422
我称这些[交易]+[征求]+[赠送]+[买卖] 为“类交易”文不到一半,但也近了
以前的“类交易”文比例小很多,显而易见是后来才变多的
依年月来看 2014以后 交易文逐渐取代其它文章 约在2015年到2016年交叉
在2016年以后,就再也不回头了(中间在2016年11月是唯一的一个例外)
从开板始到现在曾发表文章的共10325人
今年2022年到现在5/21只有462人发表文章 共780篇
但扣掉交易类、赠送类的文只剩255篇,等于今年现存的的67%文内容在买卖、赠送
、介绍自己要交易的物品。
462人中 有162人在版上只有交易或赠送文 没有一般讨论文
还好今年有换板主的议题出现,否则只会更惨
有没有人想知道其它的统计的?
今年到现在5.21 如果排除掉“类交易文”有发文章的人 共计136人
今年发非“类交易文”的前11名id是:
godofsex(32) samok(20) gjiiiiii(11) KSJ(7) Ccsteeker(7)
ufotime(7) rainnawind(6) dressingfr(5) hateOnas(4) Geiwoyujie(4) aner(4)
这是程式码 只有大约六十行左右 第一次写python 环境语法都不熟 所以有一半是注解
https://www.upload.ee/files/14161858/get_ptt_HsinTien.py.html

Links booklink

Contact Us: admin [ a t ] ucptt.com