打这篇文的时间点应该变前天了
这几天由于valender的539事件，政检板蛮多讨论现行板规的文章
接着 4/23 韩总自爆声明一发，政黑瞬间破4000人
我原本只是想说，这里头应该很多1450连板规都不看
大概最常犯的就，五篇超贴 / 新闻三篇超贴 / 心得不满40字 / 重复五推
在这里面最容易用程式检阅的，当然是五篇超贴
只是因为删文也算，必须去 ALLPOST 看
而 ALLPOST 的文章只留七天，所以当然只能翻七天的文
原本我是使用 PTTLibrary
这个虽然功能强大，但有两个缺点
(1) 因为是登入 PTT 而不是用 web 板
会因为奇怪的原因被 block 断线
(其实很正常 一直疯狂抓文不ban掉才怪XD)
(2) 所有资讯都是阅读内文而来的
特别是文章列表那行，没有办法读取
(当然理论上大概可以，可是他没写这个功能我又不会弄)
如果在政黑把文章删掉了，ALLPOST的标题会留着，但内文会消失
所以实际上只能看到总共发几篇文
内文原本写什么是不知道的，除非有人每分钟备份一次
所以只好被迫使用其他版本，这次使用 CrawlerTutorial
(1) 因为是用 web 板，一次解决以上两个缺点
但是我目前只会读取文章列表就是了XD
(2) 这个版本有很明确的缺点，Error管控完全不做。Error管控大致分两种
一种是输入就知道会炸要说，一种是跑到一半出错要说怎么错的
所以例如 Test 板只有 400 多篇文章，指定爬个 500 篇一定会炸
结果他仍然跑下去，然后跳出不知道在供三小的 Error
不过试一试总会变好的，只能靠自己闪 Error
另外 web 板有一些 BBS 没有的功能，当然就无法
没关系，这次只要管五篇超贴就好了
=========================== 废话讲够多了 =============================
这次是从4/24晚上八点左右，开始爬 ALLPOST 全板，爬到4/18为止
由于投机闪避 Error + 删文是每日凌晨五点
4/24 和 4/18 都不是完整的一天，不过应该足够了
策略是把将近十万篇标题都爬一遍，储存政黑的文章标题
(web板不能先搜寻，不然政黑文不到六千，但用BBS又会被block，QQ)
我中途跑去吃饭，又忘记测量时间，不知道跑多久，大概两三小时吧
接着抓出超贴五篇的文章，程式摸了半小时，一秒就跑完了干XD
然后以下是结果
↓ web缺点之一，没有文章编号
+ 4/24 kapasky R: [转录] 郭台铭参选未知会韩 … (HatePolitics)
+ 4/24 kapasky □ [黑特] 堂堂准第一夫人 130万… (HatePolitics)
+ 4/24 kapasky □ [黑特] 突然都没有民调了 不… (HatePolitics)
+ 4/24 kapasky R: [新闻] 快讯／国民党中常会定… (HatePolitics)
+ 4/24 kapasky □ [黑特] 搞成这样韩自己要付哪… (HatePolitics)
+ 4/24 kapasky R: [讨论] 老实说 不觉得韩的下次…(HatePolitics)
+ 4/24 kapasky □ [黑特] 麻烦你教我如何绕跑又… (HatePolitics)
+ 4/24 wishcrystal □ [黑特] 草包脱党的后果是? (HatePolitics)
+ 4/24 wishcrystal □ [转录] 韩导最新电影作品 (HatePolitics)
+ 4/24 wishcrystal □ [转录] 郭台铭参选未知会韩 … (HatePolitics)
+ 4/24 wishcrystal □ [黑特] 所以 那个427活动呢？ (HatePolitics)
+ 4/24 wishcrystal □ [转录] 分享陈冠廷脸书 (HatePolitics)
+ 4/24 wishcrystal □ [转录] 韩国瑜五点声明 挟韩粉…(HatePolitics)
+ 4/24 wishcrystal □ [新闻] 柯文哲：北市236校9月… (HatePolitics)
+ 4/24 wishcrystal □ [新闻] 台中花博惨赔13亿今落… (HatePolitics)
+ 4/24 wishcrystal □ [转录] 【馆长】金刚直播(2019…(HatePolitics)
+ 4/24 sendtony6 R: [讨论] 有没有人现在有点同情… (HatePolitics)
+ 4/24 sendtony6 R: [讨论] 我高雄人，我挺韩国瑜 (HatePolitics)
+ 4/24 sendtony6 □ [讨论] 卢妈 vs. 嘴砲鱼 (HatePolitics)
+ 4/24 sendtony6 R: [讨论] 回过头来看 高雄灯会48…(HatePolitics)
+ 4/24 sendtony6 R: [讨论] 统一其实对台湾是件好… (HatePolitics)
+ 4/24 sendtony6 R: [讨论] 想支持核电 韩倒了现在…(HatePolitics)
+ 4/24 sendtony6 R: [讨论] 请问为什么蔡英文的支… (HatePolitics)
+ 4/24 sendtony6 R: [黑特] 韩导确定GG了 (HatePolitics)
+ 4/24 sendtony6 R: [讨论] 北漂青年们回高雄工作… (HatePolitics)
+ 4/24 nawabonga R: [讨论] 我还是不懂 选前挺韩 … (HatePolitics)
+ 4/24 nawabonga □ [黑特] 国民党真是一团大乱斗… (HatePolitics)
+ 4/24 nawabonga □ [黑特] 愿意承担，不计较荣辱… (HatePolitics)
+ 4/24 nawabonga R: [讨论] 教你怎么识破韩国瑜的… (HatePolitics)
+ 4/24 nawabonga □ [新闻] 亲韩人士：提密室协商 …(HatePolitics)
+ 4/24 nawabonga □ [讨论] 韩粉今后的走向? (HatePolitics)
+ 4/24 nawabonga R: [讨论] 柯文哲边缘化! (HatePolitics)
+ 4/23 BleedWang R: [讨论] 韩国瑜干么害怕初选? (HatePolitics)
+ 4/23 BleedWang □ [讨论] 憨导下一次的议会备询 (HatePolitics)
+ 4/23 BleedWang R: [讨论] 韩目前的致命伤 (HatePolitics)
+ 4/23 BleedWang R: [黑特] 高雄市长夫人 (HatePolitics)
+ 4/23 BleedWang □ [旧闻] 看到韩国瑜被酸言酸语 …(HatePolitics)
+ 4/23 BleedWang □ [讨论] 高雄市长做不好 枪毙韩…(HatePolitics)
+ 4/23 BleedWang □ [讨论] 外省仔侨胞 (HatePolitics)
+ 4/23 BleedWang □ [讨论] 最后应该是带职选 (HatePolitics)
+ 4/23 cafupupu □ [讨论] 韩导也懂弃保? (HatePolitics)
+ 4/23 cafupupu □ [讨论] 不要初选只要征召? (HatePolitics)
+ 4/23 cafupupu □ [讨论] 妈祖显灵了? (HatePolitics)
+ 4/23 cafupupu R: [讨论] 韩国瑜声明全文 (HatePolitics)
+ 4/23 cafupupu □ [讨论] 更恶心的话将会出来 (HatePolitics)
+ 4/23 cafupupu □ [讨论] 姬芭 (HatePolitics)
+ 4/23 cafupupu □ [讨论] 卡你妈的卡韩 (HatePolitics)
+ 4/23 cafupupu R: [黑特] 韩民调高？大家都用小… (HatePolitics)
+ 4/23 cafupupu □ [讨论] 高雄不能被当肉便器 (HatePolitics)
+ 4/23 cafupupu □ [讨论] 谁是谁的人质? (HatePolitics)
+ 4/23 WeiKitten □ [Live] 关键时刻 04/23 (HatePolitics)
+ 4/23 WeiKitten □ [讨论] 蔡正元FB