1. PTT
  2. Web_Design

[问题] 如何改善ptt爬虫速度？

楼主: samrt5566 (我不是聪明56)   2019-10-20 08:51:38
嗨大家好
小弟最近无聊用nodejs和html写了一个简单的ptt爬虫
目前基本上换页和换版都是让爬虫再去爬一次下一页
但发现这样速度实在是惨不忍赌
逛了各大网页版ptt
总觉得他们应该是用不同的方式在处理
请问各位大大 如果在写这种网页版有什么诀窍吗
还是说应该用不是爬虫的方式去写呢
感谢
作者: vi000246 (Vi)   2019-10-20 12:12:00
他们应该都是爬好存在自己的DB了
作者: samchung (不是咖啡店小开XD)   2019-10-20 15:39:00
先取出文章网址，直接爬网页就省下换页效能不佳的问题了
作者: shter (飞梭之影)   2019-10-21 01:10:00
https://www.ptt.cc/atom/ALLPOST.xmlhttp://rss.ptt.cc/ALLPOST.xml
继续阅读
Re: [问题] 网域申请网域申请是不是都没有WWWaltecjc[问题] 使用Django传递数据给javascriptinterwise613[问题] 网域申请网域申请是不是都没有WWWjohnsky75[问题] bootstrap 改 class 过慢，和排版小问题ekids1234[问题] 视窗滚动到物件时触发functionReadSnow[问题] 请问google console出现这段问题是什么意chn92150[资讯] AI技术工程师 职前训练 (劳动部课程)oepan[问题] Webpack-dev-server开发时的速度heavenbetula[问题] 已解决～第二网域无法进入后台ricebugjudy[问题]动态接资料并印出文件a5772803

Links booklink

Contact Us: admin [ a t ] ucptt.com