Re: [闲聊] python爬虫

楼主: surimodo (好吃棉花糖)   2022-11-08 00:04:49
: 推 JerryChungYC: 重写一个囉 11/07 23:53
崩溃完冷静分析
应该是避免数据库一次吐太多资料
所以每个子馆 可能当总馆搜寻量超过多少
就只吐 70% 搜寻结果
也不至于到整个重写
但整个架构要大刀改
而且我我蛮确定改成搜寻子馆放弃总管搜寻结果
会有遗漏
不然就是爬两次 一次总管 一次侧边子馆

想到就觉得好大便
我当初怎么没想到限制搜寻总数问题
这一般网站搜寻会这样搞吗

Links booklink

Contact Us: admin [ a t ] ucptt.com