打算写一支591爬虫
有符合条件的新物件就跳出通知
因为懒得架server跟DB 想用chrome extension来做
稍微做了研究
发现要取得房屋列表json
需要先进到591页面
取得cookie的591_new_session跟html里面<meta>中的csrf-token
分别放到get reqeust中的header跟cookie
才能取到我要的资料
想问用js能做得到吗 还是一定要后端语言呢
如果要做成后端 要能设定定时执行
还要考虑跨电脑同步db问题 只打算存物件id用来判断重复物件
想到就觉得麻烦...
好像还没看过有人用纯js写爬虫的?

可以

应该可以用 nodejs 试试?

JS 会先处理 CORS 到爆

可以 查apify啊 不过我抓的是静态页面 可能不符

非常讨厌CORSpython他不香吗db跟server 用docker不就帮你装好了

真香

我觉得你可以先搞懂为什么会有CORS存在 还有api gateway

不然直接去591客服问怎么爬你们家的网页

https://reurl.cc/9Elgea + cron 给我香起来

....

用node.js写 不会很难 用js browser会因为cors挡

11楼意见不错，已笑翻

最近刚好在学 你须要的是Puppeteer

extension在background发XHR应该就不会被CORS挡不过要先在manifest的permissions把目标网域加进去

直接nodejs不用cors啦

用cheerio处理html 抓取你要的部分就好

大家讲的都是node.js 看来只能用后端写了

在浏览器执行一定撞cors，载片我都写Python直接把连结用 书签放js丢给python后端XD

cors可以关掉浏览器的cors看看,或是你webpack用proxy绕过去，但就只是自己用爽的而已

我打算用python写了 买个便宜主机设定cron job数据库用jsonbin 应该能解决我的问题

SSR 还好，如果你是 CSR 的话就一定要用后端处理了，puppeteer 操作万解

前端我用angular 框架 用proxy 启动不会cors哦

楼上，ng就是帮你起了一个本地的node服务器做proxy啊...

有proxy当然不会有cors啊 =_=

GitHub Actions 就能搞定的东西，为什么要自己租服务器？

591我之前用python直接打request，一下就搞定了放在heroku上也免费

这样找租屋变好方便XD

Heroku免费的应该有限制吧！还是去官网看一下比较好。

heroku我记得一天要休眠6小时 没人戳也会自动休眠

heroki不是绑信用卡就不用休眠？*heroku

11楼XD