最近接到一个专案要爬购物网站存mySQL
爬分类里面各产品资讯+内页详细资讯
目前已经使用selenium+multithreading写完
可惜速度不够快
所以正改用request改写
但发现不管用什么方法(session、cookie、payload)都没办法取得首页的商品资讯
已经把网络上能看的解决方式都看过一遍还是无解
另外也试过network的event(貌似是api?
把相关资讯post上去爆出ConnectionError: ('Connection aborted.'
所有能试解法都试过还是无法
有没有精通的高手帮看一下还有什么办法呢
附上连结
https://www.hktvmall.com/hktv/zh/%E8%B6%85%E7%B4%9A%E5%B7%BF%E5%A0%B4/%E8%B6%85%E7%B4%9A%E5%B8%82%E5%A0%B4/%E5%86%B7%E5%87%8D-%E6%80%A5%E5%87%8D%E9%A3%9F%E5%93%81/main/search?page=0&q=%3Arelevance%3Astreet%3Amain%3Acategory%3AAA11110000000

标题分类跟缩网址都不会吗...

非亲非故又问的不清不楚，愿意帮忙的人可能不多:(

你浏览器看得到用爬虫至少能抓个几次（后续可能被挡）不要放弃

直接回到完成的版本，然后复制多份同时跑，每支爬的范围指定一下

先缩网址再说

dynamic websites?

印象中好像如果是spa爬虫抓不到（？）

如果你是女生 帮的人可能会多一点只能给你关键字 用wireshark或fiddler看request的rawdata 想辨法模拟出一个一模一样的request这是get的raw data https://imgur.com/EViD6Ld我网络乱抓的图 我比较常用fiddler 你可以找个顺手的

你很不想问问题？

问chatGPT

你给的这个网址，超级市场分类商品，点进去就timeout了

不好意思第一次在本版发文感谢各位指教

selenium 笑死 怎么可能快

建议先去搞懂request的运作方式，不然以后也是一个页面问一次

这两本书我没读过 不过看目录应该有你要的东西https://www.tenlong.com.tw/products/9787301322697https://www.tenlong.com.tw/products/9787115528735看反爬虫那个章节就好

selenium不够快你不会多开几台?你在那边破解反爬虫的成本绝对够你多开好几台

多开几台治标不治本 又浪费效能 学好request才是正解

谢谢各位意见，小弟再回去多研究request

你要先了解request和Selenium两个爬出来的网页差异还有运作原理

网络上能看的解决方式都看过一遍？？？你可以看两遍

连缩网址都不会你回去报资测会比较快

凶

有些反爬虫技术就不是requests学好就能解决的

弱弱问一下，用爬虫进行商业行为（外包），这样不违法吗…？

爬虫大部份都是违法的 请低调使用

之前请益过，有一说是真的要起诉的话，可能需要举证爬虫的运作造成的实际损失。有些爬虫比如是电商贩售物品，没有公开 API 又希望第三方行销团队或是其他平台想要同步销售而去爬取资料，好像就比较难判断。建议还是了解一下对方意图会比较好

真的不行就headless，慢了一点但是在背景慢慢爬，太快有时候反而也会被挡

谢谢大家的解说

这种通常要另外打 API 拿到资料，如果习惯爬虫写法可以考虑 jsdom，比 headless 再更轻量点

如上推文 爬虫是灰色地带 慢不一定是坏事 别人不让你爬事小 告你事大 要快也不是不行 不论你用不用合法的方式还是要付钱 直接跟购物网站接洽比较好

快速就是固定时间增加request数量，小型点的就营运会卡了。