[问题] python爬取虾皮聊聊ID的方法 Dannybigma PTT批踢踢实业坊

楼主: Dannybigma (可口) 2024-07-09 16:13:43

小弟超级业余
想把虾皮聊聊的客户ID都抓下来（1500个）
原本以为只要html即可
结果只能抓到当页的html（差不多30个）
就算卷到底部也不能把所有Id抓下来
不知道各位大师有没有建议的方法感激不尽

作者: TimmyWendell (流浪提米) 2024-07-12 20:34:00

可以描述一下你的做法和工具，不然比较难看出来有什么问题

楼主: Dannybigma (可口) 2024-07-13 01:00:00

我做法是直接按F12 进去复制html但是复制下来经过python分析只有取出30几个当滚轮往下不管滚多久时也只能取出30几个ID目前只有想到就是一直滚一直复制（但是实在很耗时加上又要对有没有重复）全部加起来的ID有16000个实在想不出什么其他方法，希望有大师指点一下

作者: TimmyWendell (流浪提米) 2024-07-13 07:02:00

我菜居，但有兴趣可以看看selenium能不能帮到你。

作者: tzouandy2818 (Naked Bear) 2024-07-13 23:55:00

你都写程式了结果竟然还要手动卷+手动检查重复

作者: fred1541 ((没意义)) 2024-07-15 09:59:00

先查一下该网页内容CSS资料里面是怎样换到下一页有的是利用Jason

作者: max36067 (围巾喵) 2024-07-16 23:16:00

call api….但可能会被挡

楼主: Dannybigma (可口) 2024-07-17 02:14:00

感谢上面的前辈我先研究一下

作者: tomnelson 2024-07-20 16:28:00

利用Jason → 这让我嘴角失守了Jason(X) JSON(O)当然如果你有朋友刚好叫Jason，而且也刚好会的话，是可以考虑问他啦! :)

作者: vul81320 (vul81320) 2024-07-26 16:49:00

我就是Jason!

作者: KINGWAP (阿姆斯撞) 2024-08-10 12:13:00

可能要先研究如何对付虾皮的斧头不然等你这个搞定了一遇到的斧头就白忙了一场

继续阅读