[问题] 网络爬虫八卦版 l8PeakNeymar PTT批踢踢实业坊

[问题] 网络爬虫八卦版

楼主: l8PeakNeymar (十八尖山内马尔) 2018-04-25 15:57:08

这个问题困扰我一段时间
因为网络上都是python或java的教学
想请问用C# console专案来爬虫的问题
目前只要爬到八卦板或是西斯板之类的
像是我要求看这个网页：
https://www.ptt.cc/bbs/Gossiping/M.1234567890.A.D55.html
回传却是这个：
https://www.ptt.cc/ask/over18
在思考要怎么把自己已满18岁认证的˙Cookies一起送给服务器
乱试很多class：
System.Net.Cookie、HttpWebRequest、WebRequest...
结果都不行因为其实我也不懂原理
请问有板友可以教学吗？非常感激！

作者: YahooTaiwan (超可爱南西我老婆) 2018-04-25 16:09:00

over18 设成 1 呢?

楼主: l8PeakNeymar (十八尖山内马尔) 2018-04-25 16:10:00

有在Python教学看到这行可是我是很基础的不懂QQ

作者: vi000246 (Vi) 2018-04-25 18:08:00

不要用C#写爬虫 cookie跟session会搞到烦死有个叫RestSharp的lib 不知道有没有支援cookie了你可以研究看看

作者: free112136 (Free) 2018-04-25 19:07:00

用c#写爬虫不会有问题啊？cookie与seesion对client来说都是cookie，会有问题表示cookie的处理不熟悉吧？我猜楼主是domain问题

楼主: l8PeakNeymar (十八尖山内马尔) 2018-04-25 20:01:00

我写C#但是没碰过网页如果有范例愿意5000P酬谢

作者: MOONY135 (谈无欲) 2018-04-25 22:48:00

500P请直接转给我XDDD

作者: vi000246 (Vi) 2018-04-26 01:20:00

C#遇到cookie麻烦的点在要把cookie用变量存起来每次的request都要取需要的cookie可以看看我写的伊莉爬虫https://goo.gl/U7SgHk现在可能有比较方便的套件或是我当时的写法比较不成熟不知道有没有更好的处理方式现在才看到有P币XD 那我讲解一下好了 32行宣告一个HttpWebRequest 39行将CookieContainer初始化42~44行将同意浏览18禁的cookie加到CookieContainer48~61行组出一个post请求 64行取得回传结果

作者: free112136 (Free) 2018-04-26 07:58:00

我从你给的原始码来看，因为你每次都是new新的request物件，当然要用cookie要重设定

作者: vi000246 (Vi) 2018-04-26 08:26:00

原来如此找时间来测一下已收到原po红包谢谢f大我有个问题如果要向不同url发请求要怎么用同一个HttpWebRequest物件呢刚google到的范例比较简洁的写法https://goo.gl/uKXWt4

继续阅读

[问题] 怎么用C#取得资料表的每一个Column的描述ken1325 [问题] 请问将Binary File读取装进byte阵列?chrishappy11 [问题] 如何撷取VS的httpclient发出的封包aoksc [问题] c#与视讯摄影机结合kn02545454 [问题] Asp.net 在IIS上无法切换页面areyo Re: [问题] 如何抓到USB传来的讯号 (键盘)(更新)iamrtp [问题] ToolStripMenuItemGooLoo [问题] 开和关exeGooLoo [问题] Event里若有共用变量，需要lock吗?james999 [问题] 如何抓到USB传来的讯号iamrtp

[问题] 网络爬虫 八卦版

[问题] 网络爬虫八卦版