[请益] 自动更新且备份网页

楼主: thinkgod49 (不随便的人)   2016-10-26 06:52:48
个人工作室目前预计进行一种类似网络虚拟游戏币选择权、宝物的小笔买卖生意
该交易方式全部都借由网页上的讨论区执行
类似8591
但今天只要是买卖方刊登商品,不论成交或删除下架等,该讨论区完全不会留下任何资料
,所以即便可能讨论区前后2小时文章完全一样不变,其中却早已成交了数十笔交易,假如
要设计一款可以人不用在电脑前,只要有人刊登新的文章,就可以自动进入该文章且储存
那篇文章的网页内容的软件。
(最好可以在背景程式下作业,让电脑可以同时做别的事)
请问假如程设底子是零,想做到以上这样内容的软件会不会很困难?
是想借机让自己碰触一些这类的领域却又不知如何下手
还请神人大大指点迷津,该研究那一方面的开发程式
另外想请问这样的软件,若请人设计,报价大约在多少范畴才会不失礼数?
作者: ripple0129 (perry tsai)   2016-10-26 09:02:00
初学要研究的话我会说去看python requests api,这种程度的程式估计几千就会有人接了。
作者: MOONY135 (谈无欲)   2016-10-26 10:47:00
网络爬虫可以做到每一分钟扫一下 之前做过PTT GAMESALE版的爬虫我大概12hr写完初版 又多花20hr写完整
作者: s860134 (s860134)   2016-10-26 12:19:00
python 找程式码凑一凑不用多少时间
作者: amge1524 (台湾加油)   2016-10-26 13:06:00
说真的 加入哩哩拉拉小细节 至少5000up如果要弄的很好其实到万也有可能
作者: ckvir (ckvir)   2016-10-26 13:53:00
每分钟扫 那每分钟中间交易的不就没抓到
作者: GoalBased (Artificail Intelligence)   2016-10-26 14:10:00
说几千的快点接阿0.0
作者: pooznn (我~~~是来被打脸滴!!!)   2016-10-26 14:37:00
爬的太频繁 有些网站也会踢吧
作者: vi000246 (Vi)   2016-10-26 14:47:00
如果讨论区没有防范爬虫 写起来很快
作者: gmoz ( This can't do that. )   2016-10-26 17:09:00
感觉浅在要求很多 应该要破万
作者: ns1234 (FAR)   2016-10-26 21:30:00
阿就爬虫阿..如果目标网站会挡频率过高的 换IP或多机器跑
作者: ripple0129 (perry tsai)   2016-10-26 21:33:00
没潜在需求真的几千能搞定啦,但遇到各种block棘手的话自然加价了
作者: manaup   2016-10-26 22:47:00
很简单 大概一千二就可以了 XD (但找我决对不接的 科科
作者: viper9709 (阿达)   2016-10-26 23:31:00
原来这样只要几千块@@
作者: ripple0129 (perry tsai)   2016-10-26 23:40:00
设定每几秒一个request看网页有没有多新文章或旧文章有没有update过,有就进去存盘,这样的需求几千不意外吧。就怕上面说的隐藏的需求或block出现自然价格就不一样了。
作者: brucetu (sec)   2016-10-27 00:41:00
我感觉估几千的都没估UI制作耗时只有算到资料存下来没估后续怎么有效浏览
作者: ripple0129 (perry tsai)   2016-10-27 00:49:00
其实我只想到log没去想UI XD不过同篇文章同log也不难读啦,要更好浏览的UI自然一分钱一分货了
作者: CRPKT (crpkt)   2016-10-27 08:40:00
https://scrapinghub.com/pricing/ 直接参考现成的吧http://bit.ly/2fhiZGe Quora 上还有很多家
作者: YahooTaiwan (超可爱南西我老婆)   2016-10-27 09:53:00
这几千块谁要接阿,现在流行乱报价吗
作者: snaketsai (さいでんし)   2016-10-27 10:19:00
单纯只爬完资料,吐json之类的序列化结果不负责后续blocking、其他UI视觉化等等的话或许可以找缺钱的学生写看看上述python的话用scrapy或urllib+美丽汤兜一下凑活用
作者: TSW (翘班帝国)   2016-10-27 12:14:00
这种的不用想UI吧,直接爬HTML+CSS下来
作者: ChungLi5566 (中坜56哥)   2016-10-27 12:47:00
Chrome装自动重整的插件 设定每10秒重整然后再把萤幕画面录制下来 选我选我
作者: Kazimir (Kazimir)   2016-11-12 19:14:00
如果只是要把网页爬来当然容易,可是我没有看到你之后打算怎么运用资料?你要人工看的话几千块ok吧

Links booklink

Contact Us: admin [ a t ] ucptt.com