如题，当我的爬虫程式在抓网页资料时有没有办法做比对的动作?
例如：我的每个网页资料有日期、时间、地点、纪录人，附上连结
http://webdata.bird.org.tw/contents.php?key=1
在我观察后面的网页时，发现同日期、时间、地点、记录人的纪录会有好几笔，
这样会造成我的资料的不正确性，我想请教各位高手，
有没有办法在爬虫爬资料时，对于这些日期、时间...等资料先做比对，
有重复则不抓取这页资料，没有重复，再经由item回传输出城CSV档?

写另外程式读CSV比对重复资料会比较好

另外写程式判读的话，我该用那些方法呢?例如：我第一页的资料要跟第二页比对，第二页要跟第三页比对，以此类推，麻烦高手指点一下，谢谢