各位大大好，新手在此一问
若我写个python档想去抓某个网站的opendata资料，
虽然opendata资料有更新频率(比如说一小时更新一次)
但万一该网站更新频率不是很稳定的话，比如说有时是12:05分资料才更新，
有时是12:10才更新，有时会提早 11:58就更新了。
若用排程定时去抓，比如说我设定每个小时的第五分钟(12:05分)抓取
但这样就有可能会抓到上一笔还没更新过的资料，请问大家实务上是如何解决?
感谢各路高手!

把你这次抓的时间记下来，下次再抓的时候做比对

直接对照前一笔资料就好啦

cache上一笔的时间

资料如果有必不重复的资讯如id就存sql，插入时重复的id忽略掉有可能新一笔跟旧一笔好死不死长一样吗？

p=hashlib.md5(r.text.encode('utf-8-sig')).hexdiges()用md5把hash存起来然后比较页面的md5 hash有没有变更

谢谢以上各位