[请益] rds replication & cache 多问

楼主: sean72 (.)   2018-08-02 14:19:28
问题一
如果使用memcache
写db的时候
1. 先invalidate cache 再写db
2. 先写db 再invaludate cache
3. update cache 然后 update db
4. update db 然后 update cache
我以为这个动作有标准做法,但是问了在亚马和snapchat的朋友
也看了几个tech talk 竟然答案不同,请问大家怎么分析?
我上了一个网络课程的课,他说2是最佳解
case3 & 4 如果某一个update fail都会造成cache里面脏数据的情况
case1:
user1 invalidate cache, while updating db(未完成)
user2 此时读资料,cache miss,去读数据库,得到旧数据,
并用旧数据update cache
user1 完成db更新
此时cache存著旧数据,db新数据,cache脏数据
case2:
user1 update db (未完成)
user2 此时读资料,在cache读了旧资料,离开
user1 finish db and update cache
以后的user都可以读到最新数据,只有user2读了旧数据,但仅只一次,无伤大雅
问题二
还有一个问题,关于db consistency
如果用relational db, such as MySQL , Master Slave
write to master,
read from slave
写到master之后(假设user update一个url link),并且invalid cache
这时候replication还没完成,假设有5秒的延迟
这个时候如果来了一个read,cache miss
按照逻辑,这时候应该slave read , 但这时候slave data是旧的
那我的client要怎么处理?
reddit founder 他说当初他们碰到这情况
很多slave里面的link都是404 very bad user experience
所以他写db的时候,同时写到cache
https://youtu.be/cDL7ny_hvio?t=50s
但如果同时写DB & cache 如果其中一个操作失败了,那就造成脏数据了,不是吗?
又如果
我采用问题一的方式 先写db 然后invalidate cache,
write to master db , 5 sec replication time
这时候一个read进来, cache miss, read from slave取得旧数据
顺便update cache
五秒后slave完成replica,但这时候也造成了数据不一致。
replication latency的问题该怎么解决呢?
感谢
作者: meowyih (meowyih)   2018-08-02 21:05:00
我不是搞数据库的, 不过我有认真看了一遍这篇文章, 唯一的疑问是所有的问题都建立在 "cache 机制无法暂时关闭,开了就开了" 的前题下。但是为什么不能暂时关闭? 都能整个砍掉了, 写个判断机制让自己后端暂时停止 cache 直到数据库更新完 (像 q1, case 1) 不就好了? 都能整个砍掉了暂时停止没差吧所谓的 "暂时停止" 指的是不让人读取 cache, 当 cache 不存在的意思
作者: x000032001 (版废了该走了)   2018-08-02 21:28:00
假设cache每秒可处理10k req db每秒只有2k req
作者: youtuuube000 (小孩)   2018-08-02 21:29:00
想了解+1
作者: x000032001 (版废了该走了)   2018-08-02 21:29:00
把资料放在cache的目的是避免大量req直接打db 读资料一旦在更新时disable cache, req灌进db 那就失去用cache缓解req的用意了我觉得你的问题其实把 Scaling Memcache at Facebook看一看就自然知道惹
作者: keyut2433 (keyut2433)   2018-08-03 05:33:00
post request的同时给cookie,告诉dns这几秒内的get会送到master拿最新的data, 等cookie过期时再转到slave
作者: x000032001 (版废了该走了)   2018-08-03 09:07:00
其他user因为不可能set的到他的cookie所以还是会从slave拿到old value
作者: keyut2433 (keyut2433)   2018-08-03 10:48:00
你没错.那只能让slave抓masterDB的资料了.. 感谢
作者: twntwn   2018-08-05 23:26:00
若需要Strict Relication Consitency 的Query,从master拿其它的可以从Slave拿.

Links booklink

Contact Us: admin [ a t ] ucptt.com