[请益]高流量网站和资料结构

楼主: ntpuisbest (阿龙)   2021-08-21 14:46:21
先自承是非本科的新人
最近看了版上的讨论串,觉得自己的确实是
没有CS基础的API工程师,以前在学校修过资料结构
但是只有一些很粗糙的观念
像是hash function因为返回的是index,所以在查找资料上非常快
目前还在恶补基础的DS,至于OS和计算机组织就真的完全没概念了
每次看到thread,大概就止步于看到那种for loop 交叉印出不同函数的例子
自己稍微爬文下来,不太懂如果要往高流量网站的设计迈进
该怎么去活用那些知识
我爬文的结果有点像是
如果一张数据库数量超过百万
那这样就要想办法把资料分成不同的表格
然后这时hashmap 就可以帮你找到不同的表格这样?
爬文大概看到以下方法
1.建立多个File server , 写hash function 将上传的图片及影音平均分散到File server
上的Folder
2.Query优化、索引优化及将负载重的table做反正规化以减少数据库负荷
建立Master /Slave 数据库,分散Master主机loading,将读写数据库动作分离,
Matster DB只负责被写入及复制,Slave DB负责被读取
3.可能还有一些cache之类的
比如说像是抢票网站好了
https://imgur.com/TON1Nid
看到有人说可以这样解决
那像这样的知识,是不是要想办法进去大公司才有办法学到
比较难在网络上,像是一般的前后端CRUD一样容易获得?
另外想问说,如果有一个API,他是getallemployee好了,打了url就要返回所有的员工
资料,这是如果是高并发高流量的网站设计
该怎么活用资料结构,才能让网站不要LAG
还是说这可能跟资料结构比较无关,我要去补充其他知识才会知道
如果可以的话,希望前辈们可以分享哪些关键字或是网站有sample code可以查询
作者: MoonCode (MoonCode)   2021-08-21 14:49:00
百万笔的话还是把机器加大吧
作者: neo5277 (I am an agent of chaos)   2021-08-21 14:49:00
并发 高流量 可以分好几段去解 你先理解流程比较容易知道该自哪边加东西,用那些工具没有定论都是试出来的
作者: jason2641668 (钢球智者)   2021-08-21 14:52:00
认真讲 先把基础补好吧面试最讨厌那种满嘴高并发高流量问点基础也不会的
作者: alihue (wanda wanda)   2021-08-21 14:59:00
你怎么可以命名 master slave 这样进不去 google百万笔而已 换个 SSD 就好然后高流量网站很模糊阿:静态网站、交易、写log、一致性latency要求、req payload大小 这些都先定义好再问高流量静态网站 那我会说买好 CDN 就好ㄏ一致性不重要,那全载内存 aws 开个 auto scale out就好没定义好需求 根本无法讨论
作者: ldkrsi (衰神)   2021-08-21 15:06:00
"是不是要想办法进去大公司才有办法学到" 是
作者: alihue (wanda wanda)   2021-08-21 15:08:00
同上 要进去"高流量软件"的 team 不一定要知道怎么干因为你的知识在这个 team 可能几乎用不上。除非你面资深缺
作者: Hsins (翔)   2021-08-21 15:42:00
小流量撑不住是 DSA 问题,大流量撑不住是架构问题
作者: kvjo (同名专辑)   2021-08-21 16:43:00
不是高手 但经验上...不见得1. 应该说商业上有这样的场景 那有机会接触到2.但你不是资深的也不是相关职位的 也不需要让你碰3. 更有组织的公司应该有资深的人在负责这个4. 也不是说不会就没有价值 软件团队上 还有其他角色价值也觉得满奇怪的 很多人面试爱问高流量现在商业 有这么多 未完成的高流量服务要给你做吗?问了高流量经验 阿你是每个缺都在找这样的人 要大胆让人改?其实很多面试官 也就平常人啊..... 不是因为面试什么 他就强满多面试官 感觉也俩光两光的 哈
作者: bjk (Up2u)   2021-08-21 18:15:00
遇到很多博弈问大流量经验,但感觉面试官自己也不会
作者: dces4212 (flawless)   2021-08-21 20:26:00
楼主: ntpuisbest (阿龙)   2021-08-22 00:54:00
谢谢各位
作者: jej (晃奶大馬桶)   2021-08-22 13:51:00
总共百万笔资料还是一天百万笔总共才百万 就硬件加强就好了一天百万笔就是加强硬件 分布式 查寻 修改分离等策略
作者: miku3920 (初音ミク)   2021-08-22 14:28:00
作者: DrTech (竹科管理处网军研发人员)   2021-08-23 13:06:00
数据库才百万笔资料,不就是用最基本的 Index 就好。又是基本能力都没学,在好高骛远系列。
楼主: ntpuisbest (阿龙)   2021-08-23 23:42:00
抱歉 会在加强基础能力qq

Links booklink

Contact Us: admin [ a t ] ucptt.com