阿肥码农阿肥啦！
12月开始准备放长假了。有时间说一下Federated LLM的一些东西好了，Federated Learnin
g for LLM大概22年就有零星的研究，不过比较有综述写得蛮好的主要是去年港科大的一篇F
ATE-LLM把整个脉络跟方向做一个比较具体的说明然后他们提出他们的框架。
其实说白了就是分布式计算的架构，Edge端将梯度跟损失给中央计算完后再给边缘端更新，
差别在于为了让Edge端跟Server传输量减量所以使用了parameters efficient fine tuning
的方法只更新adapter/prompt的参数而已。
然后今年大概2月比较有名的就是上海交大提出的OpenFedLLM大概就是把DPO这种离线Prefer
ence Learning 方法用到Federated LLM上。主要还是RLHF太难做到Federated Learning 上
了，所以才取巧用DPO来结合联邦学习。
不过真的说当前联邦学习的缺陷就是真的使用到实务上依旧无法解决LLM的幻觉问题，而且
当前大模型为了产品稳定性每一轮的叠代更新都需要进行红队测试跟稳定性测试，这个其实
很难再Fed的架构上做到。Fed本质上就是为了隐私问题诞生的，但他必然会失去中心化的优
势。
差不多4酱