※ 引述 《cities516》 之铭言：
: 我还是看不懂Deepseek怎么压低成本
: https://i.imgur.com/awdsFCF.png
: 蛤 Mixture of Experts也不是新东西ㄚ
: Multi layer attention 也老东西了
: 啊？？
: 有没有读过原文paper的能解释一下
找到两个关键字
1. Reinforcement Learning
2. Self distillation
我先假设Perplexity没在幻想症发作
这还是很奇怪ㄚ
因为这种吃自己拉的屎的行为
前提是模型本来就够屌了 才能这样玩
难怪大家都猜说DeepSeek直接偷GPT-4
但是CloseAI哪可能这么容易给你偷到模型出来
我猜是用llama 2之类的开源模型下去fine tune吧