楼主:
sxy67230 (charlesgg)
2026-06-20 17:25:06饿死抬头,阿肥外商码农阿肥啦!
之前每次中国AI模型发布总是会有一票人在那边说蒸馏美国模型,但是如果在机器学习领域
内的就知道要做到理论上的知识蒸馏一定要透过一些非外部API的手段取得模型真实的分布
才有办法做到蒸馏出跟原始模型一样好的模型,不然你怎么做训练根本就做不出来跟原始模
型一样甚至更好的模型,最多就只是风格转换跟狭窄领域的讲话风格迁移而已。
其实如果真的有在看相关论文文献的都知道中国的模型在中文领域就包含token的使用效率
还有中文推理能力表现行为都跟美国模型完全不一样。要说是蒸馏根本不可能,最多要蒸馏
就只是针对狭窄领域蒸馏一点而已,但也没证据表明真的有蒸馏痕迹。
现在Redis之父antirez也站出来说出事实从技术理论上就做不到,最多就是微调风格而已。
有迷有挂?