对岸那边IDEA研究院中的封神榜团队释出了第一个以中文为基础的SD模型:太乙,已经可以在 Huggingface上面取得,这是基于SD1.4模型重新训练了中文语言模型以取代原本的英文编码器,但锁定了图像产生器,在一亿级的中文语料库上跑了24个epoch
https://www.51cto.com/article/721869.html
另外一个中英文混合的模型则是同时fine-tune了语言编码器以及图像产生器。
这是他们的第一个 checkpoints 而且进行了开源,不过由于他们修改过编码器的结构,所以模型不能直接丢进去 webui 里面跑,团队有提供修改版本以及修改办法。
根据他们给的测试样本来看,这个模型不但能理解白话文,更能理解文言文,像是唐诗,宋词甚至骈文都没有问题。
像是飞流直下三千尺:
君不见黄河之水天上来
小桥流水人家(马致远) crossover 凡高