我传讯息说
你如果要自己train一个LLM
还是特定指定的最新最屌的模型款式 而不是那种github写的超迷你模型
假设8B好了
那要几千亿tokens才train的起来捏
但是老板坚持不要finetune啊
他觉得浪费一大堆时间自己train一个别人3年前水准的东西很牛逼啊
然后老板跟我说要不同结构的data分门别类
我同事就说 这怎么可能 一个模型搞这么复杂 是把他当神了吧
又要低parameters又要少资料又要自己train
这样跟我说可以跟投资者要到钱
==
然后还要自己上GPT生一串自己觉得很酷很炫的书籍list
觉得这个屌打huggingface上现有的general dataset