https://twitter.com/_jasonwei/status/1760032264120041684
从Google跳槽OpenAI的Jason Wei分享自己在OpenAI的一天:
[9:00am] 起床
[9:30am] 搭乘Waymo前往Mission SF,途中在Tartine买个酪梨吐司
[9:45am] 背诵OpenAI范式。向优化之神致敬。学习《The Bitter Lession》(强化学习之
父Rich Sutton著)
[10:00am] 在Google Meet上开会,讨论如何在更多数据上训练更大的模型
[11:00am] 打code,在更多数据上训练更大的模型。搭档是Hyung Won Chung
[12:00pm] 去食堂吃午餐(纯素且无麸质)
[1:00pm] 真正开始在大量数据上训练大模型
[2:00pm] 处理基础设施问题(我是脑子秀逗了吗为啥要从master分支拉code?)
[3:00pm] 监控模型训练进度,玩Sora
[4:00pm] 给刚才训练的大模型上提示工程
[4:30pm] 短暂休息,坐在在酪梨椅子上,思考Gemini Ultra的性能到底有多强
[5:00pm] 脑力激荡模型可能的算法改进
[5:05pm] 修改算法风险太高,pass。最安全的策略还是力大砖飞(增加算力和数据规模
)
[6:00pm] 晚餐时间,和Roon一起享用蛤蜊浓汤
[7:00pm] 回家
[8:00pm] 喝点小酒,继续写code。鲍尔默峰即将到来
[9:00pm] 分析实验结果,我对wandb又爱又恨
[10:00pm] 启动实验,让它自己跑一晚上,第二天查看结果
[1:00am] 实验真正开始运行
[1:15am] 上床睡觉。在纳德拉和黄仁勋的守护下入梦。压缩才是关键。晚安