Chain Of Thought (CoT) 第一作者、从谷歌跳槽到 OpenAI 的 Jason Wei 分享了自己在 OpenAI 的一天:
[9:00am] 起床
[9:30am] 搭乘 Waymo 前往 Mission SF,途中在 Tartine 买个牛油果吐司
[9:45am] 背诵 OpenAI 章程。向优化之神致敬,学习《The Bitter Lession》(强化学习之父 Rich Sutton 著)
[10:00am] 在 Google Meet 上开会,讨论如何在更多数据上训练更大的模型
[11:00am] 敲代码,在更多数据上训练更大的模型。搭档是 Hyung Won Chung
[12:00pm] 去食堂吃午饭(纯素且无麸质)
[1:00pm] 真正开始在大量数据上训练大模型
[2:00pm] 处理基础设施问题(我是脑子被驴踢了吗为啥要从 master 分支拉代码?)
[3:00pm] 监控模型训练进度,玩 Sora
[4:00pm] 给刚才训练的大模型上提示工程
[4:30pm] 短暂休息,坐在牛油果椅子上,思考 Gemini Ultra 的性能到底有多强
[5:00pm] 头脑风暴模型可能的算法改进
[5:05pm] 修改算法风险太高,pass。最安全的策略还是力大砖飞(增加算力和数据规模)
[6:00pm] 晚餐时间,和 Roon 一起享用蛤蜊浓汤
[7:00pm] 回家
[8:00pm] 喝点小酒,继续写码。Ballmer’s peak(酒精带来的编码高效阶段)即将到来
[9:00pm] 分析实验结果,我对 wandb 又爱又恨
[10:00pm] 启动实验,让它自己跑一晚上,第二天查看结果
[1:00am] 实验真正开始运行
[1:15am] 上床睡觉。在纳德拉和黄仁勋的守护下入梦。心想:压缩才是真谛。晚安
https://twitter.com/_jasonwei/status/1760032264120041684