一篇基本上paraphrase为主的回文目前就有5次修改 让人很难正常讨论 搞不好明天又改惹
先从最重要的
Software 2.0 当然有 limitation (Who/what does not?)
可是显然 人的 limitation 多得多
光是翻译 一句只有小学单字(run, walk)的简单句型 "Run, don't walk..."
专家们就战翻惹
https://www.ptt.cc/bbs/Gossiping/M.1685503181.A.0F7.html
更何况 从考据的角度 老黄懂点中文 也没死 其他人却可以疯狂超译 黑人问号.jpg
所以正常人不要跟文组玩这种玩过上千年 玩剩下的东西
不如交给 AI 吧
AI 的翻译能力足够成为这个成熟产业的 disruptor 我觉得 such statement is true
re "Software 2.0也不是什么很新的概念"
往浅地说 很多回顾 都把这篇 blogpost 当作提出者
你可以想办法让 Karpathy 同意他那篇文章老掉牙 做得到我可以给 P 币 ^ ^
往深地说
AI 现在对多国语言的理解在 2017 年这篇文章发表时简直不能想像
要知道 Google translate 在当年早就有满满 dataset 和 computation capability
可是翻译能力确实不够好
你当然可以说 G 人才 都是二流 但我觉得那倒不至于
但肯定是有领先的那方 做对了什么
G 自己很可能比决大部分人了解自己到底 miss 了什么
我不认为直接上一句 This vision in 2017 is nothing new 会有啥积极性
re "你有点搞错Karpathy所谓的Software 2.0了"
May I ask which statement was false in my reply? 所以你搞对了吗? 你觉得怎样算是
搞对呢?
我原文主旨显然是 AI 比你想得有料 (也就是原文 "It is better than you")
并给出 AI 轻松超车等 proven work
我也相信这种超车的例子只会愈来愈多 且愈来愈频繁
原文甚至有 "Think about how amazing it could be if your web browser could
automatically re-design the low-level system instructions 10 stacks down to
achieve a higher efficiency in loading web pages." 等尚未真正实现的愿景 并称
之 "this is the default behavior"
(退一万步言 我不认为每个人的理解都跟作者/Karpathy 100% 相同 上面的战翻译就是个
例子 这也隐含了 所有没 100% 相同的人是不是都没"搞对"呢??)
※ 引述《sxy67230 (charlesgg)》之铭言：
: ※ 引述《xross (xross)》之铭言：
: : AI 比你想得有料
: : Andrej Karpathy 自己都说他自己大部分时间都靠 AI 生 code 了
: : https://karpathy.medium.com/software-2-0-a64152b37c35
: : 这篇老文章就有说
: : 空间时间复杂度?? 可以吃吗
: : Software 2.0 告诉我们
: : Constant running time
: : Constant memory use
: : 内文也提到
: : 人类智慧结晶 搞出来的 cache-optimized B-Trees 直接被 AI 干翻
: : (版上卧虎藏龙 手鲁industry-ready-B-Tree的高手可以出来呛一下吗?)
: : "outperforming cache-optimized B-Trees by up to 70% in speed while saving an
: : order-of-magnitude in memory."
: : 这让我想到 DLSS 也是借由 AI/DL 直接做到以前一堆专家搞出来的upscale + AA根本
: : 到不了的好效果
: : 说了这么多
: : 希望能尽快看到 官方 PTT app
: : 目前可能 AI 还在学习怎么写
: 下班前看到就认真回复一下，
: 先说你有点搞错Karpathy所谓的Software 2.0了，Software 2.0也不是什么很新的概念。
: 他的概念就是过往我们使用从底层打包上来的Library来显式开发API为Software 1.0，而
: 2.0则是只有定义数据集，定义神经网络框架跟训练，最后将网络编写成二进制透过工业
: 化流水线软件平台部署。
: 不过有一个很大的前提，“定义搜索空间跟优化方向”，这个神经网络优化方向是需要人
: 工来定义的，这边其实前几年AlphaTensor就有做出实验，直接透过强化学习去找矩阵乘
: 法的最佳解，结果确实找到了一组可以应用的比原本最佳矩阵乘法快了20%的解。
: 定义目标的依旧是电脑科学家/工程师，不是说什么老板/PM啊，你去跟老板/PM讲解Low r
: ank tensor decomposition ，他只会跟你说听不懂。
: 其实Software 2.0就是现在我们在做的深度学习/LLM这件事情，理论上有可能让一个够大
: 的模型来解决一切的问题，让神经网络包覆整个底层软件。如果要做一个复杂功能就直接
: 给两个Software 2.0模组组合去一起做反向传播优化，然后就可以去配适到我们的开发任
: 务上，只是那个结果我们可能很难解释他(90%的ACC不一定代表能够fit到所有未知的数据
: 上)。
: 如果模型参数量不够大还是会有No free lunch的问题，所以未来很长一段时间依旧是会
: 有神经网络搭配显式编程的方式持续，Karpathy后面也有提出Software 2.0的限制，不是
: 绝对乐观看待的。
: 以上