※ 引述《neo5277 (I am an agent of chaos)》之铭言:
: 虽然这版是投资版,但是我觉得技术问题,还是先跟投资切开来比较好一点。
技术跟应用场景的问题我不谈,之前的人已经谈过了,大致上没有问题。
不同领域的人可能体验不太一样,但LLM普及的程度并没有这么低,具体而言,主要是 ChatGPT ,在部分领域已经是不可或缺的必要工具,到了挂掉会影响到正常工作或不能工作的程度。
首先是 coding,就我而言,至少有50%的程式码已经是由 ChatGPT 完成的,遇到 bug 我几乎没有再用 Google 或是 stackoverflow ,log 直接丢进 ChatGPT , 大部分情况下它都能大幅减少我的工作时间。
除了遇到有关于 pydantic 的问题,因为这个 module 最近出了V2,模型的回答经常会混合V1的答案,而且傻傻分不清楚,在之前旧的没有纳入 pydantic 的版本时,这问题更为严重,必须要自己先提供文件用RAG 让它知道。
但是就我实际的观察周边的人,发现LLM 对于低阶的工程师,高阶的工程师的帮助个别显著,但是对于中阶工程师而且有使用上的困难。
低阶的工程师处理的是低阶的问题,本来基础就不好,LLM本身的能力就能超越这些低阶工程师。
高阶工程师的能精准的知道自己需要的是什么,哪些部分可以透过LLM来做比较快,那些自己来做比较不会出错。懂得如何 prompting ,做问题拆解,所以也能很好的利用到LLM的好处。
而中阶工程师就会卡在不上不下的状况,低阶的工作可以自己处理,但是有时候要处理高阶工作时不知道要怎么问LLM,不晓得怎么做问题拆解,不知道怎么为 LLM 的回答加入 constraints,那LLM的回答就经常不会是自己想要的答案,甚至是会绕远路,简单来讲,就是不会发问,因为处理高阶问题时,问出正确的问题,提供正确的限制式很重要。
我举例来说,我自己做RAG的系统,很多人问问题的方式不是在问问题,而是提供几个关键字,当作搜寻引擎在用,那回答的品质当然不好,这也是为什么 OpenAI 还要做 SearchGPT 的原因之一。
同样的状况,也会发生在其他会大量使用到 LLM 的领域上面,必须学术研究。
我不相信现在还有大学生研究生不用 ChatGPT 的,但是但是它肯定也是只能对高阶跟低阶用户比较有用,中阶用户因为不懂得问题拆解以及提问技巧,得到的有可能是无法让人满意,甚至可能是抄袭出来,虚构的答案,而这些是中阶用户很难判断的。
LLM具体应用的场景绝对已经深入到某些领域而且已经无法回头了。
现在的问题是为了持续扩大这个领域,各家公司必须持续军备竞赛,所以成本居高不下。
使用单位大量缺乏问题拆解能力以及提问能力的人无法渗透,即便现在有透过 multiagent 的技术试图让LLM能自己做问题拆解,但LLM的大局观仍远不如人类。
其实这就有点类似围棋之前的状况,LLM善于最后的收官阶段,却没有大局观不擅长整体布局,直到 AlphaGo 出现之后达到技术突破。
AIPC是各家CPU公司试图让自己从NVIDIA 没有多少投入的 To C市场突破的一个行销方式,我仍称这种是行销方式是我认为 CPU + NPU 这种应用在PC上面除了拿来做指纹辨识,脸部辨识,这种通用应用以外,To C的NPU场景还没有那种我不得不用,不用会完蛋的那种应用。
而这种应用在NVIDIA的To B场景下已经有很多了。
如果OpenAI减缓研发脚步,停止让LLM普及化的烧钱,专注于特定领域的应用,肯定可以很快的改善获利,问题是这不是一个可以停下来的情况,谁能达到下一个阶段的突破,谁就能吃下整个市场。
所以我认为不是LLM应用场景不足,而是目前投入成本不但高,而且根本停不下来。