※ 引述《erspicu (.)》之铭言：
: 所以到底max应该设定多少比较适合?
借这个来抱怨一下.
正如我在之前稍微提过的, 我的公司已经全面转用 AI, 而且为了
不让外部的一些坏 coding 习惯污染 AI, 是用自己 code base train
的 AI model. (本公司不留能力不足的人, 而且一直都需要 code review
才可以 check-in 因此 code 的本身质素是没问题的)
随着超过2000位 dev同时使用 AI 来做 coding, 公司本身配置的资源
很快就开始不够用了. 写好了 prompt 提交时发现在排队 350位以外
是常事. 公司很快 (也花了一个月左右) 便批准了买更多的 VM, 但同时
也要求我们用 prompt improvement coach wizard “改进”我们的 prompt.
结果他都要求我直接告诉 AI 需要修改那个档案. 这产生了两个问题:
首先, 如果我看错是那个档案出问题的话, 不管怎么改还是没有效果.
然后, 如果我写 prompt 还是先 trace code 去找那个档案出问题的话, 比起
花时间写 prompt, 自己改比较快 (还不用排队)
最近我们也发现了 AI 写的 code 在需要和第三方对接的部份常出现
忽略明明已经写进了 rules.md 的限制, 因此需要回炉人手重做的事件.
说实在的, 用了 AI 后也没发现省了多少时间.

恭喜你 发现为什么在这里真的有开发经验的工程师喷那些AI吹喷那么凶了 这就是现在AI开发现实 至于那些说未来会进步的 可能连现在语言模型的基础原理是什么都不知道先吹再说

？？

从AI开发得利最大的是那些自有资料中心的大公司他们token多半是无限使用的,才能获益如此巨大

但会不会就是因为本地模型，上下文容量与产token能力不足，才只能让他阅读部份的代码无法观察全局导致你文中的情境？当然本地化的保密需求是外部AI model永远无法满足的

我看下来这好像不是LLM的问题...这个场景本身就已经只有顶尖Model的选择了，本地自训练的就要先考虑推理能力落差，再来会2000个dev排队这是治理问题

0>1 AI很神 1>100真的就还好 专案越大人越多就越还好

人家脉络都说了，不就是不能用外面的吗而且LLM做事情无视规则真的蛮常遇到的

我知道情境不能用外面啊，但不是那几个顶级的推理model就不太适合拿来类比啊，能力真的有差

蛤?自己train的model...这才是问题吧

正常人用AI：AI比较快，比较好时才用AI。没比较好，比较快时，何必坚持用AI。这就跟早期没LLM时很多企业AI专案失败的原因一样，硬要什么流程都用AI，结果没比较好。坏的coding习惯，要挡，何必训练模型才能挡。硬件资源不足，暂时解法，何必硬要从prompt解。比prompt调整更有效率的方法还很多。

你跑到英国去工作了??

地端的 LLM 没那么厉害，巨头的模型厉害有他的道理

公司资源问题 Trial & Error是建立工作留的必经之路

有没有可能你们公司的code品质不高

用本地model来为云端顶级model下结论吗

地端model能力跟那几家的能力差非常多 无论理解和token量

自己train的AI的问题通常是资料量不够，而不是资料品质

Model不够强 以及机器不够多 洒钱能有效解决之前也有试过local model能力跟Claude落差挺大的 虽然也跟我的agent orchestration写的不够好有关 但Claude就是够聪明到即使如此还是持续使用正确的工具

地端也没关系 但是用自己CODE BASE TRAIN出来的肯定没用连涌现门槛都到不了 是能训练出什么

你们公司的全面AI好怪 真的好怪

来，我跟你说现在争论AI的无限制循环：1.有人抱怨难用=>你没全信AI，只把它当顾问，你用网页版没套CLI，没搞agent=>2.你做了，但还是有些问题，效率不如预期 =>你没有完全信任他，你的组织没有全面AI Coding =>于是你们也做了，公司也全面推动，但有效能或表现问题=>你机器买不够多=>4. 你们也买了，但AI还是不能当人用=>都是你们没用大厂私有LLM的错=>6.有些公司于是也切了=>6.遇到token限制问题=>谁叫你们不买最大或无限制方案讲来讲去都是在这几个点无限跳针，千错万错，错的绝对不是AI，也不是连原理都不很清楚就无条件“相信”AI可以真的当基层工程师来用的资深同事或中高层主管这就是这一两年最瞎的事情。本来它就只是工具，因此照理讲就是给大家用，但提供一定弹性不要强制大家怎么做事，也不要毫无理由相信全交给AI必定没问题，有问题就一定是倒回去烧token算到对为止。有错必是人错，有延宕必是人类在扯AI后腿……别搞这些就没事了。

人家公司都是coding能力很高的 当然是ai扯后腿

AI又不会自己动自己布署自己，那能不能用在对的场合达成对的目的不就是人的问题？美国都在用AI开打WW3了你在那边盲信AI

要不要先试试云端大模型比较看看

地端模型有300B吗？

"不让外部的一些坏 coding 习惯污染 AI"这句话满怪的

减少基层纯码农是大公司共识...

共识=找理由裁员罢了

看起来是你们train的模型太烂捏还有机器太少

问题应该是出在你们自train的模型上以现在来说比起自train 不如写个有你们coding style的skill 接入claude听起来你们公司有点跟不上现在AI workflow的进展自train local llm大概是两年前的meta

对. 我现在是在英国最大的软件公司工作.我公司在用的是Azure企业版的AI hosting方案. 用的token数量已经是专门去谈的海量了.但面对真实的应用场景还是会很快烧完.AI model本身没问题, 但在还要想办法控制token用量下我感觉帮助有限.