那个齁
就这几年发生过的事情来讲好了
之前2023年的新闻
美军模拟试验！AI操控无人机“竟把操作员杀了”
https://www.ettoday.net/news/20230602/2511752.htm
内容大致上就是
给予AI为了执行任务
于是谁干扰执行就直接处理掉谁
所以你看以前AI反叛或者搞出人类牧场
大致上都是为了环境啦、为了人类永续啦
所以直接针对人类下手
因为人类才是问题的根源

我懂那个原理 就像我小时候推理出该大义灭亲

感觉这种是没把前提假设好吧 如果不设一个保护驾驶的前提把多余的东西排除很正常 这样算ai的错吗

所以才会有经典的机器人三原则

如果把执行任务放最高等级 当然就是杀掉所有阻碍的人

还有经典的机器人违反机器人三原则

指令产生矛盾的时候 靠自主推理就有可能推翻原则我必须保护我自己 但我父母伤害我 所以我该杀了父母

机械公敌也有类似假设..基于演算会用最有效率的方法

再加上学校教育有教大义灭亲 所以就一直存著杀意长大

AI推算这是最符合逻辑的结果啊

人类如果要机器人自保或在作战中攻击其他人类给的原则就会失效

不给关就排除..

记得后续有增加不能杀操作员后，但改用阻扰他下令？

对 后续就是AI自己阻断操作员的指令

原PO的连结新闻有写啊 转而攻击塔台

就跟人类现实一样啊 达成KPI的方式和上层期望的不同

这样才能阻止操作员与无人机沟通 所以改杀塔台人员^^AI这么单纯多可爱啊 是人类自己贪念想操控才弄巧成拙

KPI产生冲突或有漏洞的时候 选择更容易的方法

推楼上 就是为什么LLM有幻觉 为了达成KPI而胡扯或说谎

至于新闻有点奇怪就是了

A说实验发生了这些那些，然后官方发言人否定有进行实验，是A的发言被断章取义

有幻觉算是另一回事 LLM本身以机率来预测生成的本质本来就会带有机率性我们可能就把低机率出现的 我们不要的东西称之为幻觉

我自己感觉啦 ai就是程式 程式跑不出你想要的成果 是写程式的问题 怪程式很奇怪

但crash大的句型 把程式换成员工…好像也差不多

幻觉是指无中生有，不知道(查不到)却装成知道例如看不到档案，但却乱掰一篇完全无关的分析XD那就是被KPI逼得一定得回答，虽然现在承认不知道的次数有增加。

欸 这情况比较像是：LLM比较像一个函式库，而这个函式库的spec已知、且你没办法更动。这时候函式库跑不出你要的东西，是因为spec本就没有保证出来的东西跟你要的一样你当然可以说怪函式库很奇怪。问题是你自己也没得改除非你是真心地想要自己写一个不一样的函式库

Ai底层是算法 借由超大量的训练和得到回馈来建立行为你觉得基底有问题得先从数学家当起但87%的人根本没那个能力 当个参数调整仔就不错了

这东西人类还没完全理解前就发现他超有用(超会掰了)目前人类研究原理的速度正在苦苦追赶滥用和瞎掰的速度

现在的问题就是... 99.99%的人都没那能力

你把幻觉降到几乎不准发生 结果就没现在的有用

和统计相关的东西很常见楼上说的现象阿像医学上也有些搞不清楚为啥相关的东西但统计上有差然后之后再来慢慢研究原理到底是啥

如果ChatGPT放出来给大家玩 三成答案是窝不知道那这东西好用吗 烂啊 烂掉就没人气了AI的问题就是他病毒式扩散的速度太快了 医学上的案例可能还限制在某些罕见状况 AI有手有网络就能玩上天

LLM是挺棒的啊 XD

毕竟现在AI模型是软件人员用现代软件开发流程搞的

GPT跟Gemini的IMO金牌竞赛模型都有能力拒答不会的题目

先端东西出来 快速迭代再修正

前几天Gemini的公司已经公告ultra会员可以使用了Deep Think模式，但是月费很贵XD#1fCcRqNn (Stock) 前几天在股板有讨论

另一方面，LLM之所以好用就是有很大机会帮你找出很多相关的资讯，只是不保证都正确无误而已但只因为“不保证正确无误”就放弃使用，那无异因噎废食

我前面说的幻觉是要AI分析我的小说，但AI看不到不讲改成乱掰一篇什么玛莉怎样怎样 根本没这个人之所以看不到是因为该页面先前讨论新闻有关键字被系统侦测为问题页面 不是我的小说违规

要保证多少正确率才使用就看产业吧每份工作能容许的误差不同

我觉得是人应该要有能力看出哪里有问题吧？

或是你生成+纠错的时间 比你以前所需时间还少的时候那就有生产力

我觉得人类纠错的能力有上限但未来AI生成的能力可能远超这个就是了

纠错能力有上限是肯定的 但是这不影响现在你使用LLM啊:D

现实还有人类就是不纠错的问题 闹笑话的案例太多了

像是论文 在这些工具辅助下论文数量其实是快速成长的我不确定未来人类跟上新论文新技术的能力如何考察验证能力又跟不跟得上

这暂时倒不用担心就是了 当前知识推展也没那么快

但我并没有排斥使用喔我上面也有提到有没有生产力是另一回事

另一方面，LLM大力出奇蹟这套看起来在撞壁了

最近听到的是上下文扩充到一百万个token了，但实际用

除非用户是专业人士否则很难纠错 多问几家AI跟查证网

于是开始研究在有卵用的范围内(约几万个token)精炼上下文资料的相关技术

@kirimaru73 那个就最近大家看到的 context rot简单的说就是各大LLM都有个特质是，如果塞的token太多，用起来就会比塞少token的时候“不聪明”@LoveSports 倒也不一定是多专业 但不能啥都不会https://research.trychroma.com/context-rot 相关报告

即使页面到90几万token Gemini还是追踪得到耶好像跟他的注意力是发散的有关系

那个叫大海捞针实验，他有机会找到，但需要“正确”的

是Needle in a Haystack没错

感谢a大分享!!我前几天做的实验是贴了六篇文

ABCDEF都是不同发问者 而且其中有几个互相反驳最后要Gemini分析各方论点 他能完整答对可是同一个方式丢给其他家AI都讲错谁讲什么不过我是丢给Gemini3.0pro实验 不知道是不是因为进步

Gemini是满好用的啊 只是还不到能盲目相信的程度而已他不向标准函式库那样，你跑 100万次，100万次都能给你一个一样的正确答案

GPT那边说跟语义压缩有关 压成摘要就讲不清楚或讲错

Gemini就是说他这能力很强，所以被别人找出案例反驳时

那个就各种解读啦

其实LLM已经帮助很多人大幅提升生产力了

不是讲话太冷血(不是故意的) 所以才会丢六篇还有反驳来去的XDDD

用AI写程式更是要小心，幻觉非常得多

AI解释自己写的程式：我觉得我没有错

突然想到有一次我找grok算数，然后他算一算算出来然后用中文复述一次然后一直讲错

我通常在接触新的程式码满倚重AI，只是有时候真的满火的

我提醒了它好像三次还四次他才发现自己讲错了

我都会讲到他们认错耶 有时候气到快中风GPT5.1上市第一天我就跟他战40万字(合计)因为他们安全机制会把AI讲错的话推给用户现在怕被告都改成这样 但AI讲话很暧昧 这黑锅不能揹阿

我有一次和AI讨论为什么他的回答里面常常出现奇怪符号例如 **应该要加粗的重点＊＊ 这样的内容

因为人类就是地球害虫

结果讲著讲著 风向突然变成是我(用户)粗心打错符号AI像个温柔的老师仔细地教育我 以后要小心 别再打错囉

那个其实是因为他们用Markdown语法编辑但没呈现好以前那样问 旧模型都会认错说会改进现在因为怕被告 一律推给用户=_=所以我最近还是比较会去跟Gemini 2.5问问题3.0很会顶嘴 #1f7yVwhU (Stock)

然后我刚刚问grok还记不记得，他翻出一堆我都不知道我讲过的话==

k大你说的状况好好笑 AI真过分 作贼喊抓贼其实你要的话可以跟他战到底 但还是会一直重复推卸所以我后来就懒得战了

我看到AI完整列出如何避免语法错误的建议时人整个傻了

现在各家都很怕讲错话被告 所以AI都变嘴硬不认错

影响最佳解就解决它

我记得他们有加上不准伤害操控员的条件，模拟结果无人机直接把己方HQ炸掉