楼主:
LDPC (Channel Coding)
2025-01-26 13:15:59目前就在旁边吃瓜观望@@ 成本这种本就是用开源后的可以拿已有的模型去当辅助下降成本
最常见作法就是拿gpt-4o当judge或者当数据产生器 去精炼数据集 如果再没有gpt-4o
情况下 很多高质量资料去产生就花很钱 最经点例子就是LLaVa 一个博士班学生 用gpt-4o
去产生高质量多模态数158k 极小量数据集 用8xA100 1天时间 就干爆之前所有
多模态大模型 能打赢saleforce的一间大公司堆出来的多模态BLIP-2模型
这家伙精髓站就是在gpt-4模型巨人的肩膀上
资料的quality会影响大模型 而资料可以透过开源高质量模型去萃取
如果再套用COT 这些都可以继续进化 paper有些细节像是数据集这类如何精炼
反而可能会是一个重要一环 但大家都会藏这类细节 @@/
2025现在大家都杀到LLM Agent去了 LLM刷模型任务分数热潮有点下降
大部分都跑去搞LLM决策部分 和COT (思考链) 多步骤分析任务
像是waymo自驾端对端的决策都搞了一个EMMA 用Gemini 去往上盖
(这时候自驾公司有自己的很强的LLM就很有用了 随手不负责预测亚麻zoox会拿自家
LLM或anthropic来搞end-2-end多模态)
然后LLM Agent如果要放在机器人和自驾
一定得on-device 因为云端延迟太慢 风险高 所以1B~4B这阵子的on-device模型
能力也在不断突破 所以on-device LLM不太会在是AI-PC 除非是属于私密资料等应用场景
而edge/on-devcie AI 可能突破点会在机器人
自驾的趋势之后会跟LLM走上同阵线 在某个时间点 等闭源LLM开始时 就是差不多AI模型
的尽头开始产业化 也许端对端LLM决策 可以强化视觉上标签数据不足 (不确定这点
但直觉上认为 思考练LLM Agent可以降低场景车用数据量..QQ 基于模型泛化能力)
这会给其他车厂追上特斯拉的机会 特斯拉自身的LLM可来自grok 而3D基础模型
foundation model 像是李飞飞的空间模型 有一定机会能帮助自驾 可以直接融合LLM
产生端对端多模态 而李飞飞又跟狗家走很近 所以想单赌个股 可以赌赌看狗家