[情报] 外媒称联发科 SoC效能分数造假,官方否认

楼主: Lsamia (samia)   2020-04-10 22:40:38
https://technews.tw/2020/04/10/mobile-benchmark-cheating/
外媒称联发科 SoC 效能分数造假,官方否认但反驳又来了
现在的手机跑分,真的是不能信。
手机产商、芯片厂商越来越追求芯片的跑分数值,Benchmark (基准性能测试)逐渐成为
衡量设备性能的重要标准。但在一味追求分值的同时,厂商们也逐渐深陷“分值禁锢”之中,近期的联发科,就是如
此。
联发科芯片benchmark 造假事情的开始,要从OPPO Reno3 说起。
外媒Anandtech 发现,搭载P95 CPU 的欧洲版OPPO Reno3 Pro 的跑分数值比搭载性能更
强大的最新Dimensity 1000L CPU 的国行版Reno3 的高,这引起了Anandtech 的质疑。
由此,Anandtech 分别使用匿名版(可帮助分值作弊)和常规版的PCMark 对MediaTek
P95 CPU 进行跑分。结果显示,P95 CPU的真实总分比匿名版得分低30%;在写入负载方面,二者得分的差异甚
至达到75%。同时,Anandtech指出,通过对OPPO Reno3 Pro进行测试,结果表明并非是OPPO Reno3
Pro导致的跑分差异。也就是说,造成跑分差异的根源在于联发科芯片。为了证明这一结论, Anandtech 对Reno3 搭载的联发科芯片作进一步调查。结果发现,
在手机的固件(/vendor/etc 文件夹)中,包含一个“power_whitelist_cfg.xml”文件

该文件中存在一个涵盖各种基准测试的列表,包括GeekBench、AnTuTu、3 dbench,、
PCMark、鲁大师、AndroBench2 等。不仅如此,列表中还新增了人工智能基准测试,包括
Master Lu AIBench、ZTH AI 。在这其中,Anandtech 找到了PCMark 的APK ID,发现ID 中配置了一些电源管理提示,其
中一个共同的提示为“运动模式”。
该模式能够修正SoC 芯片的一些DVFS (动态电压频率调整)特性,比如始终以最大频率
运行内存控制器。另外,在负载跟踪方面,调度器也被更改了设置,在工作负载时CPU 核
心的频率能够更快地上升,并停留更长时间。
不仅如此,其APK ID 还包含了企业版的GFXBench,虽然在清单中没有配置“运动模式”
提示,但在使用应用程序是会改为默认的DVFS、热力和调度器设置。值得注意的是,
“power_whitelist_cfg.xml”文件不仅存在于OPPO设备上,Anandtech还在其他设备上
(搭载联发科芯片的设备)发现了类似文件以及几乎相同的基准清单条目。如表所示:
巧合的是,在Anandtech 解压文件之后,OPPO 向手机推送了一个固件更新,文件中原有
的基准列表消失了。Anandtech 认为该文件列表仅是被移动了位置,因为基准测试中依然
能够触发“运动模式”,从而使性能大大提升。
联发科回应
对于Anandtech 提出的质疑,联发科方面也给出了正面回应。以下为回应声明:
联发科技遵循公认的行业标准,并且对基准测试准确地代表了我们芯片组的功能充满信心
。在测试和基准测试由我们的芯片组驱动的设备时,我们与全球设备制造商紧密合作,但
最终,品牌商可以灵活地配置自己认为合适的设备。许多公司将设备设计为在进行基准测
试时以最高性能运行,以显示芯片组的全部功能。这揭示了任何给定芯片组的性能能力的
最高端。
当然,在现实世界中,有许多因素将决定芯片组的性能。联发科技的芯片组旨在优化功耗
和性能,以在尽可能延长电池寿命的同时提供最佳的用户体验。如果有人正在运行诸如要
求苛刻的游戏之类的计算密集型程序,则该芯片组将智能地适应计算模式以提供持续的性
能。
这意味着,随着芯片组根据出色的用户体验所需的功能和性能动态管理CPU,GPU和内存资
源,用户将从不同的应用程序中看到不同的性能水平。此外,某些品牌在不同地区具有不
同类型的模式,因此设备性能可能会因地区市场需求而异。
我们认为,在基准测试中展示芯片组的全部功能与其他公司的做法是一致的,并且可以为
消费者提供有关设备性能的准确信息。
联发科认为,其公布的Benchmarks 分值代表了芯片组驱动设备时的最高分值,代表了芯
片组性能的最高端,所以不存在跑分造假的行为。同时联发科指出,这一做法与其它公司
的做法是一致的,也就是说,行业里的厂商都是这么做的。
但这一回应遭到了Anandtech 的反驳。Anandtech 认为,联发科并无回应出问题的本质。
其具有欺骗性的Benchmarks 不仅针对的是与SoC 相关的跑分软件(例如GeekBench、
GFXBench),而且面向了与用户体验相关的跑分软件,也就是前文提到的PCMark。Anandte
ch 解释称,PCMark 是一个系统基准测试,其分值代表了芯片的工作负载和设备
响应能力。虽然PCMark 反映的是芯片的性能,但会受DVFS 和调度程序等软件和机制的影
响;这也印证了前文提及“运动模式”会修正SoC 芯片的DVFS 特性,从而影响
Benchmarks 分值。
另外,Anandtech 指出,PCmark 分值反映的是用户使用体验,而不仅仅是芯片组的性能
。也就是说,Anandtech 认为联发科干涉PCmark 分值已超出了芯片跑分的范围。
用产品说话,才掷地有声
事实上,在联发科之前,三星、华为都曾因欺骗Benchmark 结果陷入舆论中心。2014 年
,测试人员发现三星通过添加源代码在基准测试中作弊,该代码能够检测基准测试应用程
序是否在手机上运行,一旦发现,则以更快的速度(532MHz,正常情况下为480MHz)运行
手机。由此,三星遭到了集体诉讼,且该诉讼长达4 年。2019 年9 月30 日,三星败诉,
承认在基准测试中作弊,同意向Galaxy S4 的购买者支付10 美元赔偿。
同样的事情在华为身上也发生了。Anandtech 发现,华为会在新设备中配备基准检测机制
,为SoC 提供了更高的功率限制。最终,在某些白名单应用程序中,设备的性能会更高。
不过,这种做法会带来一些负面影响,包括消耗电能,降低机组效率,降低电池寿命等。
对此,华为表示,仅凭一个单一的基准数字并不能显示完整体验。但对于部分项目,进行
基准测试是整个行业中被认可的方式,每个公司都在朝着更好的客观结果而努力。同时,
华为消费者BG软件工程部总裁王成录表示,其他厂商都在进行同样的测试获得高分,华为
不能保持沉默。不难看出,Benchmark 的高分值正成为芯片制造商追求的目标,也逐渐成
为了行业的营销手段。Benchmark 分值固然能反应设备的性能,但为了营销、数值攀比而
进行跑分造假不应是行业常态。
且不论“你做我也做”追求Benchmark 高分值的盲目性,就跑分造假这一行径而言,其分
值只能在短时间内获取用户体验的好感度,但从长期视角来看,追求高分值会带来设备性
能的损耗,这并不是与用户建立良好关系的正确途径。
正如AnandTech 在文中提及,更好地与用户体验建立联系的唯一方式,就是让每个常规游
戏在标准的功率范围内运行。也就是说,性能最具说服力的表现不是分值,而是产品本身

心得:
文章很长不过其实重点蛮短的
发哥的天机1000这次新闻预热了这么久
结果天机1000都还是一台都没有,目前只有割肉版的1000L
这次发哥涨价看起来很失策阿 但是从财报又没赚比较多
(高频版本MT6889售价高达70美元到80美元之间,
远远高于一般4G芯片10美元到12美元的价位,涨价了五到六倍)
https://tinyurl.com/ujz8zr6
到底这次是谁害发哥产品得大涨价呢 到今天终端产品都还没超过1款

Links booklink

Contact Us: admin [ a t ] ucptt.com