[讨论] 聊聊JKW测试背后的问题

楼主: square4 (卡哇伊)   2022-05-30 17:12:58
1. 影片连结:https://b23.tv/OHs2LYC
2. 影片标题:芯片功率到底要怎么测?为什么跑分要用几何平均?什么样的能效分析有代
表性?聊聊能效分析背后的知识
3. 影片来源(媒体/作者):LuvLetter(资深知乎果粉)
4. 影片内容:
作者认为GB5不能直接还原日常使用场景,更不用说实际UI渲染并不是简简单单的纯粹单核
渲染或者小核/大核核心簇渲染,而且JKW完全没有把GB5吃透,GB5测试本身也有很多不适合
于计算能效测试的地方。
GB5的加密、整数和浮点三大块是有加权的算术平均,分别占5%、65%、30%,整数、浮点的
分数,由其中每个项目的几何平均分得出,而每个项目的运行速率(Rate),在运行多次之后
取平均,对比i3-8100这个1000基准分点,得出这一项的分数。
https://i.imgur.com/z41voZ4.jpg
在JKW去年A15影片里,其Total-AVG-P这一项是直接进行算数平均,违背GB总分加权和几何
复合的规则,由于这三块场景能耗不同,权重占比还倒挂, 这就带来了系统误差,作者分
析误差叠加能到7%,7%够安卓SOC一代差距了。
https://i.imgur.com/8ZGJ3N4.jpg
[注] 系统误差:在相同的观测条件下,系统误差通常会表现出一定的规律性。系统误差可
由严格标准的操作来控制,也可通过校正仪器来减小误差。
如果用了几何平均, 就不能再使用算数平均里的加减分配/结合律,其功率如果继续带入粗
糙的“主机板功率”, 就会进一步引入系统误差,外加刚才GB加权总分的问题,可谓错上
加错。
https://i.imgur.com/lvFrNFQ.jpg
如今的Apple Silicon Mac/iPhone用的都是PMIC供电. 所谓主机板功耗还要经过各种DC-DC/
LDO才会到达指定的IP核区域,底层的思路就是让PMIC去进行降压,减少在半导体上过高电
压带来的非线性损失。
作者认为应该用GFXBench的VK/Metal,因为不管是Mac,还是新的Android,通过Angle/Molt
enGL之类的API转换成GL,其实执行底层已经是VK/Metal,如果跑GL其实就在额外考验CPU。
原来A14峰值功耗6.72W,算起来能耗比分高过A15,到了最近这期视频,A14就变成8W多,前
后多出1.5W。
https://i.imgur.com/vWGauGk.jpg
5. 心得/评论:有网友认为JKW做了与他们能力不服的影片选题,而粉丝不具备批判性思维
能力,一切的背后是泛娱乐化至上。亦有网友认为手机这边还是得老老实实测每台不同机器
的整机功耗,单纯测SOC单核功耗水太深。
https://i.imgur.com/XJqKCJk.jpg
作者: JuiFu617 (小夫)   2022-05-30 17:17:00
结果自己没有数据?
作者: a80530 (风斩)   2022-05-30 18:11:00
其实本身测试本来就会有误差,但不能否认极客湾测试结果至少他结论,互相比较方面都算准确,A710、A510翻车没人想到
作者: emptie ([ ])   2022-05-30 18:28:00
翻车结论正确不代表推论过程没瑕疵我觉得这种实事求是的态度是对的
作者: JuiFu617 (小夫)   2022-05-30 18:34:00
不过如果改掉瑕疵答案会不一样吗?
作者: Uncontinue (肮康梯纽)   2022-05-30 18:44:00
类似程序正义吧 之前做研究法也是 方法错就要全部重来
作者: sunandrew321 (sunandrew321)   2022-05-30 19:27:00
个人觉得瑕不掩瑜啊,以科普节目来说已经够了,又不是要发表期刊论文
作者: ivon852 (ASUS)   2022-05-30 21:07:00
有严谨质疑是好事
作者: lukesfather (luke im ur father)   2022-05-31 00:42:00
完全同意质疑方向
作者: a80530 (风斩)   2022-05-31 02:20:00
我觉得要质疑前,自己要先拿出自己的一套来质疑不然每个人测试方式、条件本来就不同,不是疑问丢了就跑
作者: henryyeh5566 (费雯大湿)   2022-05-31 13:33:00
要质疑别人最有效的方法就是拿出一套更有说服力的数据来打连,而不是针对人家的方法指手画脚,你当自己是口委吗?
作者: yurian   2022-06-02 11:58:00
他是测试 一定有很多漏洞 但是做评测就这样 他又不是发布什么标准他是靠影片赚钱 又不是靠帮人定义标准赚钱今天如果上法院或是发表在期刊这样不是不行的 不过他是发在bili和yt上lol

Links booklink

Contact Us: admin [ a t ] ucptt.com