安兔兔AI测试成绩不公平？跑分背后是两大人工智能方案角逐未来

刚跨过安兔兔跑分的坎，又跌入安兔兔AI评测的坑。评价君这么形容麒麟980其实并没有什么不恰当的地方。不久前安兔兔官方发布了一款AI测试工具，然而跑分之后有些小伙伴不淡定了，这分数究竟是咋跑出来的？不怪各位有这样的疑惑，今天评价君就稍微解读一下AI测试背后的一些东西，看完也许就知道该如何理解跑分。

废话不说，先来看看被质疑的成绩是怎么回事。从评价君截取的三张图可以看到，小米Note3、红米Note7两款手机获得了超过72000分的成绩，而荣耀Magic2的成绩是62964分。前面两款使用的是骁龙660芯片，因此从这三张图能轻易得出他们胜过麒麟980的结论，焦点自然也就在这了。

评价君顺便挖个坑：各位说骁龙660和骁龙660 AIE是同一款芯片么？这个问题在本文中不讨论。

对于这种现象，安兔兔官方的人自然也是强势回击。大概总结起来就是三点。第一这个成绩和测试标准被海思认可。第二，AI不代表整体性能。第三，NPU没底层支持所以成绩差。评价君对这个回应不发表评论，只顺势说一下不怎么清净甚至暗流涌动的AI竞争。

在很早之前，评价君就多次在介绍AI的文章中引用了另一款软件AI Benchmark的榜单。这是一个相对权威的榜单，测试成绩也都是公开的，各位可以到网上查询。看成绩之余，不知道有没有人注意到很多成绩的右上角都有备注信息？这个备注往往被忽略，但其实相当关键。

评价君随便解释几个对本文可能有用的吧：

1——代表支持浮点AI模型，也就是依赖FP16运算能力，典型的就是华为芯片内置的NPU。

2——代表支持量化AI模型，依赖的是INT8运算能力，典型代表就是高通的Hexagon DSP。

3——代表对前面两者通吃。多说一句，即便通吃，实际使用中也只能二选一。

6——代表使用了Android的NNAPI驱动，AI性能会有30%到50%提升，但系统最低要求是Android 8.1。还敢说升级系统没用？

7——代表使用华为EMUI8.1系统，该系统的BUG会导致长时间待机之后AI性能下降30%，重启之后恢复。(╯‵□′)╯︵┴─┴

所以先解释了三星芯片为什么得分低：Exynos 9810不支持任何AI运算模型，全靠CPU运算，这一点AI Benchmark和安兔兔结论一致。那么接下来问题来了，从上面可以知道AI运算模型有INT8和FP16两种，在方案上就是高通DSP和华为NPU竞争。安兔兔员工说NPU无法被调用所以测不出成绩，AI也无法发挥作用。那真就不能让两大方案一比高低了吗？

答案当然不是。同样作为测试软件的AI Benchmark非常清楚的给出了麒麟980基于FP16模型的AI成绩，并不存在无法调用NPU的问题。同时也能看到，支持NPU和不支持NPU成绩差距相当明显，测试中运算速度会被加快3倍左右。所以同样测试AI性能，安兔兔做不到的项目，AI Benchmark做到了，不愧是爱因斯坦母校的作品。

其实从网友分享的成绩来看，安兔兔对INT8评分的测试还是相当精准的，测试做的相当有技术水平。比如下图中的vivo X23完全可以把前面的骁龙660手机摁在地上摩擦，实际上它可能只是一个骁龙670芯片的机型。

安兔兔AI测试这成绩很好的解释了两者的硬件差异——虽然其他方面比较相近，骁龙670使用了骁龙845同款的Hexagon 685，AI性能向旗舰看齐。同理，也可以看到小米6的AI成绩远不如小米8，也反映了小米6和小米8使用不同DSP产生的性能差距。所以至少在高通系芯片上，安兔兔AI测试相当有参考价值。

AI运算到底是基于INT8还是基于FP16，不光是高通和华为之间的矛盾，也是人工智能模型继续向前推进和发展必须面对的问题，两种方案都有各自的支持者投入大量研发力量促进其进化，以确保获得竞争中的优势。以目前情况看，直接竞争也就不可避免了，测试软件则在其中起到了导向作用。

所以不客气的说，任何评测软件都会有自己对发展趋势的理解和预判。尽管可能让用户觉得软件有倾向性，但只有这样才能发挥出自己最大的价值，这一点放之四海皆准。对于用户来说，也就意味着不能只看一个测试软件的结果，要综合评估。其实跑分除了验证某些猜想之外，跑分对于绝大多数用户而言意义也并不大，看看就好，不要太认真。