库克万万没想到,拍抖音是LiDAR目前最主要的功能
苹果在iPhone 12 Pro上首次为手机配备了LiDAR激光雷达,让手机具备感知空间深度的能力,该部件除了增强摄像头在夜间对焦的表现、让模拟景深更加真实之外,苹果官方还希望更多第三方应用调用他们提供的AR接口,充分利用LiDAR的功能。
海外版抖音TikTok最近发布了一款新的AR滤镜,首次用到了iPhone 12 Pro上的LiDAR功能。在短视频App中,AR特效非常常见,例如在人物脸上某个位置增加饰物、妆容或者贴纸,这些功能在之前都是通过手机摄像头的图像结合AI算法以及双目视觉来实现的,在苹果还没有推出LiDAR之前,他们就利用这些技术打造出了隔空测量的AR应用。
在LiDAR硬件加入之后,手机对空间的感知更加精准,AR特效的体验将会大幅提升。就拿TikTok这款最新的特效举例子,在该特效中,画面上方会出现一个倒数气球,倒数到0之后气球会爆破,然后在空中出现2021的字样,并且会伴随很多散落的金色纸片。
由于LiDAR让手机拥有了更好的空间感知能力,这些纸片的掉落轨迹更加真实、符合物理规律,他们只会在空气中跌落,不会穿过任何物体。演示视频中,纸片甚至会停留在主角的肩膀和衣服上以及沙发、抱枕的表面。当主角离开镜头范围的时候,他身上的纸片会随着身体的运动被抖落。
这款TikTok新特效让我们见识到了在A14芯片的驱动下,结合LiDAR提供的景深数据,iPhone已经具备一定的视频实时渲染能力,但是画质还有待提高。在未来一两年内,LiDAR最主要的应用恐怕还是拍照辅助以及短视频特效为主。因为在短视频拍摄场景中,哪怕实时渲染的速度跟不上,也可以在拍摄完成后进行短暂的后期处理。想要实现高质量的AR游戏、AR实时视频等功能,恐怕还要多等三四年手机芯片性能才能满足更多元化的景深AR应用。