AVFoundation编程指南02AVFoundation是iOS开发者可以用来播放和创建基于时间的视听媒体的几个框架之一。它提供了一个Objective-C接口(当然,Swift也可以
AVFoundation
是iOS
开发者可以用来播放和创建基于时间的视听媒体的几个框架之一。它提供了一个Objective-C
接口(当然,Swift
也可以使用),用于在基于时间的视听数据的详细级别上工作。例如,你可以使用它来检查,创建,编辑或重新编码媒体文件。你还可以在实时捕获和回放期间从设备获取输入流并操纵视频。图I-1
显示了iOS
上的体系结构。
图I-2
显示了OS X
上相应的媒体体系结构
不过,咱们一般都是只会使用最上层的接口。
如果你只想播放视频,使用
AVKit
框架就足够了。在
iOS
上,如果只是简单地录制视频并且对格式没有什么要求的话,请使用UIKit
框架中的UIImagePickerController
。
请注意,你在
AVFoundation
中使用的一些原始数据结构(包括与时间相关的数据结构和opaque
对象来承载和描述媒体数据)在Core Media
框架中声明。
简述
AVFoundation
框架有两个方面 - 与视频相关的API
和仅与音频相关的API
。较旧的音频相关类提供了处理音频的简便方法。
要播放声音文件,你可以使用
AVAudioPlayer
。要录制音频,你可以使用
AVAudioRecorder
。
你还可以使用AVAudioSession
配置应用程序的音频行为;Audio Session Programming Guide中对此进行了描述。
关于
AVAudioPlayer
,AVAudioRecorder
以及Audio Session Programming Guide,我会在后面提供详细的资料。
使用AVFoundation表示和使用媒体
AVFoundation
框架用于表示媒体的主要类是AVAsset。框架的设计在很大程度上受到这种表示的指导。了解其结构将有助于你了解框架的工作原理。 AVAsset
实例是一个或多个媒体数据(音频和视频轨道)的集合的聚合表示。它提供有关整个集合的信息,例如标题,持续时间,自然表示大小等。 AVAsset
与特定数据格式无关。 AVAsset
是用于从URL
处的媒体创建资产实例的其他类的超类(请参阅AVFoundation编程指南03-Assets使用)和创建新的合成(请参阅AVFoundation编程指南05-编辑)。
Asset
中的每个媒体数据都是统一类型并称为track
(轨道)。在典型的简单情况下,一个track
代表音频组件,另一个track
代表视频组件;然而,在复杂的构图中,可能存在多个重叠的音频和视频track
(轨道)。Asset
也可能包含metadata
(元数据)。
AV Foundation
的一个重要概念是:初始化asset
或track
并不一定意味着它已经可以使用了。甚至可能需要一些时间来计算项目的持续时间(MP3
文件,例如,可能不包含摘要信息)。不是在计算值时阻塞当前线程,而是通过使用block
定义的回调异步请求值并获得回调。
相关章节:AVFoundation编程指南03-Assets使用, AVFoundation编程指南08-时间和媒体表示
Playback
AVFoundation
允许你以复杂的方式管理Asset
的播放。为了支持这一点,它将asset
的表示状态与asset
本身分开。例如,这允许你在不同分辨率下同时播放同一asset
的两个不同片段。asset
的呈现状态由player item
对象管理;asset
内每个track
的呈现状态由player item track
对象管理。例如,使用player item
和player item tracks
,你可以设置播放器呈现item
的可视部分的大小,设置要在播放期间应用的音频混合参数和视频组成设置,或禁用组件播放期间的asset
。
读取,写入和重编码Assets
AVFoundation
允许你以多种方式创建Asset
的新的表示方式。你只需重新编码现有asset
,或者在iOS 4.1
及更高版本中 - 你可以对asset
内容执行操作并将结果另存为新的asset
。
你可以使用export session
将现有asset
重新编码为由少量常用预设之一定义的格式。如果你需要对转换进行更多控制,那么在iOS 4.1
及更高版本中,你可以串联asset reader
和asset writer
对象,将asset
从一种表示转换为另一种表示。例如,使用这些对象,你可以选择要在输出文件中表示哪些tracks
,指定自己的输出格式,或在转换过程中修改asset
。
要生成波形的直观表示,请使用asset reader
读取asset
的track
。
缩略图
要创建视频演示文稿的缩略图图像,请使用要从中生成缩略图的资源初始化AVAssetImageGenerator的实例。 AVAssetImageGenerator
使用默认启用的video tracks
(视频轨道)来生成图像。
编辑
AVFoundation
使用compositions
(组合)来从现有媒体(通常是一个或多个视频和音频tracks
)创建新的assets
。你使用可变组合来添加和删除tracks
,并调整其时间顺序。你还可以设置音轨的相对volumes
和ramping
;并设置视频轨道的opacity
和opacity ramps
。合成是存储在记忆中的媒体的集合。使用export session
导出composition
时,它会折叠为文件。
你还可以使用asset writer
从媒体(如样本缓冲区或静止图像)创建asset
。
图像和视频媒体捕获
来自摄像机和麦克风的录制输入由capture session
管理。Capture session
协调从输入设备到输出(例如电影文件)的数据流。即使会话正在运行,你也可以为单个会话配置多个输入和输出。你将消息发送到会话以启动和停止数据流。
此外,你还可以使用preview layer
(预览图层)的实例向用户显示摄像头正在录制的内容。
使用AVFoundation进行并发编程
来自AVFoundation``blocks
,KVO
和通知回调不能保证在任何特定线程或队列上进行。相反,AVFoundation
在执行其内部任务的线程或队列上调用这些处理程序。
就通知和线程而言,有两个一般准则:
与
UI
相关的通知发生在主线程上。需要你创建和/或指定队列的类或方法将返回该队列上的通知。
除了这两个指南(并且有一些例外,在参考文档中有说明),你不应该假设将在任何特定线程上返回通知。
如果你正在编写多线程应用程序,则可以使用NSThread
方法isMainThread或[[NSThread currentThread] isEqual:<#A stored thread reference#>]
来测试调用线程是否是您希望执行工作的线程。您可以使用诸如performSelectorOnMainThread:withObject:waitUntilDone:和performSelector:onThread:withObject:waitUntilDone:modes:等方法将消息重定向到适当的线程。你还可以使用dispatch_async“弹回”到适当队列上的块,可以是UI
任务的主队列,也可以是并发操作的队列。有关并发操作的更多信息,请参阅Concurrency Programming Guide;有关块的更多信息,请参阅块Blocks Programming Topics。 AVCam-iOS: Using AVFoundation to Capture Images and Movies示例代码被认为是所有AVFoundation
功能的主要示例,可以参考AVFoundation
的线程和队列使用示例。
先决条件
AVFoundation
是一个先进的Cocoa
框架。想要有效地使用它,你必须:
对基本
Cocoa
开发工具和技术的扎实理解。对
blocks
有基本的掌握。对
KVC
和KVO
有基本的了解。对于
playback
,基本了解核心动画(参见Core Animation Programming Guide,或者,对于于basic playback
,请参阅AVKit Framework Reference。
参考
下面有几个AVFoundation
示例,其中两个是理解和实现Camera
捕获功能的核心代码:
AVCam-iOS: Using AVFoundation to Capture Images and Movies是用于实现使用相机功能的任何程序的规范示例代码。它是一个完整的Demo
,文档齐全,涵盖了大多数功能。
AVCamManual: Extending AVCam to Use Manual Capture API是AVCam
的配套应用程序。它使用手动相机控件实现相机功能。它也是一个完整的Demo
,有详细记录,应该被视为创建利用手动控制的相机应用程序的规范示例。
RosyWriter是一个演示实时帧处理的示例,特别是如何将过滤器应用于视频内容。这是一个非常常见的开发人员要求,此示例涵盖了该功能。
AVLocationPlayer: Using AVFoundation Metadata Reading APIs演示使用metadata
API
。