• 介绍
• 使用Assets
• 播放
• 编辑
• 静态视频捕获
• 输出
• 时间和媒体表现

关于AVFoundation

AVFoundation是您可以用来播放和创建基于时间的视听媒体的框架之一。它提供了Objective-C接口能让你在更细致的层面上操作基于时间的视听数据。例如，你可以使用它来检查，创建，编辑或重新编码媒体文件。可以从设备获取输入流，并在实时捕获和回放过程中操作视频。图I-1显示了iOS上的体系结构。图I-2显示了OS X上相应的媒体体系结构。

• 图I-1 AVFoundation在iOS上的体系结构。

image.png

• 图I-2 AVFoundation在OS X上的体系结构。

  
  
  image.png

通常你应该使用能够完成任务的最高级的抽象

• 如果你想播放视频，使用AVKit framework
• 在iOS上，当你只需要对格式进行最小限度的控制时，使用UIKit framework (UIImagePickerController)

注意，你在AV Foundation中使用的一些基本数据结构（包括时间相关数据结构和不透明对象来承载和描述媒体数据）是在Core Media框架中声明的。

摘要

AVFoundation框架有两个方面 - 与视频相关的API和与音频相关的API。较早的音频相关类提供了处理音频的简单方法。

• 播放音频文件，使用 AVAudioPlayer
• 录制音频，使用 AVAudioRecorder

你也可以使用 AVAudioSession配置app的音频模式，这在Audio Session Programming Guide.里有相关描述。

用AVFoundation表示和使用媒体

AVFoundati framework中主要使用AVAsset类表示媒体，这个框架的设计主要以这个表示为指导。理解它的结构有助于理解这个框架是怎么工作的。AVAsset实例是一个或多个媒体数据（音频和视频轨道）的集合的集合表示。它提供了整个集合的信息，例如标题，时长，尺寸等等。AVAsset不绑定到特定的数据格式。AVAsset是其他通过url在媒体上asset实例和创建新合成的类的父类。

在asset中每个独立的媒体片段都是统一的类型称作轨道。一个典型的简单实例，一个轨道代表音轨组件，另一个代表视频组件。在一个复杂的组成中，可能有多个重叠的音视频轨道。Asset也可能有元数据。

在 AV Foundation 中一个重要的概念是，你初始化一个asset或者轨道并不意味着它立马可以使用。也可能需要一些时间计算一个item的时间（例如，一个mp3文件中可能没有包含摘要文件）。当计算一个值的时候不要阻塞当前线程，可以定义一个block通过回调异步获取答案。

相关章节Using Assets , Time and Media Representations

播放

AVFoundation 允许你以复杂的方式管理asset的播放。为了支持这一点，它将asset的呈现状态于asset本身独立开来。这意味你可以在同一时间以不同的分辨率播放同一asset的两个不同分段。每个asset的呈现状态由一个player item 对象管理。asset中每个轨道的呈现状态由一个player item track 对象管理。例如，使用player item和player item track可以设置播放器呈现项目视觉部分的大小，设置在播放过程中应用的音频混合参数和视频合成设置，或者禁用播放期间的asset。

使用播放器对象播放播放器项目，并将播放器的输出引导至核心动画层。您可以使用播放器队列按顺序安排播放一系列播放器项目。

相关章节： Playback

读，写，转码 Asset

AVFoundation 允许你以多种方式创建 asset 的新表示。可以简单的转码一个已存在的 asset 或者在 iOS 4.1 之后可以对 asset 的内送执行操作然后保存为一个新的 asset

你可以使用导出 session 将一个已存在的 asset 转码到由少数常用预设定义之一的格式。 如果需要对转换做更多对控制，在 iOS 4.1 之后可以使用 asset reader 和asset writer 对象将一个 asset从一中表示转换为另一个。 例如使用这些对象，你可以选择需要操作的轨道，指明自己想要的输出格式以便转码你想要的格式到输出文件，或者在转换过程中修改 asset

为了产生波形的直观表示，可以使用 asset reader 来读取 asset 的音轨。

相关章节：Using Assets

缩略图

为了创建视频的缩略图，你要使用 Asset 初始化一个 AVAssetImageGenerator 对象。AVAssetImageGenerator使用默认的视频轨道生成图片

相关章节：Using Assets

编辑

AVFoundation 从现有的媒体片段合成新的 Asset。 可以使用可变的组合来添加和删除轨道，并调整其时间顺序。 还可以设置音轨的相对音量和渐变;并设置视频轨道的不透明度和不透明度渐变。一次组合就是装配内存中的媒体片段。当你通过一个导出对话导出一个组合时，生成一个文件。

你也可以使用 asset writer 从媒体（如样本缓冲区或静态图像）创建asset。

相关章节：Editing

静态视频媒体捕获

从摄像头和麦克风录制输入由 capture session 管理。一个 capture session 协调从输入设备到输出（如电影文件）的数据流。session 在运行的时候也可以对单个 session 配置多个输入输出。对 session 发送消息控制数据流的开始和结束
并且，可以使用一个 preview layer 实例将相机正在录制的内容展示给用户。

相关章节：Still and Video Media Capture

AVFoundation 并发编程

来自AVFoundation 的 blocks，key-value observers 和 notification handlers 的回调不能保证在任何特定的线程或队列上进行。相反，AVFoundation会在执行内部任务的线程或队列上调用这些处理程序。
就通知和线程而言，有两条通用准则：

• UI 相关通知在主线程触发
• 需要您创建或指定队列的类或方法将在该队列上返回通知。

除了这两个指导方针外（还有一些例外情况，在参考文档中有记录），您不应该假定任何特定线程都会返回通知。
如果你在一个多线程的app，可以使用 NSThread 的 isMainThread 方法或者 [[NSThread currentThread] isEqual:<#A stored thread reference#>] 去测试调用线程是否是你期望执行工作的线程。 你可以使用方法将消息分配到合适的线程，例如 performSelectorOnMainThread:withObject:waitUntilDone: 和performSelector:onThread:withObject:waitUntilDone:modes:.
也可以使用 dispatch_async 将 blocks 反弹到合适的队列，可以是执行UI 任务的主队列也可以是用于并发操作的队列。

获取更多并发错左的信息，可以看Concurrency Programming Guide。
获取更多关于 blocks 的内容，参考 Blocks Programming Topics
示例代码AVCam-iOS: Using AVFoundation to Capture Images and Movies被认为是所有AVFoundation功能的主要示例，可以参考AVFoundation的线程和队列使用示例

先决条件

AVFoundation 是一个高级 Cocoa 框架。为了高效使用它，需要一下条件：

• 对Cocoa开发工具和技术的基本理解
• 基本掌握 blocks
• 对KVC 和 KVO 有基础的理解
• 对于播放，要了解一些 Core Animation (参考Core Animation Programming Guide
  或者了解播放参考 AVKit Framework Reference）

.

See Also

有几个AVFoundation的例子，包括两个是理解和实现的关键相机捕获功能：
AVCam-iOS: Using AVFoundation to Capture Images and Movies 是用于实现任何使用相机功能的程序的规范示例代码。这是一个完整的示例，有据可查，涵盖了大多数显示最佳实践的功能。

AVCamManual: Extending AVCam to Use Manual Capture API 是AVCam的配套应用程序。它使用手动相机控件实现相机功能。这也是一个完整的例子，有很好的文档，应该被认为是创造利用手动控制的相机应用程序的典型例子

RosyWriter是演示实时帧处理的一个示例，特别是如何将滤镜应用于视频内容。这是一个非常普通的开发者需求，这个例子涵盖了这个功能。

AVLocationPlayer: Using AVFoundation Metadata Reading APIs 演示使用元数据API。

.