AVFoundation编程指南总述

关于AVFoundation

AVFoundation是可用于播放和创建基于时间的音视频媒体的几个框架之一。它提供了一个Objective-C接口,您可以使用它来详细处理基于时间的音视频数据。例如,您可以使用它来检查,创建,编辑或重新编码媒体文件。您还可以从设备获取输入流,并在实时捕获和回放期间处理视频。图I-1显示了iOS上的体系结构。

image

图I-2显示了OS X上相应的媒体体系结构。

image

通常,您应该使用可用的最高级别抽象,来处理你的任务。

  • 如果您只想播放电影,请使用AVKit框架。

  • 在iOS上,要在只需要对格式进行最小控制的情况下录制视频,请使用UIKit框架(UIImagePickerController)。

但是请注意,您在AV Foundation中使用的某些原始数据结构(包括与时间相关的数据结构以及用于承载和描述媒体数据的不透明对象)是在Core Media框架中声明的。

通过AVFoundation表示和使用媒体

AV Foundation框架用来表示媒体的主要类是AVAsset。框架的设计在很大程度上受这种表现形式的指导。了解其结构将帮助您了解框架的工作原理。一个AVAsset实例是媒体数据的一个或多个片(音频和视频轨道)的集合的聚集表示。它提供有关集合整体的信息,例如其标题,持续时间,自然呈现的大小等。AVAsset与特定的数据格式无关。AVAsset是用于从URL上的媒体创建资产实例(请参阅Using Assets)和创建新合成(请参见Editing)的其他类的超类。

asset中的每个媒体数据都属于统一类型,称为track。在简单情况下,一个track代表音频分量,另一track代表视频分量。但是,在复杂的组成中,可能会有多个重叠的音频和视频track。asset也可能具有元数据。

AV Foundation中的一个重要概念是,正在初始化的asset或track不一定意味着它可以被直接使用。甚至可能需要一段时间来计算项目的持续时间(例如,MP3文件可能不包含摘要信息)。您可以在请求值的同时,通过使用block定义的回调异步返回答案,而不是在计算值时阻塞当前线程。
相关章节: 使用asset时间和媒体表示形式

播放

AVFoundation允许您以精细的方式管理资产的回放。为此,它将asset的呈现状态与asset本身分开。例如,这使您可以同时播放以不同分辨率渲染的同一asset的两个不同片段。asset的呈现状态由a player item object管理;asset中每个track的呈现状态由player item track对象管理。例如,使用player item and player item tracks,您可以设置播放器呈现项目的视觉部分的大小,设置要在播放期间应用的音频混合参数和视频构图设置,或者禁用播放期间的asset。

您可以使用a player对象播放player items,并将player 的输出定向到 Core Animation laye。您可以使用player queue 按顺序安排播放器项目集合的播放。

相关章节: 播放

读取,写入和重新编码资产

AVFoundation允许您以多种方式创建asset的新表示形式。您可以简单地对现有asset进行重新编码,或者-在iOS 4.1和更高版本中-您可以对资产的内容执行操作,并将结果另存为新asset。

您可以使用export session将现有asset重新编码为由少量常用presets之一定义的格式。如果需要对转换进行更多控制,则在iOS 4.1及更高版本中,可以串联使用asset reader 和 asset writer对象,以将asset从一种表示形式转换为另一种表示形式。例如,使用这些对象,您可以选择要在输出文件中表示的track,指定自己的输出格式或在转换过程中修改asset。

要生成波形的直观表示,请使用asset reader来读取asset的audio track。
Relevant Chapter: Using Assets

缩图

要创建video的缩略图,您需要用asset初始化一个AVAssetImageGenerator实例,然后生成缩略图。AVAssetImageGenerator使用默认启用的视频轨道生成图像。

相关章节: 使用资产

编辑

AVFoundation使用compositions来从现有媒体(通常是一个或多个视频和音频轨道)创建新asset。您可以使用mutable的compositions来添加和删除track,以及调整它们的时间顺序。您还可以设置音频track的音量和倾斜度。并设置视频track的不透明度和不透明度渐变。composition是保存在内存中的媒体片段的组合。使用export session,导出composition时,它会写入到文件中。

您还可以使用asset writer从媒体(例如样本缓冲区或图片)创建asset。

相关章节: 编辑

静止和视频媒体捕获

摄像机和麦克风的录制输入由capture session管理。capture session把从输入设备的数据流转化到输出(例如电影文件)中。即使会话正在运行,也可以为单个会话配置多个输入和输出。您将消息发送到seesion以启动和停止数据流。

此外,您可以使用preview layer的实例向用户显示摄像机正在录制的内容。

相关章节: 静止和视频媒体捕获

与AVFoundation并发编程

不能保证从AVFoundation进行的回调(blocks,KVO和notification)在任何特定线程或队列上进行。而是,AVFoundation在执行其内部任务的线程或队列上调用这些处理。

关于通知和线程,有两个通用准则:

  • 与UI相关的通知在主线程上发生。

  • 需要您创建和/或指定队列的类或方法将在该队列上返回通知。

除了这两个准则(还有一些例外,在参考文档中已有说明),您不应假定会在任何特定线程上返回通知。

如果要编写多线程应用程序,则可以使用NSThread方法isMainThread[[NSThread currentThread] isEqual:<#A stored thread reference#>]测试调用线程是否是希望在其上执行工作的线程。您可以使用方法重定向报文到相应的线程,例如performSelectorOnMainThread:withObject:waitUntilDone:performSelector:onThread:withObject:waitUntilDone:modes:。您还可以使用dispatch_async`“反弹”到适当队列上的块,这些队列可以是UI任务的主队列,也可以是用于并发操作的队列。有关并发操作的更多信息,请参见《并发编程指南》。有关块的更多信息,请参见块编程主题。该AVCam-IOS:使用AVFoundation捕获图像和电影 示例代码被视为所有AVFoundation功能的主要示例,有关AVFoundation的线程和队列使用示例,可​​以参考该示例代码。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容