iOS AR开发环境
- 硬件:A9以上芯片(se 6s 6ps 7 7ps ipad)
- 开发工具:xcode 9
- 运行系统:iOS 11
AR平台
iOS AR平台使用的是高级API,它站在两位巨人的肩膀上:
1、AVFoundation
它是一个OC媒体数据的高级框架。AVFoundation的构建考虑到了目前的硬件环境和应用程序,其设计过程高度依赖多线程机制。充分利用了多核硬件的优势并大量使用block和GCD机制,将复杂的计算机进程放到了后台线程运行。会自动提供硬件加速操作,确保在大部分设备上应用程序能以最佳性能运行。该框架就是针对64位处理器设计的,可以发挥64位处理器的所有优势。
2、Core Motion
它不仅仅提供给你获得实时的加速度值和旋转速度值,更重要的是,苹果在其中集成了很多算法,可以直接给你输出把重力 加速度分量剥离的加速度,省去你的高通滤波操作,以及提供给你一个专门的设备的三维attitude信息!
AR特性
- 全局追踪
AR不仅可以追踪我们的现实场景,还可以追踪我们的虚拟物件,如果缺少这两个功能,所谓的AR,其实就是gif图片 - 视觉惯性测距
和我们人眼功能一样,靠近物体,变大,远离物体,变小。 - 没有外部设置
只需要一部手机就ok,不需要其他设备支持
场景理解
平面检测(现实世界的理解)
平面检测是场景理解里面最重要的,我们可以想象这个世界都是由点、线、面组成的,在AR场景我们所能看到的世界也是通过点、线、面构成。命中测试(物体运动产生碰撞)
光估计(灯光下虚拟物件的阴影效果)
渲染
-
简单集合
苹果为我们提供了SceneKi(ios8)t、SpriteKi(ios7)t、Metal(ios7)三个渲染工具
【SpriteKit】
在iOS7中内置了新的SpriteKit框架,该框架主要用来开发2D游戏。是开发iOS和OS X 下的2D游戏引擎,可以使用OC或者Swift来进行开发。目前已经支持的内容包括:精灵、很酷的特效(例如视频、滤镜和遮罩),并且还集成了物理库等许多东西。首先指出在ios中开发2D游戏SpriteKit并不是唯一的选择,我们先来看看SpriteKit的特点和优缺点:
==特点==
(1)提供了游戏引擎必备的图形渲染和动画API,可以通过这些API让精灵动起来;
(2)使用传统的渲染和动画,允许在渲染每一帧之前处理该帧;
(3)提供了声音播放;
(4)提供的物理引擎;
(5)与Xcode集成,可以更容易的创建基于Sprite Kit的游戏工程,调试也很方便;
(6)可以使用swift语言;
==优点==
(1)它是内置到iOS中的,因此并不需要下载额外的库或者其他的外部依赖,并且它是由苹果开发的,所以对他的支持和更新我们可以放心;
(2)它内置的工具支持纹理和粒子;
(3)它可以让你做一些其他框架难以做到的事情,例如把视频当做精灵一样处理,或者使用很酷的图形效果和遮罩。
==缺点==
(1)如果使用了SpriteKit,那么你将被iOS生态圈绑架,导致很难把游戏移植到Android等其他平台;
(2)SpriteKit现在还处于初始阶段,提供的内容还不够丰富,例如Cocos2D,暂不支持自定义的OpenGL代码;
【SceneKit】
SceneKit(SK)是WWDC12推出的OS X平台的cocos 3D渲染引擎框架。支持粒子效果,物理模拟,脚本事件,多程渲染,支持iOS平台。SceneKit整合了Core Image,Core Animation之类的图形框架,现在还整合进了SpriteKit。
SceneKit是基于OpenGL构建的。
【Metal】
在iOS8中,苹果发布了一个新的接口叫做Metal,它是一个支持GPU加速的3D绘图API。Metal和OpenGL ES类似,也是一个底层API,负责和3D绘图硬件交互。可惜的是,Metal不是跨平台的。
- AR视图
类似于UIView,这里的显示3D场景的是SCNView -
自定义渲染
如果你不喜欢苹果提供的渲染工具,我们还可以用unity和unreal这两个虚拟引擎
ARKit运行原理
看上面ARKit的结构图,发现它的运行原理其实很简单。ARKit负责场景采集,SceneKIt负责显示3D模型,通过ARSession这个核心类,将3d模型和现实世界组合在一起,最后在ARScnView上显示。
在3D世界中,每一个模型都是一个Scene,每一个Scene都有一个根节点SCNNode,类似于NSobject,我们设置节点实际上就是设置3D物体,包括形状位置和大小。
创建我们的第一个AR项目
1、选择AR
2、选择SceneKit
3、默认生成ARScnView相当于UIView
4、真机运行,有飞机?对,苹果默认创建的3D模型,有没有被感动到。
5、去掉默认代码,实现我们下面三个简单效果。
- 3D盒子
- 点击星球,改变场景
-
场景截图
6、demo下载(源码有注释、工程中含详细的类结构图)