ARKit 和 CoreML 苹果公司2017年6月 WWDC 推出的全新内容, 移动的 AR 配合机器学习会有很大的不同, 彻底鄙视过去的假 AR, 哈哈哈~
logo
0x01 - ARKit 和 CoreML
简介就不多说了, 一个是 AR 的框架, 一个是机器学习的框架, 更多的去百度就好
学习使用 ARKit 主要还是从苹果过去推出的几个框架入手,
- SceneKit 一个主推 3D 功能的框架
- SpriteKit 一个主推平面功能的框架
- Metal 也是一个 3D 渲染的框架, 但是这个额必须使用真机调试, 模拟器不支持
CoreML 目前可以从官方下载训练库, 也可以自己使用 Python 去写训练库, 目前了解只有这些, 后面慢慢学习~
Framework
0x02 - ARKit 的使用条件
- 软件环境
- Xcode 9
- iOS 11
- 硬件环境 (A9 以上设备, 并且不支持模拟器)
- iPhone SE
- iPhone 6s / Plus
- iPhone 7 / Plus
0x03 - 苹果 AR 的三大特性
0x01 - 追踪
- 全局追踪, 过去的 AR 都是使用的图片贴在屏幕
- 视觉惯性, 近大远小的特点
- 没有外部设备, 也就是说手机就能满足
0x02 - 场景
- 平面检测, 现实的世界都是通过
点 线 面组成的 - 命中测试, 物件碰撞
- 光估计, 通过官方 demo 可以使用那个台灯, 在较暗的地方测试会发现, 有灯泡的地方很亮, 相反的会有影子映射
0x03 - 渲染
- 简单集合, 可以使用 Xcode 中的
SceneKitSpriteKitMetal, 这种高级的封装框架去制作 - AR 视图, 通过 Xcode 创建 AR 工程, 会发现 storyboard 有一个 ARSCNView, 我们的"点线面"都是呈现在这个视图中
- 自定义渲染, 苹果官方同意认可 Unity 和 Unreal 两种引擎的接入
0x04 - 了解组合
通过老师的脑图发现, 重点就是 ARSession 和 SCNNode
Node 翻译是 "节点" 的意思, 其实可以理解为一个对象, 一个真实有不真实的对象, 比如通过 AR 展现的物件都是一个 Node
宏观构造
通过上图可见一个 AR 的应用是通过 ARKit 场景处理以及渲染框架进行渲染~
0x05 - 最重要的 ARSession
ARSession 是最重要的一个类和功能, 要使用它, 必须先做好追踪, 设置我们的 Configuration
ARSession
以上便是我对于 ARSession 的初步了解, 以后继续深入学习~链接
经过学习和了解, ARWorldTrackingSessionConfiguration, 这个类的出现使得我们制作 AR 需要卖腰子了😂
0x06 - 尝试 SCNPlane
这里就直接放截图了, 不贴代码了, 也想要尝试的人自己去敲一遍, 代码很少, 不超过十行
- 创建
Augmented Reality APP工程, 大部分的 ARKit 的代码都已经系统写入, 对于我们新手尝试来说是个很妙的事情 - 系统的写法中并没有做一个判断,
isSupported设备是否支持我们的 AR - ARSession 要使用
run方法来进行追踪(Tracking) - 这里我自己创建一个单击的手势
- 在手势方法中创建一个 SCNPlane 对象
- 对
imagePlane进行渲染填充 - 创建一个节点来防止 SCNPlane 对象
- 向根节点中添加子节点实现截屏的效果
0x07 - 尝试 自己创建模型
不打飞机咯
工程的创建, 苹果就叫我们打飞机😂, 不忍心呀, 所以自己换下模型看看, 苹果给我们提供了 SCNBox 类, 这个类可以创建简单的几何模型
- 创建一个几何模型, 在
SCNBox中长宽高的单位都是 m, 还可以自己规定圆角 - 创建渲染器, 必须创建呀, 不创建就是一个白白的正方体
- 渲染的内容, 可以是纯色, 也可以是图片, 视频等
- 创建供我们显示的节点, 添加进入
rootNode - 需要给节点一个位置, 一般我们都是希望出现在面前的😂, 所以 注意对 z 轴进行赋值的时候要写负值, 不然就会跑到脑勺去了
我们还可以使用专门的圆球类
SCNSphere来创建圆球模型, 效果自己玩吧哈哈哈
这里有一张地球的图片, 包裹上地球仪就有啦哈哈
PS: 注意发音😂:
- AR : Augmented 美 [ɔ:g'mentɪd] ---- Reality 美 [riˈælɪti]
- Scene : 美 [sin]
- Sprite : 美 [spraɪt]
- Metal : 美 [ˈmɛtl]
- Session : 美 [ˈsɛʃən]
- Configuration : 美 [kənˌfɪgjəˈreɪʃn]
- Sphere : 美 [sfɪr]
- Material : 美 [məˈtɪriəl]
