实现效果如图(咳咳……渲染不太好,不知道光线这块怎么调制)
看了一个关于AR姬实现的教程,很受用,末尾会附上链接,这边讲下自己的制作思路:
配置环境
Vuforia和Unity就不再介绍了,关于MMD4插件(MMD4Mecanim),是一位大牛自己写的为Unity导入MMD模型的插件,现在还在持续更新中。
相关网址:http://stereoarts.jp/,找到下面这个位置,点击按钮就可以下载啦。
解压后得到的文件如下,我们要用的是这个后缀为.unitypackage的文件。
此外还要下载MMD人物模型和动作数据,推荐网址——
B碗:https://bowlroll.net/file/index,全日文,专业但需要一定技术
MikuClub:http://www.mikuclub.cn/mmd-data,中文社区,推荐
下载好后的文件后缀:人物模型是 .pmx或 .pmd,动作数据是 .vmd格式。
全部下好之后,就可以开船啦~
首先新建一个Unity项目,按照之前制作AR识别的步骤开始:
1、导入Vuforia插件包及识别图的插件包共两个
2、导入MMD4的Unity插件包
3、将模型(整个文件夹)拖入Assets,将动作数据(vmd格式)文件拖入Assets,下载舞蹈用的音乐(mp4格式),拖入Assets。
在左边的Hierarchy窗口中,删除Main Camera,拖入Vuforia - Prefabs - ARCamera和 ImageTarget。
选中ARCamera,右边点开Open Vuforia configuration,将你在Vuforia官网上申请的key复制到App License Key中,勾选Datasets下的两个选框。
选中Image Target,点击选中Database下你的识别图数据库,再点下面的Image Target选中库中你的识别图。
至此场景中出现了你的识别图,到这里的步骤都是和之前文章中的步骤一致,后面就要用到我们的人物模型啦。
让模型动起来
打开你下载的人物模型文件夹,Unity会自动识别出可以导入的人物模型的文件,选中其中的人物模型,右边点击同意条款。
在你的Assets文件夹中找到你的动作数据,直接拖入右边VMD中,点击Process,此时Win系统电脑会出现载入进程,MacOS电脑没有任何反应,只能等待,成功后所有按钮变为可点击状态。
此时你的人物模型文件夹中会生成一个人物模型,把这个模型拖到Image Target下面,可爱的小人儿就出现啦!有时还需要调整一下它的大小和位置参数,在右边Transform里面。
这是我女儿,出来见一下啦,她有点怕生。
接下去选中新生成的模型文件,将Rig下的Generic改为Humanoid,点击Configure,这是专门配置人物骨骼的,确认你的模型各个部位连接完好,动作服贴,点击Done。
再查看Animations,点击播放动作,人物是在动的,并且没有产生位移(譬如走路产生位移,就会看不到模型了)。会动这点很重要!!即你的模型骨骼和你下载的动作数据是匹配的,否则就是合成失败。
因为Mac电脑搭载动作数据的时候没有任何反馈,所以在这一点上我被坑的很惨,换了好几个动作数据终于成功了。
如果产生位移了,可以调试一下右边这几个选项,我这边match的不是很好,跟音乐节奏对不上可以调节上面动作的开始帧和结束帧,确认无误后点击Apply。
接着绑定动作控制器——
在Assets中空白处右击 - Create - Animation Controller,新建动作控制器后,将它拖到模型下Controller里面,或者直接拖到Image Target下的模型名称上,会自动附给Controller的。
双击进动作控制器,在人物模型文件夹下展开你的模型,里面是它的组合元件,其中就有动作数据这个文件,把这个文件拖到动作控制器面板上,成功啦!至此,点击播放你的程序,识别出卡片后,你的AR姬就可以动啦~
插入音乐
会动当然是不够的,加点伴奏吧。
右击ImageTarget,新建一个VideoPlayer,把Assets下的音乐文件拖到AudioClip这个位置,启动程序时音乐就会自动播放了。但这里有一个问题就是,舞蹈动作和音乐不同步。为了这个同步问题,我们需要改写一下脚本。
点击ImageTarget,找到Default Trackable Event Handler(Script),双击脚本,打开Unity自带的代码编辑器。
这是完整的代码,可以直接覆盖进去:
/*==============================================================================
Copyright (c) 2010-2014 Qualcomm Connected Experiences, Inc.
All Rights Reserved.
Confidential and Proprietary - Protected under copyright and other laws.
==============================================================================*/
using UnityEngine;
namespace Vuforia
{
/// <summary>
/// A custom handler that implements the ITrackableEventHandler interface.
/// </summary>
public class DefaultTrackableEventHandler : MonoBehaviour,
ITrackableEventHandler
{
#region PRIVATE_MEMBER_VARIABLES
private TrackableBehaviour mTrackableBehaviour;
#endregion // PRIVATE_MEMBER_VARIABLES
public GameObject Model;
public GameObject Sound;
private Animator animator;
private AudioSource audio;
#region UNTIY_MONOBEHAVIOUR_METHODS
void Start()
{
animator = Model.GetComponent<Animator>();
audio = Sound.GetComponent<AudioSource>();
mTrackableBehaviour = GetComponent<TrackableBehaviour>();
if (mTrackableBehaviour)
{
mTrackableBehaviour.RegisterTrackableEventHandler(this);
}
}
#endregion // UNTIY_MONOBEHAVIOUR_METHODS
#region PUBLIC_METHODS
/// <summary>
/// Implementation of the ITrackableEventHandler function called when the
/// tracking state changes.
/// </summary>
public void OnTrackableStateChanged(
TrackableBehaviour.Status previousStatus,
TrackableBehaviour.Status newStatus)
{
if (newStatus == TrackableBehaviour.Status.DETECTED ||
newStatus == TrackableBehaviour.Status.TRACKED ||
newStatus == TrackableBehaviour.Status.EXTENDED_TRACKED)
{
OnTrackingFound();
}
else
{
OnTrackingLost();
}
}
#endregion // PUBLIC_METHODS
#region PRIVATE_METHODS
private void OnTrackingFound()
{
Renderer[] rendererComponents = GetComponentsInChildren<Renderer>(true);
Collider[] colliderComponents = GetComponentsInChildren<Collider>(true);
// Enable rendering:
foreach (Renderer component in rendererComponents)
{
component.enabled = true;
}
// Enable colliders:
foreach (Collider component in colliderComponents)
{
component.enabled = true;
}
FoundEvent ();
Debug.Log("Trackable " + mTrackableBehaviour.TrackableName + " found");
}
private void OnTrackingLost()
{
Renderer[] rendererComponents = GetComponentsInChildren<Renderer>(true);
Collider[] colliderComponents = GetComponentsInChildren<Collider>(true);
// Disable rendering:
foreach (Renderer component in rendererComponents)
{
component.enabled = false;
}
// Disable colliders:
foreach (Collider component in colliderComponents)
{
component.enabled = false;
}
LostEvent ();
Debug.Log("Trackable " + mTrackableBehaviour.TrackableName + " lost");
}
///<summary>
/// LostTrack
/// </summary>
private void LostEvent(){
audio.Pause();
animator.speed = 0;
}
///<summary>
/// FoundTrack
/// </summary>
private void FoundEvent(){
audio.Play();
animator.speed = 1;
}
#endregion // PRIVATE_METHODS
}
}
这样就基本完成了,点击Unity上方的播放按键,跟踪识别到卡片,动画及音频播放,跟踪失败即停止播放,再次跟踪到卡片继续播放。
感谢Up主:夢美ちゃんの夢,帮我解答了一些问题,以下附上他的教程链接:
https://www.bilibili.com/video/av10849182/?from=search&seid=15948596464650643586