Vuforia+Unity+MMD4实现AR姬Dance!

实现效果如图(咳咳……渲染不太好,不知道光线这块怎么调制)

看了一个关于AR姬实现的教程,很受用,末尾会附上链接,这边讲下自己的制作思路:

配置环境

Vuforia和Unity就不再介绍了,关于MMD4插件(MMD4Mecanim),是一位大牛自己写的为Unity导入MMD模型的插件,现在还在持续更新中。
相关网址:http://stereoarts.jp/,找到下面这个位置,点击按钮就可以下载啦。


解压后得到的文件如下,我们要用的是这个后缀为.unitypackage的文件。

此外还要下载MMD人物模型和动作数据,推荐网址——
B碗:https://bowlroll.net/file/index,全日文,专业但需要一定技术
MikuClub:http://www.mikuclub.cn/mmd-data,中文社区,推荐
下载好后的文件后缀:人物模型是 .pmx或 .pmd,动作数据是 .vmd格式。

全部下好之后,就可以开船啦~
首先新建一个Unity项目,按照之前制作AR识别的步骤开始:
1、导入Vuforia插件包及识别图的插件包共两个
2、导入MMD4的Unity插件包
3、将模型(整个文件夹)拖入Assets,将动作数据(vmd格式)文件拖入Assets,下载舞蹈用的音乐(mp4格式),拖入Assets。


在左边的Hierarchy窗口中,删除Main Camera,拖入Vuforia - Prefabs - ARCamera和 ImageTarget。
选中ARCamera,右边点开Open Vuforia configuration,将你在Vuforia官网上申请的key复制到App License Key中,勾选Datasets下的两个选框。


选中Image Target,点击选中Database下你的识别图数据库,再点下面的Image Target选中库中你的识别图。


至此场景中出现了你的识别图,到这里的步骤都是和之前文章中的步骤一致,后面就要用到我们的人物模型啦。

让模型动起来

打开你下载的人物模型文件夹,Unity会自动识别出可以导入的人物模型的文件,选中其中的人物模型,右边点击同意条款。


在你的Assets文件夹中找到你的动作数据,直接拖入右边VMD中,点击Process,此时Win系统电脑会出现载入进程,MacOS电脑没有任何反应,只能等待,成功后所有按钮变为可点击状态。
此时你的人物模型文件夹中会生成一个人物模型,把这个模型拖到Image Target下面,可爱的小人儿就出现啦!有时还需要调整一下它的大小和位置参数,在右边Transform里面。
这是我女儿,出来见一下啦,她有点怕生。


接下去选中新生成的模型文件,将Rig下的Generic改为Humanoid,点击Configure,这是专门配置人物骨骼的,确认你的模型各个部位连接完好,动作服贴,点击Done。


再查看Animations,点击播放动作,人物是在动的,并且没有产生位移(譬如走路产生位移,就会看不到模型了)。会动这点很重要!!即你的模型骨骼和你下载的动作数据是匹配的,否则就是合成失败。
因为Mac电脑搭载动作数据的时候没有任何反馈,所以在这一点上我被坑的很惨,换了好几个动作数据终于成功了。


如果产生位移了,可以调试一下右边这几个选项,我这边match的不是很好,跟音乐节奏对不上可以调节上面动作的开始帧和结束帧,确认无误后点击Apply。


接着绑定动作控制器——
在Assets中空白处右击 - Create - Animation Controller,新建动作控制器后,将它拖到模型下Controller里面,或者直接拖到Image Target下的模型名称上,会自动附给Controller的。


双击进动作控制器,在人物模型文件夹下展开你的模型,里面是它的组合元件,其中就有动作数据这个文件,把这个文件拖到动作控制器面板上,成功啦!至此,点击播放你的程序,识别出卡片后,你的AR姬就可以动啦~


插入音乐

会动当然是不够的,加点伴奏吧。

右击ImageTarget,新建一个VideoPlayer,把Assets下的音乐文件拖到AudioClip这个位置,启动程序时音乐就会自动播放了。但这里有一个问题就是,舞蹈动作和音乐不同步。为了这个同步问题,我们需要改写一下脚本。

点击ImageTarget,找到Default Trackable Event Handler(Script),双击脚本,打开Unity自带的代码编辑器。

这是完整的代码,可以直接覆盖进去:

/*==============================================================================
Copyright (c) 2010-2014 Qualcomm Connected Experiences, Inc.
All Rights Reserved.
Confidential and Proprietary - Protected under copyright and other laws.
==============================================================================*/

using UnityEngine;

namespace Vuforia
{
    /// <summary>
    /// A custom handler that implements the ITrackableEventHandler interface.
    /// </summary>
    public class DefaultTrackableEventHandler : MonoBehaviour,
                                                ITrackableEventHandler
    {
        #region PRIVATE_MEMBER_VARIABLES
 
        private TrackableBehaviour mTrackableBehaviour;
    
        #endregion // PRIVATE_MEMBER_VARIABLES

        public GameObject Model;
        public GameObject Sound;

        private Animator animator;
        private AudioSource audio;
        #region UNTIY_MONOBEHAVIOUR_METHODS
    
        void Start()
        {
            animator = Model.GetComponent<Animator>();
            audio = Sound.GetComponent<AudioSource>();

            mTrackableBehaviour = GetComponent<TrackableBehaviour>();
            if (mTrackableBehaviour)
            {
                mTrackableBehaviour.RegisterTrackableEventHandler(this);
            }
        }

        #endregion // UNTIY_MONOBEHAVIOUR_METHODS



        #region PUBLIC_METHODS

        /// <summary>
        /// Implementation of the ITrackableEventHandler function called when the
        /// tracking state changes.
        /// </summary>
        public void OnTrackableStateChanged(
                                        TrackableBehaviour.Status previousStatus,
                                        TrackableBehaviour.Status newStatus)
        {
            if (newStatus == TrackableBehaviour.Status.DETECTED ||
                newStatus == TrackableBehaviour.Status.TRACKED ||
                newStatus == TrackableBehaviour.Status.EXTENDED_TRACKED)
            {
                OnTrackingFound();
            }
            else
            {
                OnTrackingLost();
            }
        }

        #endregion // PUBLIC_METHODS



        #region PRIVATE_METHODS


        private void OnTrackingFound()
        {
            Renderer[] rendererComponents = GetComponentsInChildren<Renderer>(true);
            Collider[] colliderComponents = GetComponentsInChildren<Collider>(true);

            // Enable rendering:
            foreach (Renderer component in rendererComponents)
            {
                component.enabled = true;
            }

            // Enable colliders:
            foreach (Collider component in colliderComponents)
            {
                component.enabled = true;
            }

            FoundEvent ();

            Debug.Log("Trackable " + mTrackableBehaviour.TrackableName + " found");
        }


        private void OnTrackingLost()
        {
            Renderer[] rendererComponents = GetComponentsInChildren<Renderer>(true);
            Collider[] colliderComponents = GetComponentsInChildren<Collider>(true);

            // Disable rendering:
            foreach (Renderer component in rendererComponents)
            {
                component.enabled = false;
            }

            // Disable colliders:
            foreach (Collider component in colliderComponents)
            {
                component.enabled = false;
            }

            LostEvent ();

            Debug.Log("Trackable " + mTrackableBehaviour.TrackableName + " lost");
        }

        ///<summary>
        /// LostTrack
        /// </summary>

        private void LostEvent(){
            audio.Pause();
            animator.speed = 0;
        }

        ///<summary>
        /// FoundTrack
        /// </summary>

        private void FoundEvent(){
            audio.Play();
            animator.speed = 1;
        }

        #endregion // PRIVATE_METHODS
    }
}

这样就基本完成了,点击Unity上方的播放按键,跟踪识别到卡片,动画及音频播放,跟踪失败即停止播放,再次跟踪到卡片继续播放。

感谢Up主:夢美ちゃんの夢,帮我解答了一些问题,以下附上他的教程链接:

https://www.bilibili.com/video/av10849182/?from=search&seid=15948596464650643586

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容