音视频知识科普|人耳声音定位原理与空间音频

    月落乌啼霜满天,江枫渔火对愁眠。
    姑苏城外寒山寺,夜半钟声到客船。
    诗人张继通过耳朵判断钟声是从寒山寺传过来的,我们在生活中也一直在通过耳朵来感知到周围声源的方向和大致距离,秋风发微凉,寒蝉鸣左侧。本文就探讨下人耳声音定位的原理,并介绍目前流行的空间音频制作技术。

一、人耳声音定位的原理

    人耳的声音定位依赖于 双耳效应头部相关传递函数(HRTF)。双耳效应让我们判断出声源来自左侧或右侧,而HRTF进一步帮助我们感知上下、前后等复杂方位。

1.1 双耳定位原理

    当声音从不同方位传来时,两只耳朵接收的信号会有细微差异,主要体现在 时间差(ITD)强度差(ILD) 上。大脑利用这些差异来判断声源方位:

  • 时间差(Interaural Time Difference,ITD)
    由于声波从一侧传来时会先到达近侧耳朵,远侧耳朵会稍有延迟。这种微秒级的时间差帮助大脑分辨声音的左右方向,特别是在 低频声音(相位差明显) 的定位上效果显著。

  • 强度差(Interaural Level Difference,ILD)
    声波到达头部另一侧时,由于头部的阻挡作用,高频声波会有部分衰减,而低频声波的穿透能力更强、影响较小。大脑通过这种高频的强度差来进一步分辨声音的方位,尤其适用于 高频声音(衰减明显) 的定位。

    双耳定位主要在 水平面 上有效,帮助我们识别声音的左右方位,但难以判断上下、前后位置。这时,头部相关传递函数(HRTF)提供了额外帮助。

1.2 头部相关传递函数(HRTF)

    头部相关传递函数(Head-Related Transfer Function, HRTF) 描述了声音在传递过程中被人头、耳廓及肩膀等结构影响的特性。
    具体来说就是,声音从不同的方向经过人体头部、耳郭、肩膀等结构时候,方位不同,不同频率成分的吸收、反射和衍射效果不同,可以说声音被不同传播路径的结构改变了频谱中各频率的强度和比例(尤其影响高频成分,高频波长短容易被干扰),对于每个人来说就好像每个方位的声音按照了一个特定的函数来改变频谱和强度分布,所以可以说传到大脑的声音都携带了方位信息,大脑处理时候就会先提取方位信息,从而获取方位。

1.3 声源定位中的HRTF应用

    HRTF捕获了耳廓和头部对不同方位声音的频率响应特征。通过加入HRTF处理的音频信号可以在耳机中模拟特定方位的音效,让听者产生立体的方位感知。HRTF在空间音频和虚拟现实音频中尤为重要,每个人头部特征不同,其实都对应了一个唯一的函数,但人类的头部可以认为差异不大,所以目前市面上的HRTF都是通过采集多个多个人类样本找到一个大概均值来计算这个HRTF,具备一般通用性。

二、空间音频的制作原理

    空间音频,也称为 3D音频沉浸式音频,是通过音频技术让听众感到声音仿佛来自上下左右,四面八方,根据原来来说可以分为两类:

2.1 多扬声器布置

    这种方法通过在空间中布置多个扬声器来实现声音的空间感。这些扬声器可以根据需要被定位在不同的方位和高度,以模拟真实声源的位置,通过控制各个扬声器的音量和相位,可以创造出具有立体感的音频效果。

  • 优点
    沉浸感强:通过在空间中布置多个扬声器,可以创建更真实的音场,提升听众的沉浸感;
    方向感清晰:可以精确控制每个扬声器的音量和相位,使得声音的方向感更加明确,增强空间感。
    灵活性:可以根据环境和需求灵活配置扬声器数量和位置,例如在影院中使用5.1或7.1系统,或者在家庭影院中增加高度扬声器实现杜比全景声(Dolby Atmos)。
  • 缺点
    成本高:需要购买和安装多个扬声器,成本相对较高,尤其是在高品质音频系统中;
    空间要求大:需要足够的空间来布置扬声器;
    布线复杂:多扬声器系统的布线和配置相对复杂,需要专业的调试和安装。

目前一般是电影院、音乐厅、声音工作室、科研机构、大型游戏场所、高档汽车等会采用这种方案。

2.2 双耳音频(Binaural Audio)+HRTF模拟

    双耳音频 利用双耳定位原理,通过时间差、强度差和HRTF等效果,在耳机中模拟3D空间感,这种音频制作主要手段包括:

  • ITD和ILD的调控:对音频信号施加延迟和强度调整,以实现左右方向的定位。
  • HRTF处理:将音频信号根据HRTF参数处理,以模拟上下、前后等方位感。

这种方案需要我们对声音有更深层次的理解,是近些年才出现的方案,但它可以带来明显的实施成本降低等优点。

  • 优点
    成本低:相较于多扬声器布置,使用耳机或简单的音频设备即可实现,成本相对较低。
    便捷性高:用户只需佩戴耳机即可体验空间音频,无需复杂的安装和调试过程。
    适应性强:适用于各种场景,如移动设备、游戏、虚拟现实等,能够提供随时随地的沉浸式体验。
    空间占用小:不需要额外的空间来布置扬声器,适合空间有限的环境。
  • 缺点
    定位准确性受限:虽然可以模拟声源位置,但相比于多扬声器系统,定位的准确性和真实感可能会降低;
    个体差异:每个人的耳朵和头部形状不同,HRTF的标准化处理可能不能完全适用于每个用户,导致体验差异;
    音源依赖:如果没有良好的耳机和音频源,可能会影响到声音的还原效果。

目前这种技术使用较多的就是耳机,还有一些手机,pad等。

三、常见的空间音频工具和库

    在Android、iOS和桌面平台上,有多种空间音频工具和库,帮助开发者快速实现3D音频效果:

  1. Resonance Audio:由Google推出,支持HRTF、房间建模和反射等多种空间音效处理,兼容多平台。
  2. Oculus Audio SDK:支持3D音频渲染,适用于Oculus设备。
  3. Steam Audio:Valve的音频插件,适合游戏音效开发,支持3D音频和物理建模。
  4. DearVRWaves NX:这些DAW插件可以快速添加3D方位效果,适合音频创作和音乐制作。
  5. Dolby Atmos(杜比全景声)Dolby Atmos是杜比推出的沉浸式音频技术,广泛应用于影院、家庭影院和移动设备中。它通过在传统多声道系统中增加垂直声道,提供全方位的声音定位,增强了声场的高度和空间感。杜比提供了Dolby Atmos Production Suite等工具,帮助音频设计师在内容创作中进行3D音频设计。

四、总结

    人耳的声音定位依赖于双耳效应和HRTF,我们不仅可以布置多个扬声器来模拟声源来创造空间音效,还可以通过调节时间差、强度差和方向性频率响应等关键特征来模拟逼真的空间音效。
    未来,随着设备性能的提升和音频技术的进步,空间音频将广泛应用于更多场景,不论是观看电影、游戏,还是虚拟社交和远程会议,都将体验到更加逼真的声音世界,结合立体成像、气味等技术,我们能真正生活在虚拟宇宙中。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,607评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,047评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,496评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,405评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,400评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,479评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,883评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,535评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,743评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,544评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,612评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,309评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,881评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,891评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,136评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,783评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,316评论 2 342

推荐阅读更多精彩内容