月落乌啼霜满天,江枫渔火对愁眠。
姑苏城外寒山寺,夜半钟声到客船。
诗人张继通过耳朵判断钟声是从寒山寺传过来的,我们在生活中也一直在通过耳朵来感知到周围声源的方向和大致距离,秋风发微凉,寒蝉鸣左侧。本文就探讨下人耳声音定位的原理,并介绍目前流行的空间音频制作技术。
一、人耳声音定位的原理
人耳的声音定位依赖于 双耳效应 和 头部相关传递函数(HRTF)。双耳效应让我们判断出声源来自左侧或右侧,而HRTF进一步帮助我们感知上下、前后等复杂方位。
1.1 双耳定位原理
当声音从不同方位传来时,两只耳朵接收的信号会有细微差异,主要体现在 时间差(ITD) 和 强度差(ILD) 上。大脑利用这些差异来判断声源方位:
时间差(Interaural Time Difference,ITD):
由于声波从一侧传来时会先到达近侧耳朵,远侧耳朵会稍有延迟。这种微秒级的时间差帮助大脑分辨声音的左右方向,特别是在 低频声音(相位差明显) 的定位上效果显著。强度差(Interaural Level Difference,ILD):
声波到达头部另一侧时,由于头部的阻挡作用,高频声波会有部分衰减,而低频声波的穿透能力更强、影响较小。大脑通过这种高频的强度差来进一步分辨声音的方位,尤其适用于 高频声音(衰减明显) 的定位。
双耳定位主要在 水平面 上有效,帮助我们识别声音的左右方位,但难以判断上下、前后位置。这时,头部相关传递函数(HRTF)提供了额外帮助。
1.2 头部相关传递函数(HRTF)
头部相关传递函数(Head-Related Transfer Function, HRTF) 描述了声音在传递过程中被人头、耳廓及肩膀等结构影响的特性。
具体来说就是,声音从不同的方向经过人体头部、耳郭、肩膀等结构时候,方位不同,不同频率成分的吸收、反射和衍射效果不同,可以说声音被不同传播路径的结构改变了频谱中各频率的强度和比例(尤其影响高频成分,高频波长短容易被干扰),对于每个人来说就好像每个方位的声音按照了一个特定的函数来改变频谱和强度分布,所以可以说传到大脑的声音都携带了方位信息,大脑处理时候就会先提取方位信息,从而获取方位。
1.3 声源定位中的HRTF应用
HRTF捕获了耳廓和头部对不同方位声音的频率响应特征。通过加入HRTF处理的音频信号可以在耳机中模拟特定方位的音效,让听者产生立体的方位感知。HRTF在空间音频和虚拟现实音频中尤为重要,每个人头部特征不同,其实都对应了一个唯一的函数,但人类的头部可以认为差异不大,所以目前市面上的HRTF都是通过采集多个多个人类样本找到一个大概均值来计算这个HRTF,具备一般通用性。
二、空间音频的制作原理
空间音频,也称为 3D音频 或 沉浸式音频,是通过音频技术让听众感到声音仿佛来自上下左右,四面八方,根据原来来说可以分为两类:
2.1 多扬声器布置
这种方法通过在空间中布置多个扬声器来实现声音的空间感。这些扬声器可以根据需要被定位在不同的方位和高度,以模拟真实声源的位置,通过控制各个扬声器的音量和相位,可以创造出具有立体感的音频效果。
-
优点
沉浸感强:通过在空间中布置多个扬声器,可以创建更真实的音场,提升听众的沉浸感;
方向感清晰:可以精确控制每个扬声器的音量和相位,使得声音的方向感更加明确,增强空间感。
灵活性:可以根据环境和需求灵活配置扬声器数量和位置,例如在影院中使用5.1或7.1系统,或者在家庭影院中增加高度扬声器实现杜比全景声(Dolby Atmos)。 -
缺点
成本高:需要购买和安装多个扬声器,成本相对较高,尤其是在高品质音频系统中;
空间要求大:需要足够的空间来布置扬声器;
布线复杂:多扬声器系统的布线和配置相对复杂,需要专业的调试和安装。
目前一般是电影院、音乐厅、声音工作室、科研机构、大型游戏场所、高档汽车等会采用这种方案。
2.2 双耳音频(Binaural Audio)+HRTF模拟
双耳音频 利用双耳定位原理,通过时间差、强度差和HRTF等效果,在耳机中模拟3D空间感,这种音频制作主要手段包括:
- ITD和ILD的调控:对音频信号施加延迟和强度调整,以实现左右方向的定位。
- HRTF处理:将音频信号根据HRTF参数处理,以模拟上下、前后等方位感。
这种方案需要我们对声音有更深层次的理解,是近些年才出现的方案,但它可以带来明显的实施成本降低等优点。
-
优点
成本低:相较于多扬声器布置,使用耳机或简单的音频设备即可实现,成本相对较低。
便捷性高:用户只需佩戴耳机即可体验空间音频,无需复杂的安装和调试过程。
适应性强:适用于各种场景,如移动设备、游戏、虚拟现实等,能够提供随时随地的沉浸式体验。
空间占用小:不需要额外的空间来布置扬声器,适合空间有限的环境。 -
缺点
定位准确性受限:虽然可以模拟声源位置,但相比于多扬声器系统,定位的准确性和真实感可能会降低;
个体差异:每个人的耳朵和头部形状不同,HRTF的标准化处理可能不能完全适用于每个用户,导致体验差异;
音源依赖:如果没有良好的耳机和音频源,可能会影响到声音的还原效果。
目前这种技术使用较多的就是耳机,还有一些手机,pad等。
三、常见的空间音频工具和库
在Android、iOS和桌面平台上,有多种空间音频工具和库,帮助开发者快速实现3D音频效果:
- Resonance Audio:由Google推出,支持HRTF、房间建模和反射等多种空间音效处理,兼容多平台。
- Oculus Audio SDK:支持3D音频渲染,适用于Oculus设备。
- Steam Audio:Valve的音频插件,适合游戏音效开发,支持3D音频和物理建模。
- DearVR 和 Waves NX:这些DAW插件可以快速添加3D方位效果,适合音频创作和音乐制作。
- Dolby Atmos(杜比全景声)Dolby Atmos是杜比推出的沉浸式音频技术,广泛应用于影院、家庭影院和移动设备中。它通过在传统多声道系统中增加垂直声道,提供全方位的声音定位,增强了声场的高度和空间感。杜比提供了Dolby Atmos Production Suite等工具,帮助音频设计师在内容创作中进行3D音频设计。
四、总结
人耳的声音定位依赖于双耳效应和HRTF,我们不仅可以布置多个扬声器来模拟声源来创造空间音效,还可以通过调节时间差、强度差和方向性频率响应等关键特征来模拟逼真的空间音效。
未来,随着设备性能的提升和音频技术的进步,空间音频将广泛应用于更多场景,不论是观看电影、游戏,还是虚拟社交和远程会议,都将体验到更加逼真的声音世界,结合立体成像、气味等技术,我们能真正生活在虚拟宇宙中。