一种新的算法可以在VR中实现更真实的声音效果

2019-12-17 15:14:36
导读当我们观看电影或播放视频游戏时,正确的声音效果可以帮助使场景变得更加逼真:当一个模糊的赌徒在银屏沙龙中的一张牌桌上滚动一个银元时,声音似乎从耳朵到耳朵行进,一个特技电影制作者可以通过在从扬声器到扬声器移动的预先记录的声音中拼接来完成。但到目前为止,在虚拟现实中创造这样的感觉实际上是不可能的,因为VR是不被描述的。很难预测物体可能发出什么噪音,或在哪里听到它们。为了使VR听起来更逼真,工程师们必须

当我们观看电影或播放视频游戏时,正确的声音效果可以帮助使场景变得更加逼真:当一个模糊的赌徒在银屏沙龙中的一张牌桌上滚动一个银元时,声音似乎从耳朵到耳朵行进,一个特技电影制作者可以通过在从扬声器到扬声器移动的预先记录的声音中拼接来完成。

但到目前为止,在虚拟现实中创造这样的感觉实际上是不可能的,因为VR是不被描述的。很难预测物体可能发出什么噪音,或在哪里听到它们。为了使VR听起来更逼真,工程师们必须创建大量的“声音模型”──预先录制的计算机化等效。每个声音模型将使VR系统能够在所需的精确时刻合成特定的声音。到目前为止,即使是单个声音模型也需要花费许多小时的计算机群集,而且由于需要许多不同的模型来合成许多不同的潜在声音,所以在交互式环境中创建逼真的声音是一个难以理解的目标。

现在,斯坦福大学的计算机科学家发明了一种算法,它可以在几秒钟内创建声音模型,使得在虚拟环境中模拟许多不同对象的声音是有效的。当一个要求声音的动作发生时,这个新的模型可以把声音的每一点都合成为现实的声音,这就是过去的更慢而又多的实验算法所产生的声音。"使得创建模型变得更容易,使得构建具有逼真的声音效果的交互式环境是切实可行的,"说,计算机科学教授道格·詹姆斯(DougJames)在音乐方面有礼貌的任命。

创建声音模型的现有算法是基于19世纪科学家赫尔曼·冯·姆霍兹(HermannvonHelmholtz)所做的工作,他把他的名字命名为描述声音传播方式的方程式。基于这种理论基础,科学家设计了用于创建3-D声音模型的算法:能够合成音频的软件例程,其能够合成看起来是现实的音频,这是因为声音改变的体积和方向取决于相对于收听者的动作发生的位置。直到现在,用于创建3-D声音模型的最佳算法依赖于边界元法(BEM),这是一个缓慢的过程,这对于商业应用来说是太昂贵了。

詹姆斯和他的研究生合作者王瑞贤开发了一种算法,通过避免Helmholtz方程和边界元,以数百至数千倍的速度计算声音模型。他们的方法受到20世纪奥地利作曲家弗里茨·海因里希·克莱因的启发,克莱因找到了一种方法,将大量的钢琴音调和音符混合成一种名为“母亲和弦”的单一而悦耳的声音。科学家们给他们的算法起名为KleinPAT,以表彰他的灵感。他们在ACM SIGGRAPH 2019计算机图形学和交互技术会议上发表的一篇科学论文中,解释了他们的方法是如何创造声音模型的。詹姆斯说:“我们认为这是一个改变互动环境的游戏。”

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢

最新文章