对于游戏玩家们来说,在游戏内的语音沟通是打好整局游戏的刚需,因此游戏语音是否稳定也成为了决定该游戏是否是高品质游戏的重要因素之一。这些年来,游戏内的语音交互已然成为了广大游戏厂商的重点关注对象。
近日,腾讯游戏就在语音交互方面有了大动作——腾讯游戏光子S工作室《和平精英》团队携手腾讯AI Lab、腾讯游戏CROS GVoice(腾讯游戏语音)团队玩法的全新语音技术。这项技术基于深度学习在语音编解码器上的不断突破,将AI Codec应用于《和平精英》游戏中,让《和平精英》成为首个将AI Codec技术全面应用于游戏语音领域的产品。
手游为什么在现在有这么高的热度,其实这和他极强的社交性有关,艾媒也专门对移动游戏社交做出统计,一款社交因素好的游戏会大大增强该游戏的用户量,接近40%的玩家会因为社交因素而选择一款游戏,而接近15.6%的玩家会因为社交因素不好而放弃一款游戏。如何提高手游的社交属性?现在已经是各大游戏厂商的重要工作。
在游戏内,好的社交能够减少玩家们孤军奋战的感觉,这也是游戏语音深受玩家们喜爱的重要原因,经过了一段时间的发展,玩家们对手游的语音传输质量和使用环境的要求也越来越高了。
游戏内的实时语音交流不仅仅是简单地把话说出来,让人听到,这样而已。一个好的语音不单单有这些,最重要的是他的听感质量更符合人的听觉要求,在这个前提下,传输码率越低,用户耗费的流量越少,这样算率越少,CPU的耗能就越少。这些东西的技术核心早已经是通信技术行业在游戏上使用的重点。
而到现在为止,游戏语音的传输技术仍在两个方面不断突破。第一个就是游戏语音在弱网恶劣环境下的运行,在网络信号差,网速慢,卡顿这种情况下,如何能够将游戏语音清晰流畅的交流出来,这是一个重要的技术命题。同样的听感质量,如果语音信息的码率低,那么传输的连贯性就越有保障,所以相对来说,低码率更加适用于弱网环境。
并且尽量让游戏语音减少算力的损耗也会提高玩家们在使用时的体验,因为目前游戏对于CPU的速率要求都比较高,所以如何能让语音功能在保障用户交流体验的同时,尽可能的减少CPU的占用也是重点。
传统的音频解码技术Codec致力于使用较少的网络带宽资源、较低的传输码率去传递更保真的语音信息。而随着有信的语音沟通越来越重要,国内外的许多科研人员也将目光转移到了这边,安全基于神经网络的语音编码器逐渐代替了传统的基于信号处理的方法,这成为了业界内前沿的解决方案。而这个时候基于人工智能技术进化出来的AI Codec就受到了业界的关注。
为了能给游戏内的语音应用上它,游戏界进行了非常多的尝试,但是,都不太理想。2021年,谷歌将目光瞄准了这一领域,并且发布了基于自身回归网络的AI Codec Lyra。Lyra能够在以低码率传输的同时保证声音效果,但不能提供高质量的实时通信,算法存在延迟的情况。 而半年后,更再次发布了新的模型SoundStream,但是由于模型复杂度较高,无法在大多数的手机上平稳运行。
《和平精英》近几年的人气可谓是如日中天,在海内外都有着不菲的影响力,最大的原因就是因为这款游戏一直在不断的提升自己的品质与优化玩家们的游戏体验,而游戏语音也一直都是《和平精英》团队最关注的功能之一。
2021年底,《和平精英》团队携手腾讯AI Lab、CROS游戏语音GVoice团队一起正式立项GVoice AI Codec研发项目,以实现高质量、低码率和低功耗的游戏内实时语音环境为目标,通过针对游戏场景进行深度优化,让GVoice AI Codec在游戏场景下的语音处理算法比传统即时通讯软件有更加优异的音质表现,就算是在弱网环境下,更低码率的运行方式也保证了音质表现不受损害,让移动端也可以轻松使用。
GVoice AI Codec 通过自研编解码模型算法,传输带宽实现了压缩,并以 5-12kbps 的 AI Codec 替换了原来24kbps 的Opus,用比较通俗的话来说就是GVoice AI Codec在保证音效质量的同时,传输码率更低,流量也更少。
而在在算力消耗方面,GVoice AI Codec通过模型压缩、量化、并行运算、不断降低运算与资源开销最终达到移动端落地要求,用极低的CPU使用率增幅,换来了手机端更低流量的高质量实时通话。(以下是使用前后的效果对比图)
GVoice AI Codec技术在《和平精英》中应用后,能够极大幅度的提升玩家们在交通出行,户外活动等弱网环境下的语音流畅性,大幅度避免了在战斗中语音互动环节上现卡顿,掉线等情况。同时他AI模型算法也会让玩家们的语音沟通更加清晰,可以说在此之后无论是战术配合还是闲聊,在多种环境,多种场景下,《和平精英》的语音互动都会有着不错的体验。
而从整个游戏发展的角度来看GVoice AI Codec在《和平精英》上的成功落地,为更多游戏语音技术的研发成果落地打下了基础,随着云游戏、VR/AR等更多游戏品类的萌发,相信在不久的将来能够使用AI Codec 技术的游戏将会越来越多。