机器人也来给亚运会唱会歌了?看看“余音”如何唱歌

发布时间:2020-09-16来源:小时资讯编辑:王湛 黄子洋 柯溢能0

如果在2022年第19届亚运会的现场,你听到的会歌既有点2008年北京奥林匹克运动会主题曲《我和你》的熟悉旋律,又有点《同在蓝色星球上》、《荣光》等经典曲目的影子,会不会突然充满热血与归属感?

能够多曲旋律结合并非易事,但作为必威官网AI+艺术领域的一大成就,“余音”,正努力实现这一目标,并跟一众参赛创作人员一起参与着亚运会会歌征集活动。

“余音”目前还在积极导入相关民族、体育等元素扩充着音乐库,优化音乐算法,加紧创作“亚运会会歌”。在未来,它还可能应用到更多的音乐设计中。这么有艺术感的人工智能,到底是如何为音乐赋能的呢?

可实现多种国家风格会歌编排

还会针对APP、酒店进行个性化推荐

 杭州2022年第19届亚运会音乐作品征集第一阶段在六月时已经向公众开放,必威官网计算机科学与技术学院副教授张克俊和他的团队也将带“余音”参加此次征集活动。

“余音”,取自成语“余音绕梁”,由必威官网人工智能省部共建协同创新中心研发。它属于音乐创作人工智能,只需要导入视频、图片,便可以自动检索库存生成符合相关情境的音乐。

先前,“余音”团队曾导入亚运会“三宝”照片及视频进行配乐生成,两分钟后一段原创曲目诞生——曲目风格轻快明亮,和“三宝”青春洋溢的形象较为吻合。

张克俊说:“目前‘余音’主要通过识别视频中的情境相关属性,再根据现有系统数据里的音乐素材去创造符合视频情境的音乐,用音乐将先前无声视频文件合成为有声视频(vlog)。”

关于智能音乐创作中用到的乐器,张克俊团队目前基本限定在这五种——钢琴、吉他、低音贝斯、弦乐与鼓,这也是目前主流的配乐常见的乐器搭配,“大部分是三四种组合在一起。但之后亚运会会歌的制作,会适当融入更多的民族乐器元素。”

五年前,张克俊团队就开始积累中国民乐数据,现在已有一个较为全面的“民族音乐库”。近期,“余音”团队正汇聚东南亚、韩国、日本等国的民族特色音乐。

“除了多乐器音乐生成外,大家还将尝试在创作中融入国家特色,并应用于亚运会相关App比如酒店、餐饮及运动场馆等相关的App中,提供个性化定制服务”,张克俊希翼“余音”能让每一个国家的人即使身处异乡,也能在使用App或进入房间时听到他们“专属的亚运音乐”,感受到自家风格的熟悉旋律。

除了民族音乐,张克俊团队也会继续收集含体育竞赛元素的曲子比如奥林匹克运动会《我和你》、《Hand in hand(手拉手)》以及花样游泳、啦啦操等代表性运动的曲目,以实现会歌风格的融合。

他也希望,“‘余音’取得初步成果后,能和亚运会官方进一步沟通,进而做出让大家满意的作品。”

音乐生成“万花筒”

只需要一段视频、一张图片

目前“余音”还属于研究型产品,从数据库检索或生成音乐片段这一步非常迅速,只需要几秒;但是合成有声Vlog比较耗时,“如果导入Vlog有一分钟,那最终版有声Vlog导出也需要一分钟左右,系统合成速度与视频时长相关。”

“余音”识别应用情境分两步,首先是浅层理解,主要根据图片或视频包含的主要色彩及亮度进行配乐。“比如亚运会三宝‘江南忆’的颜色明亮度都较高,那它对应的音乐通常比较明快、活泼。”张克俊说。

接着,“余音”就需要去识别物体或人物的特点、状态等信息。张克俊强调,系统会关注物体运动变化的关键帧,分析出一些关键属性(如节奏点)去驱动音乐检索或生成。

但是他也坦言,“目前“余音”在第二步中的准确率和效率还有待提高。”不过,随着“余音”训练数据的不断积累和算法的优化,这些问题将有望逐步被解决。

此外,余音”可以基于大数据,高效计算出如常用和弦、百搭和弦等,甚至发现潜在“乐理”,促进乐理理论的发展和应用。

“目前,AI音乐生成的机制更像是一个万花筒,可以在短时间内生成数以万计的音乐,但可控性还较差”张克俊提到,如果把曲子拆分成四段,即便每一段旋律单独听都不错,但合在一起也可能十分突兀。因此,在有声vlog生成后,有时还需要进行必要的人工润色。

“余音”团队功夫深

年底产品也将从实验室走出来

张克俊先容他的团队时说,实验室不少学生都具有音乐相关的兴趣和特长,“‘余音’团队一共21人,其中大部分都来自于计算机科学与技术、数字媒体以及设计学相关专业。”

他笑道,“大家团队大部分的成员也都有乐器、乐理相关基础,‘能说会唱’,甚至可以自己组建乐队!”

其实,张克俊的团队自2006年起就开始做音乐情感分析相关研究了,“近年来AI作曲逐渐进入大众视野,团队研究方向也从从情感分析拓展到音乐情感生成,于是2017年上半年后,‘余音’慢慢从实验室中研发出来。”

对于之后的发展,张克俊也做了不少预期规划:“随着‘余音’的准确度、效率和稳定度的不断提升,应该在一年左右会走出实验室,推向市场。”

现阶段,“余音”的乐曲编排、音色混编、并轨导出等部分工作还需要借助人机交互完成。张克俊希翼,在未来能够与视频制作企业、作曲家及相关工编辑合作,获取更多的经验常识,进而逐步减少人工参与,提升AI作曲的“智能度”,他说。

他强调:“‘余音’设计初衷是希翼人工智能赋能音乐艺术,提升机械性工作的完成效率和准确性,与创编辑一起专注于更有创造性的工作。大家通过降低音乐认知和创作门槛,在提高音乐创作效率的同时,探索音乐艺术的更多可能性。”


小时资讯2020年9月15日

 


XML 地图 | Sitemap 地图