[闲聊] AI采谱

楼主: siscon (laisan)   2021-02-23 01:16:40
ACG点
某些小众动漫粉 特别热衷于把ACG曲改编成钢琴谱
然后其实本来就有好几个软件能用 但效果都不是很好
但半年前出的这个新的 个人觉得算进展一大步吧
以下是一些DEMO 给AI听三首原曲 输出MIDI
原曲1
https://youtu.be/dJ0Xcu0vJNU
原曲2
https://youtu.be/pOAf4UoqFq0
原曲3
https://youtu.be/T_D_pp283nw
结果: AI听了上面的音乐之后输出的MIDI
https://youtu.be/Uy65VfiXJ0M
注意到这个软件还只能钢琴转MIDI而已
不能多乐器 也不能从MIDI转成乐谱(虽然可以搭配其他工具做到)
这软件其实是一家名为字节跳动的公司 里面的员工发布的论文
(字节跳动就是 抖音的公司)
之前最顶尖是google brain 2018出的一篇论文
而这篇超过google那篇
大概看了一下论文 google原本最小的frame size(最短时间单位)是32 ms
而这篇新的 用类似内插的方式去算按下琴键的时间点(onset)
可以说在按下琴键的分辨率上远比32 ms好
然后这篇还多预测踏板跟放开琴键的时间点(offset)
onset跟offset的准度有多重要呢
举个例子 王羽佳演奏的大黄蜂的飞行 Cziffra改编版
BPM=108 一拍要按8次
所以每秒要按14.4次 每次的时间69.4 ms
google那篇分辨率32 ms 明显是不够用的
实际差距可以听听看以下影片
https://youtu.be/OknF2KVJnRM
对于ACG采谱者的影响
大概是以后不用靠耳朵 可以用眼睛把别人弹奏的ACG曲直接写下来
而对于做MIX的人来说
以前有一段想用的音乐 要不直接当一轨音轨 要不自己听过写下来
如果想做细节或是风格的编辑 就一定要写下来
但现在能够直接生成MIDI的话 就能省去写下来的功夫
直接对生成的MIDI编辑就可以了
对于做音乐生成的人
比起对音讯档去做分析
MIDI可以说是更加简洁的表示式
所以说要training什么的也会比较方便
这篇其中一个贡献就是把古典钢琴转成MIDI的dataset
以前要有这种dataset非常麻烦
要请钢琴家在能够精确测量的钢琴上演奏才能收集数据
参考资料 提供给有兴趣的人
1.软件载点
https://github.com/bytedance/GiantMIDI-Piano
2.简易安装教学
https://youtu.be/2gRfhL_TAvU
3.这篇论文
https://arxiv.org/abs/2010.01815
4.google论文
https://arxiv.org/abs/1710.11153
5.一些中文讨论
https://www.bilibili.com/video/BV1e5411E7vA
6.关于这个议题的更多介绍
https://bit.ly/2NkUiM1
作者: yorkyoung (约克)   2021-02-23 01:19:00
有没有AI演奏 给AI跑谱让它弹
作者: dos01 (朵斯01)   2021-02-23 01:21:00
跑谱根本不需要AI 随便一个编曲软件都能跑
作者: twosheep0603 (两羊)   2021-02-23 01:23:00
这是抓/扒谱吧 对于保存一些历史资料应该有用
作者: yorkyoung (约克)   2021-02-23 01:24:00
哦哦哦感恩
作者: Ricestone (麦饭石)   2021-02-23 01:24:00
https://www.yamaha.com/en/about/ai/dear_glenn/AI演奏实际演奏的演绎方式本来就跟编曲软件跑谱意思不同
楼主: siscon (laisan)   2021-02-23 01:31:00
什么是跑谱?
作者: Ricestone (麦饭石)   2021-02-23 01:33:00
就照着弹一次吧
作者: muCiKC54821 (母西)   2021-02-23 01:34:00
*王羽佳
楼主: siscon (laisan)   2021-02-23 01:37:00
懂跑谱的意思了 但这篇不是跑谱 是用机器把演奏手法记下来包含每个音的弹奏时长 力度 还有踏板我知道为什么会有这样的疑问了 等我把原本演奏的版本贴上
作者: haohwang (haohwang)   2021-02-23 02:09:00
感觉很有潜力。同样乐谱,大师级跟新手演奏手法就天差地远。现在似乎是着重在保存历史资料?继续发展,搞不好以后只要有乐谱就能模拟某大师级不曾演奏过的曲目??
作者: aszx4510 (wind)   2021-02-23 02:18:00
推 这个好酷 还有A叔的编曲和演奏超级赞
作者: th123 (米菇)   2021-02-23 07:38:00
推个,满喜欢钢琴版的

Links booklink

Contact Us: admin [ a t ] ucptt.com