郭一璞 问耕 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

谁说AI只能搞一些一本正经的工作?

谷歌最近就放出了几只比较搞笑的AI,可以完成一些不走寻常路的工作,比如:帮你实现靠脸吃饭,让你说的跟唱的一样~

是谓:谷歌AI的七个“不正经”玩法。

每个我都能玩一整天~

玩法1:跳着舞就把琴弹了


正常人弹琴,都是乖乖的坐在钢琴前按键盘,或是以演奏姿势抱着吉他、手风琴弹。



但是谷歌这个名叫Body Synth的项目不一样,是让你在电脑前,以手为键,以腿为弦,手舞足蹈,自己弹自己。

先看一下效果,请欣赏由量子位带来的谷歌AI乐器独奏:《和弦》



其中的原理很简单,打开摄像头,自动开启人体姿态识别,四肢和脑袋分别对应不同的音调。

只要监测到身体某个部分有动作,就可以发出对应的音调。

跟我念,

1~2~3~4~5~6~7~

do re mi fa so la si~

以默认的C大调为例,摇头晃脑,发出的就是so的声音。



动动左手,就是mi。



动动右手,就是do。



动动右腿,就是低音so。



动动左腿,就是低音do。



即使转身背对镜头,也是一样可用。



另外,你还可以设置音色音调。



或者打开语音控制开关,默认的音色是吉他,喊一声strings,就可以变成管弦乐,喊一声drums,就可以变成鼓点。

玩法2-5:靠脸吃饭

除了“靠四肢弹琴”,还可以“靠脸吃饭”。

当然,不是真的靠脸吃饭的意思,而是你可以用脸来完成一系列工作(混口饭吃)。

比如说,依靠Sound Canvas工具,你就可以用脸来画画或者写字。

打开Sound Canvas之后,默认是用键鼠来画画。

这太低级了,简直是windows 98自带画图程序的水平。

所以,需要先把Tracking改一下,选中Body,就可以打开摄像头,用脸画画了。



此时,你脸的朝向就是屏幕上画笔的位置,慢慢移动自己的脑袋,微微转头,就可以在屏幕上勾勒线条。



比如,写“量子位”三个字。



人呀,一旦发现了脸的用途,就开始开发新工具。

除了写字,还可以弹琴。

Keyboard就是用来弹琴的。和用脸写字的操作差不多,脸的朝向就是小圆点在屏幕上的位置,操控小圆点敲击屏幕上的琴键,就可以发出对应的声音。



和前面的“跳舞弹琴”一样,Keyboard上也可以选择不同的音色音调,如果你觉得只有5个音不够发挥的话,可以设置到最多15个琴键,两个八度足够演奏很多音乐了。



当然,两个八度的话,琴键太窄了,脸太大不好操作,可以切换回鼠标操作……

熟悉了之后,还可以玩Clarion Lite,虽然也是一个用脸弹琴的项目,不过做了几种不同的花样。



屏幕上的每个彩色区域都应对这一个音调,同样用脸把小圆点放上去即可触发,摇头晃脑,乐声出现。



但是,演奏乐曲对音乐知识还是有一点要求的,有没有小白即刻上手(上脸)的操作?

没问题,谷歌还准备了“用脸当DJ”的Sampler项目,包含鼓点、吉他、号角、古钢琴四段简短的音乐,只要用脸控制小圆点移动上去,就开始自动播放。



现在,请欣赏下一个节目,由量子位为大家演奏《靠脸吃饭的音乐家》。



(中间有一段大家熟悉的歌,听出来的朋友评论区见)

玩法6:说的跟唱的一样

我有个同事,就是雷军的粉丝,不是米粉,单纯就是B站鬼畜区知名歌手雷布斯的粉丝。

鬼畜简单来说,就是通过调音,把一句话变成歌声~B站上个个都是人才,但对于普通人来说,这种操作还是很难。

不妨试试这个Word Synth吧~

你只要输入一些单词,然后就能按照自己的喜好调节旋律,探索不同的声音、声调的组合,尝试构建鬼畜一般的歌声。

我们尝试了一下,限于只能放三个视频,这里就用一个动图和一个音频呈现了:





这个项目背后,主要应用了谷歌云的文字转语音API,它靠DeepMind开发的WaveNet来合成你听到的这些声音。

玩法7:用声音画画




这其实是一个音乐可视化的工具。

所谓的音乐,既包括人声也包括多种乐器。你可以打开麦克风自己哼唱,也能调用内置的声音看看效果。






所有输入的声音,能够以不同的模式呈现,比方Hilbert Scope以及Spectrogram,能够显示出声音的细致纹理和旋律的形状。

据一位聋人音乐家表示,这个工具还能更好的帮助他们在听不到或者听不清声音的情况下,更好的学习歌唱。

正经揭秘

但,谷歌搞出这么多奇妙的功能,并不是只想让你玩一天而已。

所有以上这些,是一个被称为Creatability的项目,旨在探索如何通过网络和AI技术,让更多人能够释放自己的创造力。

纽约大学的Claire Kearney-Volpe,曾经作为艺术治疗师遇到过各行各业的人,她认为每个人都能从参与创作的过程中受益。



例如通过画画、制作音乐等方式,帮助患有自闭症的中学生;借助不同的技术手段,为盲人构建工具以完成晚宴的规划和设计。


正是秉持着同样的目的,她和谷歌团队、无障碍社区的伙伴合作,共同搞出了Creatability项目。

在这个项目的帮助下,即便你听不见,也能参与音乐创作。即便你行动不便,可以对着屏幕动动手指或者脑袋,也能感受到音乐的魅力。

在谷歌的宣传片中,行动不便人士的笑容真的很灿烂。





这一项目背后的AI动力,主要是谷歌的TensorFlow.js等工具,让机器学习技术能够在浏览器中实现。


无论你是老师、学生、研究人员还是艺术家,都可以参与其中。你可以玩,也可以利用相关技术,开发并提交自己创造的项目。

当然前提是你还得有科学的方法才能访问~

传送门

这些项目的官网:
g.co/creatability

GitHub:
https://github.com/googlecreativelab/creatability-components

— 完 —

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;




此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。




进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

活动策划招聘

量子位正在招聘活动策划,将负责不同领域维度的线上线下相关活动策划、执行。欢迎聪明靠谱的小伙伴加入,并希望你能有一些活动策划或运营的相关经验。
相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

友情链接
KaDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信