https://www.techbang.com/posts/105487
Meta 开源的AI绘图专案“Animated Drawings”:可以把你的潦草涂鸦,5步骤立刻变成
动画
janusjanus 发表于 2023年5月03日 14:30
https://i.imgur.com/gLQdxp6.png
Meta公司已经开源了一个人工智能计画,让任何人都能把他们的涂鸦变得更有生机。该公
司希望通过将“Animated Drawings”作为一个开放原始码专案提供给其他开发者,他们
将能够创造出新的、更丰富的体验。
https://i.imgur.com/TMrppyl.png
基础人工智能研究(FAIR)团队最初在2021年发布了该工具的网络版本。它只需要使用者
上传一张类似人类的单一角色的图画,或者选择一个展示人物。如果你使用自己的涂鸦,
你会看到一个同意书,询问Meta是否可以使用你的画来帮助训练其模型,不需要提供同意
也可以继续使用这个工具。
接下来,上传者需要手动调整一个捕捉框的大小,使之与原作紧紧相贴,接口中提供了笔
和橡皮擦来调整图纸,然后再调整关节的位置。完成这一切后,就可以看到草图的动画版
本。你可以从四类默认的动画中挑选:舞蹈、搞笑、跳跃和行走。
https://www.facebook.com/watch/?ref=external&v=196558752689269
动画图画利用物体检测模型、姿势估计模型和基于图像处理的分割方法来捕捉数字版本的
图画。然后,它使用传统的电脑图形技术对图像进行变形和制作动画。
他们做了一个示范版的网站,在展示上线后的几个月内,使用者已经授权Meta公司使用
160多万张图片用于培训。一些人上传了公司标志、动漫人物、鱼和毛绒动物的图片,尽
管该工具规定只有人类形象可以使用。你可以在这里上传你自己的涂鸦试试看。
https://sketch.metademolab.com/
5个步骤让你的涂鸦跳起舞来
实际使用很简单,基本上你只要用小画家准备好一张图片就好了,或是用手机将你孩子的
涂鸦画拍下来也可以。
1.依照指示将你的涂鸦画上传到网站。
https://i.imgur.com/2A6ewi3.png
2.用框线把主要的角色部分框起来。
https://i.imgur.com/Yv5ZNxP.png
3.现在他就会自动判断这个角色的肢体骨架,如果有没标示到的地方,你可以利用下方的
工具自己再划上来补强。
https://i.imgur.com/J23VZKQ.png
4.然后他就会产生关节。
https://i.imgur.com/t6uDlx2.png
5.最后你可以点选左边的跳舞范本,可以看到右边你的涂鸦随之起舞。
https://i.imgur.com/xhFStrX.png
透过人们上传到该工具的一系列图像表明,人们对更广泛的绘画到动画的体验有广泛的兴
趣。这在一定程度上带动了Meta公司将该项目与大约180000张图纸的资料集进行了开源。
Meta在一篇文章中表示:“通过将模型和程式码作为开放原始码发布,这个计画为开发者
提供了一个起点,使他们能够建立和扩展该项目,促进开放原始码社区内的创新和协作文
化。”
了解更多:https://github.com/facebookresearch/AnimatedDrawings
========
操作流程不出意外 是抓出骨架以后去操纵骨架
DEMO 网站开出来以后等于可以有大量免费训练用资料
FB 这次的新玩具看起来应该比较有前途