这东西会出来我其实在板上hint了一段时间
想当然没人甩我哈哈
说到花式溜冰
https://x.com/alea31415/status/1932920530316984591
https://cdn.midjourney.com/video/2f4b7136-e5bf-4d0b-8ab9-bf6a06afa645/0.mp4
说几个虽然不是秘密但是显为人知的事情
midjourney video本身就是我们nijijourney团队做的
midjourney video 跟 nijourney video I2V 就是同个东西
(反正我们Japan lead twitter上都说了 不是什么秘密
这模型就我同事练的 inference 参数 high motion low motion 都我跟另一个同事调的
调这些东西的时候我们做了很多权衡
可以参考我这条推特 https://x.com/alea31415/status/1935697390402691466
最后决定以维持原图片风格 减少崩坏当第一优先
打造出一个独一无二 市面上不存在的模型
然后想当然我们从头到尾就只care anime, 或更广泛的说 non photorealistic
我们调模型一半都是对着动画调的
我对着mono跟饭菜的角色调 我同事对着如月千早调
真实系只是应midjourney要求顺便做做
而且模型也是有个适当的真实系基础才能把非真实做好 (真实系资料多太多了
这个模型最难的就是这些风格化的影片几乎微乎其微
虽然这可能看似微不足道 但搞出能完全达到first frame风格的模型可以说是一大突破
至于在真实系3d这种简单的部分 复杂动作跟语义遵循我们从来没打算去跟veo3和kling 2
.1对标
google有多少资源 我们又有多少资源
说真的mj能有这么大的用户从来就不是靠在性能上硬干 而是靠自己的风格
我们的影片模型也以这点为中心 目前看来也算取得相当的成功
至于为什么只有480p 这单纯只是怕我们infra撑不住
720p我们是可以出的 像是我最上面贴的花式溜冰跟我推特几个影片都是720p
而且我们一开始想用低价的让尽量多人用 所以选了只开放480p
upsacler应该不久后就会上线 这些东西要练起来其实都很简单 keyframe/loop大概也会上
只能说mj的传统就是 就算我们背后能做的事情很多
但只会上非常小一部分精选的功能 这就是为什么我们没上t2v
niji t2v还有得我们慢慢钻研着墨
喔还有852话那个影片完全超乎我们想像 作为开发者根本不知道怎么把模型用成这样
一堆感觉我们模型不擅长的事情
然后我刚刚在facebook上看到这个
https://www.facebook.com/share/v/15YTx6rnci/
恩台湾长辈果然不同意义上超越我们的想像
置底友奈跟登山少女+金牌得主上 mj explore
https://x.com/alea31415/status/1935377883561869625
launch时我洗了一堆影片上去
置底串烧变成鸡
https://x.com/alea31415/status/1935616928036557167