胡渊鸣创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟
机器之能报道
编辑:吴昕
它会是3D AIGC领域的Midjourney 吗?
游戏、电影和 XR 行业对 3D 模型的需求正在激增。尤其是当苹果 Vision Pro、Quest 3 等硬件出货量达到一定量级时,市场对 3D 内容需求可能会出现井喷。
遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作工具之外。
随着生成 AI 技术的兴起,如何打造一款全新的 3D 内容生成工具,加速制作流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。
Meshy 就是这样一款在线生成 AI 工具—— 只需一分钟,即可使用 Al 生成 3D 内容(模型),你要做的只是一个简单提示。
视频加载中…
Meshy官方提供的内容。纽约高级 UE 艺术家 RenderMan 使用Meshy文本转3D的模式创建了视频里所有资产内容。
这款 3D AIGC 工具来自一家创业公司 Meshy 。公司联合创始人兼 CEO 胡渊鸣是计算机图形学知名学者,毕业于清华大学姚班,MIT 博士,也是「太极」(TaiChi)编程语言作者(没错,就是 99 行代码打造冰雪奇缘的那位大神)。
Meshy 是胡渊鸣创立的独立新品牌。团队成员分布全球,来自 MIT、哈佛大学、英伟达、谷歌、 Meta 等知名机构。他们希望通过提供一种直观、轻松的内容创建方式,彻底改变当前 3D 内容制作生态系统。
公司联合创始人兼CEO胡渊鸣
目前,Meshy 提供三种很容易上手的使用方式,包括文本转 3D(输入文字——输出 3D 模型)、图像转 3D(提供图片——生成 3D 模型)以及从文本到纹理,透过简单文本描述就能为 3D 内容添加纹理。
三种模式均可快速工作——在 60 秒内输出结果。
我们先体验了文本转 3D。确定生成目标——生日蛋糕——后,我们输入了一些简单提示,比如「经典风格、高质量、宇宙色彩和图案,看起来诱人」。
很快,一块诱人的 3D 蛋糕出现了:
当我们拖曳着蛋糕,360 度无死角欣赏时,不得不说,很满意:
这种文本转 3D 功能非常适合在游戏中生成环境资产或「道具」。于是,我们试试 Meshy 设计宝藏古董的效果。
输入「青铜制品,古董,古代」,得到了一尊很漂亮的器皿:
加入 Discord ,还可以体验到一些网页版尚未上架的新功能。比如,生成的物体品类更加丰富,避免了多张脸的问题,还可以生成角色和动物等。另外,生成的物体几何质量更高也更完整。
值得注意的是,除了 1K、2K,Meshy 现在还提供生成 4K 纹理的选择,将创作细节和清晰度提升到一个新水平。
X 平台 @Edgar_Martin 使用文本转 3D 功能生成了一张 4K 细节的古董桌子:
除了仅需一分钟左右的等待,Meshy 另一个特点是能与 Unity 、Blender 等流行创意工具无缝集成。
X 平台网友 @PurzBeats 使用文本转 3D 生成模型后,又把模型放到 Mixamo (一个为 3D 内容生成动画的平台)里添加了动画效果,然后又用 Blender (一款 3D 动画制作软件)进行照明/渲染,得到了这个既笨拙又可爱的萌物:
Meshy 的下一个亮点是支持图片生成 3D 模型,包括 Midjourney 、Stable Diffusion 生成的图像。
东京 CG 艺术家 Samuel 使用了图像转 3D 的功能生成内容后,接着用 Mixamo 为这些 3D 形象添加了动画效果:
我们也随手找到一张 AI 生成的图片,利用 2D 转 3D 的功能得到一个 3D 猫神巴斯特的模型。
虽然不能称它为非常高质量的作品(可能是因为背景比较复杂,结果嘴部处理的很怪异),但在短短一分多钟内创建 3D 模型仍然令人印象深刻。
吸取教训,换了一个背景干净的图像,生成效果好了一些:
Meshy 的第三个亮点是提供了专用的 AI 纹理功能,通过文本即可为 3D 模型生成高质量的纹理。这是 X 平台@GabRoXR 的漂亮展示:
看看这个,输入「军用 MA-1 夹克」,立刻得到一件质感逼真的夹克:
X平台 @fidefumi777作品
目前,WebApp 上还支持写实、2.5D卡通、日漫、卡通线稿、写实手绘、东方水墨等 7 种风格,而你要做的就是点击选定某种风格。对于像我这种不善于通过一长串 prompt 控制生成效果和风格的人来说,简直是福音。
最后欣赏一下 X 平台网友的纹理生成玩法:
X平台 @VoxelKei的作品
X平台网友 @Yokohara_h的作品
目前,3D 内容的生成方式主要有两种。正如 Meshy 在官方博客中介绍过的。
一个是将 2D 内容提升为 3D,这类方法会使用大量 2D 数据制作出高质量 3D 模型,缺点是速度很慢,即使在 RTX 3080 等快速 GPU 上也可能需要几个小时。
另一个办法就是「原生 3D 」——直接在 ShapeNet 等 3D 数据集上训练,这种办法可以将每个模型的生成时间显著缩短至不到 1 分钟。
不过,由于可用的 3D 训练数据不多,这一类方法比较难实现数据多样性,特别是需要生成具有想象力模型的时候,模型质量通常较差。
两种主要手段要么太慢,用户等待时间长,服务器成本也高;要么生成的模型质量不高。Meshy 希望在质量和速度之间取得一个比较好的平衡。
目前,工具还处在 Mesh-1 阶段,新的功能也在开发中。如果你对 3D 内容设计有兴趣,绝对应该尝试一下,看看它如何满足你的需求。现在加入 Discord,将享受无限的免费生成机会。注册 WebApp,每天会有 20 个免费生成机会。
传送门:https://www.meshy.ai/