欧博最新正版官网AI视频免费生成工具大盘点，谁在赶超

欧博最新正版官网AI视频免费生成工具大盘点欧博官网手机版，谁在赶超Sora？

今年年初开始, Sora出现之后, 国内外都打算借助AI去倾覆好莱坞, 最近这段时间, AI视频领域格外热闹, 产品连续不断地发布, 纷纷宣称要超越Sora。

国外有两家AI视频初创公司, 率先展开竞争, 其中位于旧金山的人工智能科技公司Luma, 推出了Dream Machine视频生成模型, 还抛出了可称得上是电影级别的宣传片, 并且该产品给用户提供免费试用；另外一家在AI视频领域较为知名的初创公司Runway, 也宣称要将Gen-3 Alpha模型面向部分用户开启测试, 声称能够把光影这类细节生产出来。

国内同样毫不逊色, 快手所推出的可灵Web端, 当中的用户能够生成长度达到10秒的视频内容, 具备首尾帧控制功能, 还兼备相机镜头控制功能。其发布的原创AI奇幻短剧《山海奇镜之劈波斩浪》也于快手进行播出, 其播出画面全部是由AI生成的。字节旗下的AI视频产品即梦制作的AI科幻短剧《三星堆: 未来启示录》也在最近进行了播出。

更新速度如此之快的AI视频, 让不少网友直呼, “好莱坞可能又要来一次大罢工了。”。

现今于AI视频赛道之中, 存在着谷歌、微软、Meta等国外科技、互联网巨头, 还有阿里、字节、美图等国内公司, 更有Runway、爱诗科技等新兴的公司, 依据「定焦」不算全面的统计, 仅仅是在国内, 就大概有20家公司推出了自己研发的AI视频产品或者模型。

头豹研究院给出的数据表明, 在2021年的时候, 中国AI视频生成行业的市场规模是800万元, 并且预计在2026年, 这样的市场规模将会达到92.79亿元。有不少业内人士坚信, 在2024年生成视频赛道会迎来Midjourney时刻。

世界范围的Sora们进展到何种阶段了, 哪一个是最强的, 人工智能能够击败好莱坞吗?

围攻Sora：产品虽多，能用的少

AI视频赛道所推出的产品、模型数量不少, 然而, 真正能够供大众去使用的却极为有限, 国外较为突出的代表是名为Sora的产品, 半年时间过去了, 它依旧处于内测阶段, 仅仅是对安全团队以及一些视觉艺术家、设计师还有电影制作人等群体开放。国内的情形大致相同, 阿里达摩院的AI视频产品“寻光”处在内测阶段, 百度的AI视频模型UniVG亦是如此, 至于当下正火的快手可灵, 用户若想使用还得排队申请, 如此一来, 这便已经剔除了一大半的产品。

在剩余下来的、能够被使用的AI视频产品里头, 有一部分是设置了使用方面的门槛的, 这就要求用户要么进行付费, 要么懂得一定的技术才行。就拿潞晨科技的Open-Sora来说吧, 要是使用者不懂得哪怕一点点代码相关的知识, 那使用者根本就没有办法开始着手使用。

通过对国内外已公布的AI视频产品予以「定焦」整理, 能够发现, 各个家的操作方式以及功能大致是相近的形态, 其情形为, 用户首先借助文字去生成指令这一行为, 与此同时, 要进行选择画幅大小、图像清晰度、生成风格、生成秒数等功能的相关动作, 最终, 完成点击一键生成这一操作步骤。

这些功能背后, 技术难度存在差异。其中, 最难的部分在于, 生成视频的清晰度, 以及生成视频所蕴含的秒数, 这同样是AI视频赛道上, 各家于宣传时期进行比拼的关键要点, 其背后和训练过程里所运用的素材质量, 以及算力大小紧密关联。

有一位名为Cyrus的AI研究者, 告知了「定焦」, 在当下, 国内以及国外当中的大多数AI视频是能够支持生成480p或者720p的, 不过, 也存在着少部分的情况支持1080p的高清视频。

他讲述说明, 高质量的素材数量越多之时, 算力也就会越高, 如此训练出来的模型, 能够生成更高质量的视频, 但这并不意味着有了具备高质量的素材以及算力, 就一定能够生成高质量素材。而使用低分辨率素材去训练的模型, 要是强行想要生成高分辨视频, 就会出现要么崩坏要么重复的情况, 比如说出现多手多脚这种状况。这类问题, 可以借助放大、修复以及重绘之类的方式来加以解决, 不过最终呈现出来的效果以及细节方面一般般。

很多公司也把生成长秒数当卖点。

在国内, 大部分的AI视频所支持的时长是2至3秒, 要是能达到5至10秒, 那就算是比较厉害的产品了, 也存在个别产品竞争激烈非常突出, 就像即梦, 其最长可以达到12秒, 然而大家都比不上Sora, 它曾经宣称最长能够生成一段时长为60秒的视频, 不过鉴于还没有开放供大家使用, 所以其具体的表现究竟怎么样没有办法去验证。

不仅仅是光去保证卷时长就足够了的, 生成出来的视频内容同样也得要具备合理性。石榴 AI 的首席研究员张恒针对「定焦」表达了这样的看法: 在技术层面而言, 可以对 AI 提出持续输出的要求, 毫不夸张地讲, 就算是生成时长达到一个小时的视频, 这也算不上是个难题, 然而在大多数情况下, 我们所需要的并非是一段如同监控记录般的视频, 也并非是一幅呈现出好似循环播放效果的风景画动图, 而是那种画面精致且富有情节叙述的短片。

“定焦”对5款国内较热门的免费文生视频AI产品进行了测试, 这5款产品分别是字节的即梦, Morph AI的Morph Studio, 爱诗科技的PixVerse, MewXAI的艺映AI, 右脑科技的Vega AI, “定焦”给了它们一段相同的文字指令: “一个穿着红裙子的小女孩, 在公园里, 喂一只白色的小兔子吃胡萝卜。”。

几款产品它们的生成速度倒是在差不多的程度上, 仅仅需要二至三分钟, 然而清晰度方面, 时长方面二者相差得挺多呢, 准确度方面其情况更是呈现出一种混乱好似群魔舞动般, 把结果得到了如下这样种种态势:

艺映AI

Vega AI

即梦

Morph

Pix Verse 不同家的, 优势与不足显著得很。亦即, 梦赢之处可是时长方面, 但产出质量却不算高, 到了后期主角小女孩形象竟变了形, Vega AI 有同样方面的问题。PixVerse 在画质这儿比较差劲。

和其他的相比, Morph所生成的内容是很准确的, 然而仅仅只有短短2秒。艺映的画质同样也是不错的, 不过对于文字的理解存在不到位的情况, 直接就把兔子这一关键元素给弄丢了, 并且生成出来的视频不够写实, 偏向漫画风格。

总之，还没有一家产品能给到一段符合要求的视频。

AI视频难题：准确性、一致性、丰富性

与各家所放出的宣传片相比, 「定焦」的体验效果存在较大差异。对于AI视频而言, 若想要实现真正投入商业应用, 还有一段颇为漫长的路程需要去走。

张恒告知「定焦」说, 依技术层面来瞧, 他们主要是从三个维度去考量不同AI视频模型的水准的, 这三个维度分别是准确性, 还有一致性, 以及丰富性。

如何理解这三个维度，张恒举了个例子。

比如生成一段“两个女孩在操场看篮球比赛”的视频。

准确性体现于, 其一, 是对内容结构理解的精准无误, 譬如此视频会出现一名女孩, 并且是两名；其二, 是对流程控制的精确到位, 像投篮命中后, 篮球需从篮网里缓缓下落；最后, 是对静态数据建模较为准确, 臂如镜头出现遮挡物之际, 篮球不应变成橄榄球。

这是一种表述, AI具备在时间与空间层面上的建模能力, 这一能力中涵盖着主体注意力, 同时也包含长期注意力方面内容, 而一致性所指的正是这些。

主体注意力可作这样的理解, 即在观看篮球比赛之时, 有两个女孩子, 她们要始终待在画面范围以内, 绝对不可以随意四处奔跑；长期注意力是, 处于运动开展期间, 针对视频里的各个元素而言, 既不可以缺失不见, 同时又不可以出现诸如变形之类的异常状况。

丰富性所指的是, AI有着自身的逻辑, 哪怕在不存在文字提示的状况下，它能够生成某些合理的细节内容。

市面上出现的AI视频工具, 对于以上维度, 基本都未能彻底达成, 并且各家也都持续地提出着解决办法。

比如在视频里很关键的人物一致性方面, 也就是梦、可灵想到了采用图生视频来替代文生视频, 就是用户先凭借文字生成图片, 接着再利用图片生成视频, 或者是直接给定一两张图片, AI把它们连接变为动起来的视频。

“然而这并不归属于新的技术突破范畴, 而且图生视频的难度相较于文生视频要更低一些, ”张恒告知「定焦」 , 文生视频的原理是这样的, AI首先针对用户所输入的文字展开解析, 把它拆解成为一组分镜描述, 接着将描述转化为文本之后再转化为图片, 如此便得到了视频的中间关键帧, 把这些图片连接起来, 便能够获取到连续有动作的视频。而图生视频相当于给予了AI一张可供模仿的具体图片, 生成的视频便会延续图片当中的人脸特征, 达成主角一致性。

他还讲了, 于实际场景之中, 图生视频的成效更契合用户所想, 为何这样说呢因文字表达画面细节的本事十分有限。倘若有图片当作参考, 那么会在生成视频这件事上起到些作用, 但话又说回来当前却还到不了能进行商用的水准。直观来讲, 5秒乃是图生视频的上限, 一旦大于10秒, 或许意义也就没那么大, 要么内容会出现重复的情况, 要么结构会扭曲致使质量降低。

当前, 存在着诸多宣称借助AI达成全流程制作的影视短片, 其中大部分运用的是从图生成视频, 或者是从视频到视频的方式。

也就是梦, 其运用尾帧功能所采用的也是图生视频, “定焦”特地开展了尝试, 最终结果如下:

在结合的过程中欧博最新正版官网AI视频免费生成工具大盘点，谁在赶超Sora？，人物出现了变形、失真。

赛勒斯也表明, 有关视频, 其在这种情况下是讲究连贯的, 众多的人工智能视频工具, 它们支持图转视频的方式, 是借助单帧图片去推测后续动作, 至于推测的结果是否正确, 当前的状况是全凭运气来决定。

据知晓, 文生视频于达成主角一致性方面, 各家并非全然依靠数据生成。张恒称, 多数模型是在原本底层DIT大模型之上, 增添各类技术, 像ControlVideo（此为哈工大和华为云所提出的一种可操控的文本 - 视频生成方式）, 借此深化AI对主角面部特征的记忆, 致使人脸在运动进程中不会出现太大改变。

然而, 当前全都仍处于尝试的阶段, 就算实施了技术叠加, 可依旧尚未彻底解决人物一致性的问题。 \。

AI视频ai视频免费生成，为什么进化慢？

在AI圈ABG欧博ABG，目前最卷的是美国和中国。

一份源自《2023年全球最具影响力人工智能学者》（简称为“AI 2000学者”榜单）的相关报告能够看出, 在2020年至2023年期间, 全球范围内“AI 2000机构”4年累计的1071家机构里, 美国占据着443家, 紧随其后的是中国, 拥有137家。从2023年“AI 2000学者”的国别分布状况来看, 美国入选的人数是最多的, 总计有1079人, 占到了全球总数的54.0%, 其次是中国, 共有280人成功入选。

过去这两年间, AI于文生图、文生音乐这些层面获取了较大程度的进展之余, 身为最难取得突破的AI视频, 也实现了某些突破。

在近期举行办展的世界人工智能大会当中, 倚天资本合伙人乐元公然宣称, 视频生成技术于近两三年收获了远远超出预期的进展。新加坡南洋理工大学助理教授刘子纬觉得, 视频生成技术当下处在GPT-3时代, 距离成熟大概还有半年左右的时长。

然而, 乐元也着重指出, 它在技术层面的能力依旧没办法有效支持大规模投入商业运作, 依据语言模型去开发应用所采用的方法理论, 在视频类别相关的应用范畴里, 同样是能够适用的。

年初时候, Sora的现身, 震惊了全球, 它是基于transformer架构的新型扩散模型DiT, 在再做扩散以及生成这方面, 实现了技术突破, 提升了图像生成的质量与写实程度, 进而使得AI视频取得了重大突破, Cyrus表明, 目前在国内国外的文生视频领域, 大多数采用的都是类似技术。

图源 / Sora官网

此时, 大家于底层技术方面大体相同, 虽说各家也凭借此来探寻技术突破, 然而更多比拼的是训练数据, 进而使产品功能得以丰富。

当用户运用字节的即梦、Morph AI的Morph Studio工具时, 能够挑选视频的运镜形式, 其背后的原理却是数据集不一样。

那些先前各家在训练期间所运用的图片是较为简易的, 更多的是针对图片存有哪些元素去作出标注, 然而却并未说明这一元素是采用什么镜头拍摄的, 这样的情况致使许多公司察觉到了这一缺口, 所以就运用3D渲染视频数据集去补全镜头特征。张恒说道, 当下这些数据源自影视行业、游戏公司的效果图。

「定焦」也尝试了这一功能，但镜头变化不是很明显。

Sora它们发展得比GPT、Midjourney它们慢, 原因在于又构建了一个时间轴, 并且训练视频模型相较于文字、图片更具难度。存在这样的情况, 即现在能够使用的视频训练数据, 都已经被挖掘到没有剩余了, 对此我们也在思索一些新的办法去制造出一系列能够用于训练的数据。张恒如此表述。

并且, 每一个AI视频模型, 都存在着自身所擅长的风格，恰似快手可灵所制作的吃播视频更出色, 缘由在于其背后有着大量此类数据的支撑。

被称为石榴AI创始人的沈仁奎觉得, AI视频技术存在Text to video（文本转视频）, Image to video（图片转视频）, Video to video（视频转视频）, 还有Avatar to video（数字人）这种能实现形象与声音定制的数字人, 其已然应用于营销领域并达到商用层次, 然而文生视频却仍需处理精准度与可控度方面的问题。

此刻, 有一部由抖音和博纳合作的AI科幻短剧, 名为《三星堆: 未来启示录》, 还有一部是快手原创的AI奇幻短剧《山海奇镜之劈波斩浪》, 更多情况下, 是大模型公司主动去寻找影视制作团队来开展合作, 这其中存在推广自家技术产品的需求, 并且这些作品并没有实现出圈。

于短视频范畴之内, AI仍存有漫长的路程需要去行进, 表明其已将好莱坞予以击败的这种说法, 更是为时尚且早焉。