欧博快手视频生成工具：AI一键让照片说话，小白也能做

欧博快手视频生成工具：AI一键让照片说话，小白也能做数字人

在我仍旧处于跟GPT展开聊天这个状态的时候, AIGC圈子当中已然掀起了新的事物——。

由AI生成的乔布斯, 他好像是从画作里苏醒过来, 朝着镜头条理清晰地谈论GPT, 其嗓音也颇为类似原来的声音。

作者“汗青”讲, 视频中文案取自他与GPT的交流, 乔布斯形象靠AI作图工具Midjourney生成, AI拟声工具ElevenLabs给予了嗓音复刻, 最终借AI视频工具D-ID把图像转成视频。

凭借类似这般的AI工具, 网友借助“魔法”生成的纸片人能够活动起来了, 甚至能够轻松地创造出一个属于自身的数字分身哟。

AIGC把创作门槛给降低了, 有越来越多的人正尝试着去让AI参与到内容创作当中, 从文案创作开始, 到录制环节, 再到配音以及剪辑, 差不多能让AI全部包揽了。依据国外商业咨询机构Acumen Research and Consulting所做出的预测, 要是考虑到下一代互联网对于内容需求的快速提升, 在2030年, AIGC的市场规模将会达到1100亿美元。

近年来, AI对话技术有一定发展, AI绘画技术也有一定发展, AI语音技术同样有一定发展, 相对而言, 视频领域的AI模型研发起步不久, 视频领域的AI模型应用起步不久, 像D-ID这样的技术, 通过一张静态图片就能创建虚拟人视频, 着实令人感到惊奇。

图源：国泰君安证券研究

国内外如今存在哪些用于AI视频创作的工具, AI会给视频内容的生产以及交互体验带来怎样的改变, 本文针对于此作了盘点还有分析。

AI拼接素材欧博快手视频生成工具：AI一键让照片说话wwwabg66.net，小白也能做数字人，套上模板秒出视频

通常视频创作涵盖这样一些环节, 先是撰写脚本或者文案, 接着进行拍摄视频, 又或者寻觅第三方素材, 随后剪辑素材, 再其次是配音, 之后配上音乐, 而后添加转场、特效、字幕、标题、封面图等等。

在这当中, AI当前已然能够协助达成诸多任务, 像是图文以智能方式匹配视频素材, AI实施自动剪辑, AI进行抠像, AI实现换脸, 对画质予以优化修复。

各平台推出的剪辑应用里, “图文成片”功能极为常见, 抖音的剪映支持文案一键拼接图片与视频素材, 进而同步生成字幕和配音作品, 快手的快影同样如此, 百度的百家号也行, B站的必剪也具备这种根据文案一键拼接图片视频素材且同步生成字幕配音的能力。

将输入的文案拿来参考AI助手的回答, 举个例子, 对于“养猫会对一个人产生什么影响”, GPT给出的回答说养猫能够起到减压的效果促使焦虑得到缓解, 能够增强社交的能力, 能够助力提高心理健康水平, 能够增加运动量, 我们能够在这个基础之上实施修改之后把它导入剪映。

这款剪映软件, 不到一分钟就迅速地自动生成了视频, 其呈现出的, 画面跟文案所表达的内容极为基本地符合。要是对所使用的素材感到不满意, 比如说, 想要把静态的图片变成视频, 那么呢, 可以前往在线素材库查找搜索更适宜恰当的进行替换。

需要留意的是, 那些素材常常源自网络或者第三方服务, 像没有版权归属限制的图库Unsplash 、Pexels , 而AI剪辑应用所开展的行为, 则是借助AI以及机器学习针对文案施行语义剖析, 进行分镜头处置操作, 并智能地匹配对应的画面。

因此, 一键图文成片给予创作者的最大助力在于, 节省了搜集素材所需消磨的时间, 削减了人工剪辑所涉及的劳动量, 借助自动化以及模板化的途径, 提升了视频生产的效率。

与之相似的视频自动剪辑工具存在“Lumen5” , 专心致力于长图文转变为视频 , 给出了数目众多的视频样本 , 在其操作方面的难关程度更低 , 借助像制作 PPT一般运用拖曳文字这种方式就能变化为景象了。自2017这个年份刚开始推以来就形成发展到当前之时 , 依据官网方面的说明显示已经有超过的100万数量的企业客户把它应用到社交媒体当中的营销以及传播。

图源Lumen5

“Vidyo”源于印度的AI初创团队, 它支持长视频转化为短视频, 借助AI语音识别技术, 能够从素材里自动剪辑出精彩片段, 适用于直播视频切片以及播客剪辑, 只是目前视频语言仅支持英文。

图源vidyo

尽管当下, 视频创作软件所具备的AI功能, 是以文字去匹配视频素材作为主要方式, 然而往后呢, 有可能会增添更多的AIGC工具。

像是海外的那个AI视频工具叫做“Fliki”, 它特别擅长把短图文转化成视频, 只要输进Twitter等这类博客的链接, 就能迅速生成短视频, 而且关于图片素材它, 又能提供文字生成AI图像, 这其中还是由DALL·E给予技术方面的支撑。

图源Fliki

“Copydone”源于国内AIGC初创公司, 它支持小红书、淘宝等各平台生成AI营销文案, 而且还能够按照文案自动生成配图或者拼接视频。

图源Copydone

把视频主题给定, 剩下的都能自动生成的海外AI视频网站“QuickVid”, 集成了GPT - 3、DALL·E 2等AI生成图文的能力, 然而它在二次编辑方面的自由度以及丰富性是比较有限的。

图源QuickVid

就此而言, 处于视频创作范畴里那些独特的需求, 也能够试着借助AI去达成。举例来说, 借助AI修复陈旧视频已然存在许多备受瞩目的案例, 像是历史方面的资料, 以及往昔岁月的影视片段, 借助诸如“Video Enhance AI”这样的视频增强软件, 能够把画质予以提升, 同时增加分辨率。

图源B站

让照片说话欧博注册，跨模态AI做到了

当下的AI, 仅能算作辅助视频创作的小小助手, 若想拥有更高的原创度, 从无到有迅速创作视频, 仍颇为困难, 然而, 更具强大功能的跨模态生成视频的模型, 比如文字生成视频、图像生成视频的模型, 已然在发展途中了。

不是从已经有的素材库里边拼凑组合起来来生成视频, 与这种方式不同, 文字生成视频其实还有更接近人类的工作模式, 类似AI绘画模型那样, 去学习文本以及图像的抽象概念。

在2022年5月的时候, 清华大学联合智源研究院发布了“CogVideo”, 它是国内首个开源的文本生成视频模型, 在其Demo网站当中, 当选择“青年女子在餐厅里喝奶茶”时, 就能看到AI生成的4秒视频, 视频的分辨率是480×480。

图源CogVideo

关于设计模型这方面, CogVideo有着94亿参数, 它能把预训练文本 - 图像模型也就是CogView2有效地运用到文本 - 视频模型当中, 另外还采用了多帧率分层训练策略。

CogVideo生成的32帧的4秒剪辑

就技术本质而言, 视频系一帧帧的连续图像, AI文字生成视频可看作是文字生成图像的一种延伸, 大体原理为, 经由文本生成好几个单帧的图像, 而后借助插值算法于几个帧之间绘制图像, 进而生成前后连贯的视频。

早些时候, Disco Diffusion走红之际, 便存在玩家借助其动画模式, 去生成2D或者3D视频, 基于此, 又有一些, 使用门槛转而更低、创作变得更为简便的, AI能生成视频的应用得以延伸出来标点符号。

就比如说那个名为“Kaiber”的AI视频网站, 当用户把图像输入进去, 或者输入文本描述, 亦或是从预设选项里挑选几个词, 这样做之后, 便能迅猛地生成4种视频结果。

图源Kaiber

近期, , 有一支称为美国流行摇滚乐队Linkin Park发布的新MV, , 它的名字叫做《Lost》, , 此MV就是由Kaiber为其制作的动画。

图源《Lost》

然而, 直至当下, 用于跨模态生成视频的AI模型, 依旧处于探索的时期, 谷歌、Meta等大型企业, 在去年的时候, 均发布了与之相关的研究论文, 不过仅有演示的案例, 具体的产品, 尚未上线。

根据Meta官网所做的介绍, “Make - A - Video”让文本到视频模型的训练速度得以加快, 其不需要从最开始就去学习视觉和多模态表示, 并且也不需要成对的文本 - 视频数据, 然而却能够达成丰富多样的文字生成视频, 还有图像生成视频（能使单个图像或者两个图像之间产生动态效果）, 以及对原始视频的风格予以改变。

图源Make-A-Video

谷歌所发布的那个“Imagen Video”能够实现近似于上述这些这般的效果, 而且除此之外, “Phenaki”它居然可以依靠就一整套提示去生出长达两分多种以上的长视频啦。

太空行走的烟花

使用的提示：

宇航员穿过火星上的水坑的侧视图

宇航员在火星上跳舞 宇航员

在火星上遛狗

宇航员和他的狗看烟花

图源Phenaki

人工智能公司Runway, 曾参与构建首个版本的Stable Diffusion, 最近, 他们发布了一个新的视频生成器“Gen-1”, 即将开放内测, 宣称能够将视频转换成任意风格。

图源Gen-1

按照Gen - 1官方网站的演示情况来看, 当用户给予一张用作参考的图片时, 便能够针对原视频开展指定风格样式的渲染工作, 此外, 也能够凭借文字给出的指示来对视频里的部分素材进行修改, 甚至, 除此之外, 还能够输出3D模型的渲染以及定制化的视频, 这还不算完。

图源Gen-1

近期在AI生成3D短视频领域, 国内的深氧科技完成了千万元级天使轮融资。它引入了GPT3.5、Transformer、Diffusion Model等AI技术红利。其发布的O3.xyz引擎V1.0版本, 支持一站式生成3D短视频内容。百万粉博主“特效卡卡西”等创作者, 已加入内测。

图源O3.xyz

可以看出, 跨模态AI生成视频正处于加速发展的进程里, 存在“用嘴做视频”这种情况, 在未来, 于短视频、影视、设计、游戏、电商等众多行业, 均有存在应用的可能性。

回转到开始提及的“D-ID”, 生成数字人, 这属于图像生成视频里的一种类型, 虚拟分身同样是如此, 这类工具当前在企业培训方面应用案例较多, 在营销方面应用案例同样较多。

2020年所推出的AI视频创作产品“Synthesia”, 表明已有数千家公司在运用, 用户能够从现有的演员库当中进行选择, 或者上传自身的视频, 以此来创建AI形象, 接着输入脚本, 再让AI进行配音、拼接素材, 如此便能够输出视频了。

图源Synthesia

通过训练神经网络来达成逼真合成效果的Synthesia, 相比传统视频制作, 减少了真人出镜录制等环节, 能节省制作费用和周期, 它还能一键生成多国语言的视频, 便于本土化服务, 所以企业多用于大规模生成员工培训、产品入门演示、市场营销等视频。

D-ID早就起始于更为早些时候就着手开展图像处理技术的研发工作, 曾经跟MyHeritage联合推行“深度怀旧”计划从而声名远扬, 凭借AI工具, 用户能够使已故亲人留存的静态照片转变成活灵活现的动态视频。

近些日子, 借着GPT涌起的热潮, 由多种AI工具组合打造而成的视频, 被更多的人瞧见了, D-ID的体验门槛相对较低, 哪怕是不懂得视频创作的新手, 只要上传一张图片, 在几分钟之内, 便能够生成带有 人物解说的视频。

图源D-ID

为人物添加一系列面部动作的是D-ID, 它会对一些轻微的头部运动进行模拟, 然而偶尔表情呈现出些许怪异, 过于逼真的照片有可能致使人们生出“恐怖谷”反应。

同时, 用户不能够上传牵涉到政治、性、犯罪、名人、歧视性图像, 一旦如此D-ID会给出违规风险提示。这表明AI生成视频技术如同其他生成内容那般会遭遇版权、伦理等问题。

下一波AIGC浪潮快手生成视频工具，我们如何应对

去年, Stability AI那担任CTO职位的Tom Mason作出了这样的判断, 在文字生成图像之后, 接下来的那一波浪潮必然会是视频, 以及音频, 还有3D。

AI能够写文章, AI能够画画, AI能够做视频, 试图将大部分创作任务都包揽下来, 在这种情况下, 人类接下来该做些什么呢?

这会儿仅说说我的思索, 其一技术人员能够持续去展开以及完备 AI 模型。于 TikTok 的官方网站之上, 已然挂在了 AIGC 方向机器学习工程师的招聘需要。

图源TikTok Career

TikTok宣称, “AIGC近代成就让确信能将AIGC技术运用于商业用途, 特别是创意打造。想想AI生成或辅助设计的广告创意脚本, 甚至是AI生成的商业图片与视频, 它们会永远变革演艺创作领域。”。

当下这些AI视频模型, 还没办法特别迅速地生成如同AI绘图那般具备高质量的作品, 像是有着视频模糊的状况, 有着动作不自然的情形, 有着缺少细节等方面的问题。然而, 伴随国内AIGC的技术不断发展, 相关场景应用生态或许会拥有很大的想象空间, 包含上文所提及的一些AI技术公司, 目前已然开始提供付费服务了, 是为个人以及企业能有针对性地提升内容生产效率。

对内容创作者来讲, 相较于忧心是否会被AI替代, 不如去学习了解及运用AI工具, 使AI去做重复性的繁杂工作, 把更多时间投入自身核心优势方面, 进而产出更高质量的内容。

毋庸置疑, 由于AI的加入, 内容竞争会进一步激烈起来。有创作者表示, 在D-ID出现之后, “所有那种念稿形式、新闻播报样式的仅仅是搬运性质的视频都会遭受极大的冲击”。

以用户的视角来看, 我觉得只要是具备高质量的内容, 退一步说倘若那是借助AI进行批量产出的又有什么关系呢? 实际上我们所忧心的是低质量内容毫无节制地四处充斥。

平台需避免 AI 被滥用这样的情况, 比如生成虚假、仇恨、歧视或有害的内容, 甚至由此引发诈骗等犯罪行为, 用户同样也得避免。谷歌曾提到出于安全和伦理方面的考虑, 在 Imagen Video 的内部试验里应用了输入文本提示过滤以及输出视频内容过滤, 不过目前依旧存在重要的相关风险, 暂时不会发布两个视频生成模型的代码或者 Demo。

总之, AI技术在一方面, 极大程度地削弱了从文本至视频内容创作之事所能存在的门槛, 而在另一方面, AIGC也促使着内容行业迎来革新, 当下至少能够达成一定水准的降本增效, 然而在发展初期阶段, 尚未构建起全新的规则以及秩序, 可最终究竟会怎样去改变该行业, 这还得取决于人的作用。