一、AI 视频生成模型(本地部署,告别 API)
•「HunyuanVideo 1.5」:腾讯出品当前最强,8.3B 参数对标 Sora,RTX 4090 即可跑起! •「Wan2.1(万象)」:阿里力作,中文场景最友好,自然语言理解极佳。 •「CogVideoX」:清华 5B 参数模型,支持 LoRA 微调,ComfyUI 生态最完整。 •「LTX-Video」:Lightricks 出品,生成速度接近实时,16GB 显存福音! •「Open-Sora 2.0」:11B 参数,自带 from 数据清洗到生成的完整训练 Pipeline。 •「Mochi 1」:完全 Apache 2.0 开源,物理运动感最真实,商用无限制。 •「Stable Video Diffusion」:图生视频鼻祖,社区资源与插件极其丰富。
二、在线视频编辑器(纯浏览器运行,无需安装)
•「OpenCut」:开源 CapCut 替代品,React + WebCodecs 驱动,隐私优先最成熟。 •「OpenReel Video」:功能堪比达芬奇,支持 AI 字幕、专业调色与 3D 变换。 •「OpenVideo」:基于 React + PixiJS 的 CapCut/Canva 克隆版,客户端渲染。 •「Twick SDK」:React 组件库,自带 AI 字幕,最适合嵌入自家产品。 •「Omniclip 2.0」:最轻量的浏览器编辑器,适合二次开发。 •「Vue Video Editor」:Vue 3 技术栈首选,支持多轨时间线。 •「桌面端老牌推荐」:Kdenlive、Shotcut、OpenShot
三、短视频自动化 Pipeline(输入文本,输出成片)
•「MoneyPrinterTurbo」:中文生态首选,全自动生成配音字幕素材,一键运行。 •「CineOverview」:AI 插画 + TTS 生成竖屏 Video Essay,Hook-first 结构极佳。 •「Bilive」:B 站专属神器,自动录制切片、弹幕渲染并自动投稿。 •「AutoClipper」:YouTube/Twitch 高光检测自动裁剪,Whisper 字幕加持。 •「ViMax」:港大出品 Agentic 流程,LLM 驱动导演编剧制片一体化。
四、视频分析 · 高光检测(AI 帮你找精彩片段)
•「Lighthouse」:LINE 出品顶会论文,支持文本查询找高光,学术界最前沿。 •「HL-CLIP」:基于 CLIP 的零样本视频高光检测,无需标注数据。 •「UVCOM」:时刻检索与高光检测的 SOTA 统一框架。 •「VideoCutterAI」:最易部署的轻量 Web 工具,AI 自动找高光生成短片。 •「pyannote-video」:人脸追踪与说话人识别利器,自动重构画面。
五、视频基础处理工具(Pipeline 的底层基石)
•「FFmpeg」:万物基础,世界上最重要的开源视频处理软件。 •「Remotion」:用 React 组件写视频,程序化生成动态数据视频首选。 •「MoviePy」:Python 视频编辑库,脚本化处理与快速原型利器。 •「Whisper / faster-whisper」:OpenAI 最强开源语音识别,中文极准。 •「AutoFlip」:Google 出品,智能追踪主体,横屏自动转竖屏。 •「react-timeline-editor」:纯时间线 UI 组件,搭建自定义编辑器必备。
六、数字人 · 口型同步(让照片开口说话)
•「MuseTalk」:腾讯音乐出品,实时口型同步,本地离线运行质量极高。 •「SadTalker」:单张照片 + 音频生成说话视频,头部运动自然。 •「Wav2Lip」:经典口型同步模型,任意视频换口型,社区生态丰富。
七、AI 短剧 · 漫剧生成(流水线批量生产)
•「BigBanana AI Director」:工业级最强,精准控制角色一致性与场景连续性。 •「Toonflow」:小说到视频全流程,适合百集推文号流水线作业。 •「LocalMiniDrama」:完全本地部署,数据不出本机,隐私敏感场景首选。 •「ai_story」:视频/动漫/短剧/漫剧四合一自动化生成工具。 •「story-flicks」:最轻量的一键生成高清故事短视频工具。 •「ai-shotlive」:整合四大项目精华的全流程短剧生成器。 •「Komiko」:AI 漫画/韩漫/日漫生成,多风格分格页面。 •「分发平台」:国内选 MettShort,出海选 MettShortOverseas
总结
•追求极致画质选 HunyuanVideo•要速度选 LTX-Video•做在线剪辑看 OpenCut•搞自动化短视频首选 MoneyPrinterTurbo•工业级短剧认准 BigBanana AI Director
回复