把录好的口播交给 AI,逐句配上画面、动效、字幕和音效,拿回能直接发的成片
- GitHub stars
- 8
Install
/plugin install zm@zmcutskillRun it inside Claude Code after adding the marketplace with /plugin marketplace add zmskill/zmcutskill.
Contents
Discovered from sourceSkills 1
zm-talk-visual:口播内容视觉化
用户给口播初剪、文案和素材文件夹,拿回一条能发的、好看的口播成片:说到哪句,就出现哪句的画面和动效,再配上字幕和音效。
已经用三条真实口播走通过全流程(横屏,中文,7 分钟以内)。照着做时哪一步走不通,告诉用户,并按 references/feedback.md 记下来。
开工先读,按这个顺序
- references/koubo-full-film.md:全流程,照这个走。
- references/picture-and-words.md:一句话该不该有画面、配什么。
- shot-library/index/koubo-fit.md:按句子类型查该配哪个镜头。
- references/style.md:样子从哪来的三条路;风格库在 styles/。
- references/sound-library.md(音效)、references/bgm.md(背景音乐)。
- references/feedback.md:用户说好和不好时怎么记、怎么改成规则。
其余文件用到再读:references/koubo-build-workflow.md(人物怎么放、怎么查、盲审)、remotion/README.md、remotion/projects/_koubo-kit/README.md。
适用和不适用
适用:用户有一条已经录好的真人口播,想要画面和说话同步的成片。
不适用:只加字幕或花字;多机位、录屏的粗剪;数字人、配音、声音克隆;只有文案没有录音却要求"精确同步";只要通用 B-roll 或图片轮播。目前只做过横屏,竖屏要先改布局(见 koubo-full-film 第 1.5 步)。
要用户给的东西
口播初剪、文案(没有就按听写来,拿不准的字问用户)、素材文件夹、成片和中间稿放哪个文件夹。另外要问两句:这条的样子从哪来?(① 按内容自己设计;② 从风格库里挑,附推荐和样片;③ 照用户给的参考视频。必须问,没有默认,用户不答就在这一步等,见 references/style.md)这条要不要背景音乐? 要的话,歌由用户自己挑好给过来(skill 不挑歌,见 references/bgm.md)。能从上下文知道的不重复问。
音效库在 skill 里:assets/sfx-library/,用法见 references/sound-library.md。
第一次用:新手入门
不要求用户说固定的词。用户问怎么用、怎么开始,或者提到这个 skill 却还没给材料时(比如"我想用 zm-talk-visual 把一条口播做成成片,怎么开始?"),第一条消息只讲做什么、要什么,不提安装和依赖:
我能把你录好的口播做成成片:说到哪句,就配上哪句的画面、动效、字幕和音效。
先发这些就能开始:
- 口播初剪(横屏,已经剪好气口):告诉我文件在哪个文件夹。
- 这条讲什么,一句话就行。
有的话一起给:文案、截图、录屏、照片;想要背景音乐的话,你挑好的歌。没有文案也行,我按听写来。
你可以直接回:"口播和素材在 ~/Desktop/我的口播,讲的是……"
用户已经给了材料就别再发这段,直接开始。收到材料后再做体检;环境齐了就不提,缺东西时才说。
开工先体检:装在哪、缺什么
这个 skill 要能读写文件、能跑命令的 AI 才能用(Claude 桌面版的 Cowork、Claude Code、Codex 等)。不按 AI 的名字判断,按体检结果判断。只能聊天、跑不了命令的环境,只能帮用户排对照表、做方案,做不出成片,要如实说。
- 跑
python3 scripts/doctor.py。它只查不装:Node、ffmpeg、Python 小包、Remotion 依赖、渲染用的浏览器、听写模型有没有;skill 文件夹是不是挂进来的;几个下载站连不连得上。 - 有的不提、不重装。缺的,一次告诉用户缺哪几样、各多大,问一句"我来装吗",同意后跑
python3 scripts/setup.py(会自动跳过已有的)。单条命令有时长上限的环境里一样一样装:setup.py remotion→setup.py browser→setup.py asr,被打断就再跑同一条。 - 工具是固定的,不换:Remotion(版本锁在
remotion/package-lock.json)和它自带的浏览器、SenseVoice 听写模型、ffmpeg。成片效果是在这套工具上调出来的(理由见references/koubo-full-film.md《为什么用这几样工具》)。不改用 AI 自带的转写、别的浏览器或别的渲染方法。 - 装不上就带用户把路打通:网站被拦、缺 Node.js 这类,照 references/setup-help.md 用大白话一步一步带用户解决,解决后再体检。不假装装好了,也不绕过去。
- 装在哪:不往 skill 文件夹里装东西。
setup.py在工作区(默认~/zm-work/zm-talk-visual,--work可以换)搭一份副本(scripts/workdir.sh),Remotion 依赖、浏览器、片子的素材和代码都放那里;听写模型放~/.cache/zm-talk-visual/asr。成片和中间稿写回用户指定的文件夹。重复跑setup.py remotion会更新工作区里的代码,不动已装的依赖和Root.tsx里登记的片子。
付费生成、写到用户没指定的目录,先问。
几条不能破的
- 时间以真实录音为准:字幕和画面跟着听写出来的逐字时间走,元素在说到它的那一刻出现,结论不早于依据。
- 不编:不编数据、引语、人名、年份、别人的原话。口播里没说的事实不往画面上加;需要文字又不能编的地方用灰条。
- 素材要对得上:用一张截图前,先确认图里的人和事就是这句话说的那个。整张给,只在说到的数字上画圈。
- 先查镜头库再做画面:对照表必须有"镜头库"一栏,排完发给用户确认(见《四个必须等用户回复的点》),在表末写上他的确认,再跑
python3 scripts/check_mapping_table.py <对照表.md>,通过才开始做。 - 参考视频只取道理:不照抄它的画面,不拿它当目标样子,做完不拿它来比。
- 人物:只做整幅等比缩放(满屏 / 缩成窗 / 一排卡里的一张);不裁成大脸,不放大超过原片;不压暗画面,不加半透明黑幕。
- 规则写成"原因 + 要问自己的问题",不写死秒数、位置、次数。
- 好不好看由做的人负责。用户的反应是信号,他不用说清原因。
- 做完觉得哪个现做的镜头或样子特别好,问用户要不要存进他自己的镜头库或风格库;没有就不记。
什么时候停下来问
- 用户还没说这条的样子从哪来(必须问,没有默认)。
- 视频读不了、没有人声;听写和实际说的明显对不上,或者影响意思的字拿不准。
- 口播的数字和素材对不上(先按"字幕跟口播、画面用真素材"做,并告诉用户)。
- 一张素材看不出是谁、哪件事,又要拿它当证据。
- 对照表检查不通过。
- 渲染出来帧数不全、音画不同步、响度异常。
不要用"命令跑过了"当成做好了的证据:看抽帧、量音量、跑盲审。
四个必须等用户回复的点
做到这几步,把东西发给用户,等他回了再往下做。他没回就停在这里:可以先做不依赖它的准备(装依赖、听写、量音乐),但不往后走。
| 停在哪 | 发什么 | 他怎么回算确认 |
|---|---|---|
| ① 对照表排完 | 对照表(每句配什么、用哪个镜头) | 回"可以"或改几处,改完再发一次。确认后在表末写"用户确认:<日期> <他的原话>",check_mapping_table.py 会查这一行 |
| ② 背景音乐(要音乐时) | bgm_prepare.py 出的 15 秒试听 | 回"可以",或"大一点 / 小一点 / 换一段" |
| ③ 听写里拿不准的字 | 一次列全:哪句、听成什么、你猜是什么 | 逐条回;没有文案时尤其要问 |
| ④ 第一段的关键帧 | 第一段代码写好、还没渲染时,抽 8–12 个关键时刻拼成一张图(SUBS=<subs.json> bash projects/_koubo-kit/seg.sh …,每格下面自动标上时间和那一刻说的话) | 回"可以"再渲染这一段、做后面几段;后面每段也发关键帧图,他不用每段都回 |
为什么④发关键帧不发渲染好的片段:对照表只有字,用户第一次看到这条片子的样子就在这里;关键帧几十秒就出,渲染一段要几分钟,样子不对时不白渲染。按内容自己设计的样子,这是用户第一次看到它。
用户说的话分三种,别混:
- 什么都没说:四个点都停。
- 只对某一件事说"你自己定"(比如样子让你设计、歌用哪段你挑):只把那一件交给你,四个点照样停。不要把它当成"全程都不用问"。
- 明确说全程不用问、直接做完(比如"我出门了,你直接做完给我成片"):四个点不停,一路做完。但四样东西照样做出来放进他的文件夹(对照表、配乐试听、拿不准的字的清单、第一段关键帧图),对照表末尾写"用户确认:<日期> 他说全程直接做(原话:……)"。交付时写清:这几样他都没确认过,拿不准的字是怎么猜的,配乐音量是按测量定的、没人听过。
拿不准是第 2 种还是第 3 种,就当第 2 种,停下来问一句。
一个点一条消息:每个停的点单独发一条,只问这一件事。别把方向、改字、装依赖、对照表、试听攒在一条里问;用户回一个"可以"时,你分不清他确认的是哪几件。真的一条里问了好几件、他只回了一个词,就逐条再问一句,不要自己当成全都同意。
交付时说清哪几步是他确认过的、他怎么说的。
交什么
成片 MP4 用 python3 scripts/assemble.py 出(拼画面、压片、响度压到 -16 LUFS、量一遍),放用户指定的文件夹;代码放 remotion/projects/<片子名>/;每段的对照表、全片音效清单放在一起。交片时把 sfx_mix.py 出的音效逐条试听页一起发给用户(不是停的点,他不用回,听到哪条不对告诉你就行)。交的时候说清:哪几段的关键帧图发给他看过;做了什么、放在哪、哪里自己拿了主意、哪里不满意、需要他定什么。
Sponsors
Details
- Marketplace
- zmskill/zmcutskill
- Category
- Community
