· 1 min read · 前端工程

用Remotion把Grok角色做成AI早报动画的完整实践

用 Remotion 将 Grok 风格角色做成 AI 早报动画:确定性时钟、内容与角色分层、参考版式复刻和渲染验证的完整实践。

用Remotion把Grok角色做成AI早报动画的完整实践封面

最近在折腾一条自动化视频管线:让一个仿 Grok 的 blob 小人播报每日 AI 早报。整个流程走下来踩的坑比写的代码还多,值得记录一下。技术栈是 Remotion 4.0 + chrome-headless-shell,渲染跑在一台 4 核 8G 的容器主机上。

核心思路:让动画可复现#

确定性动画管线:master-timeline.json 派生 botTrack,再分别驱动内容层与角色层,最终由 Remotion 渲染。

视频渲染最大的敌人是不确定性。同一个 timeline 渲两次结果不一样,就没法逐帧调试。所以整个架构围绕「确定性」展开:

  1. replica 引擎(window IIFE)负责角色渲染
  2. 确定性时钟:临时 patch performance.now 和 rAF,让每一帧的时间可控
  3. mulberry32 PRNG 替换 Math.random,随机事件也能复现,用完 restore

最终 timeline 走单一事实源模式:master-timeline.json → 派生 botTrack(眼睛事件全部从场景窗口推导)→ 拆成 ContentLayer / BotLayer 两个 React 层。这样内容改了,角色的视线会自动跟着正在念的要点走,不用手工对帧。

踩坑清单(重点)#

这部分是真正的干货,每条都是实际撞出来的:

paused=true 会短路 _tick。 引擎的驱动循环里如果 paused 是 true,tick 直接跳过,你怎么 seek 角色都不动。而且这个坑复发了两次——一次在初始驱动循环,一次在导演层编译之后。最后方案是 tick 前强制 false、tick 后恢复。

确定性时钟构造时要归零。 patch 了 performance.now 但初始值没归零,第一帧的时间偏移会污染整个 timeline。

全局替换 Math.random 会撞 Remotion 的 delayRender handle id。 Remotion 内部也用随机数生成 handle,你把随机源换成固定 seed,handle id 冲突直接报错。解法是 PRNG 只在业务代码里用,不碰全局。

全局 patch rAF 会卡死 setFrame。 Remotion 的 continueRender 在 rAF 里执行,patch 之后整个渲染管线挂起。教训:patch 范围越小越好,用完立刻 restore。

mac 打 tar 包要去 xattrs。 tar 带上 macOS 扩展属性后 scp 到 Linux 解压会静默失败,COPYFILE_DISABLE=1 或 --no-xattrs 保平安。

中文乱码 = 容器缺字体。 渲染机装 fonts-noto-cjk 解决, Otherwise 所有中文字符渲染成豆腐块。

ProRes 透明通道有隐藏参数。 BotOnly 层要输出带 alpha 的视频,--codec=prores --prores-profile=4444 还不够,必须加 --pixel-format=yuva444p10le,缺了它 ap4h 容器里根本没有 alpha。

AbsoluteFill 在无尺寸父容器里会塌缩。 角色定位错乱查了半天,发现是 Remotion 的 AbsoluteFill 依赖父容器尺寸,wrapper 换成普通 div 手动定尺寸就好了。

版式:别自己发明,去抄参考#

下面是项目实际成片的一帧:浅色底、左侧标题与要点、右下角角色和底部字幕。它来自项目中的 ai-briefing.mp4,用于展示真实输出版式。

项目 ai-briefing.mp4 的真实画面帧:新闻标题与要点左对齐,Grok 风格黑色角色位于右下角,底部显示字幕。

第一版样片做成了「白卡片海报」风格,被毙了。原因是和参考视频完全不像。

正确姿势是用 Vision OCR(Swift + VNRecognizeTextRequest,带 boundingBox)把参考视频每一帧的版式结构重建出来。结论挺意外:参考根本不是卡片海报,而是文字直接排底 + 左对齐 bullet 要点列表——标题在 y14%,要点从 y26% 到 y75% 每行一条带 • 前缀的事实,来源标注在右下 y73-78%,角色缩到右下角标级让位,字幕在 y89%。

动效:逐帧 diff 比想象重要#

又翻车一次:卡片滑入动画做得很花哨,但参考视频的要点是逐条瞬间出现——每 2.5-4 秒一条,跟配音节拍走,无位移无弹跳,1-2 帧内出现后完全静止。所有 spring 动画全部删掉,改成按 (tIn + 1.0 + i * span) 均分节拍淡入 4 帧。

灵动感也来自参考逐帧分析,三个要点:

  • 身体永不停歇的漂移:每 2 秒换漂移目标,永远在动
  • 眼睛大幅扫视:dx ±40px
  • 配合内容走位:念到提问时刻走到画面中央

漂移的实现还有个坑:引擎 _tick 每帧会用 pose.tx 覆盖外部设置,事件方案全被冲掉。最后用 CSS transform 双正弦合成(幅度 ±34/22px)做永续确定性漂移,柔影跟随 x 移动,才算过关。

验证自动化#

肉眼检查不可靠,写了几个自动验证:

  • blob 区域帧差分析(确认角色真的在动,眼区帧差 >1500 像素)
  • 眼洞质心(COM)随场景移动的检查
  • OCR 结构对照参考视频

产物#

三个 composition 的职责与组合关系如下。图中是按本文描述绘制的技术示意图,不是源码或软件截图。

Composition 分层示意:AIBriefing 组合 ContentOnly 内容层与 BotOnly 透明角色层,便于各自独立调整后合成。技术示意图。

最终产出三个 composition:

Composition用途产物
AIBriefing合成完整视频ai-briefing.mp4
BotOnly透明角色层briefing-bot-alpha.mov(ProRes 4444,73MB)
ContentOnly纯内容层briefing-content.mp4

分层渲染的意义是角色层可以后期合成,配音换人、版式调整都不用重渲角色。

整个项目最大的体会:做动画管线,七分功夫在可复现性和验证上,三分才是创意。 每一个「看起来很简单」的动效背后,都有一层被 _tick 冲掉的事件、一个缺的 pixel-format、或者一个 xattrs 静默失败等着你。

Comments

Copied
Copied to clipboard