如果你已经在用 Stable Diffusion 出静态图,却卡在「画面动起来就崩」这一步,这门课解决的正是这个断层。它不讲 AI 绘画的入门操作,默认你已经能跑通 WebUI、能看懂采样器和步数,重点放在动画视频这条链路上:让画面在时间轴上保持稳定,让角色动作受控,让镜头能按你的意图走。

先确认你缺的是哪一块

AI 动画视频的坑很少出在「模型不够好」,多数情况是三个环节没接上:

  • 帧与帧之间没有约束,单帧看着都不错,连起来就抖、就闪、就变形;
  • 动作只靠提示词描述,模型理解不到位,手脚、视线、身体朝向全凭运气;
  • 有了参考图或参考视频,却不知道怎么把结构信息喂进生成过程,只能一遍遍抽卡。

这门课的内容组织基本是沿着这三条线展开的。它用到 ControlNet 系列里偏结构控制的那几类模型——深度、分割、OpenPose、IP2P 等,用它们把「构图」「姿态」「线稿转绘」这些条件固定下来,再叠加到视频生成流程里。所以看之前先自查:你是否已经能独立装好扩展、能分辨不同 ControlNet 模型管的是什么。如果还不能,先补这块再来,否则会听得云里雾里。

课程实际在讲什么

从资料构成看,它围绕 sd-webui 环境下的动画生成搭建了一套可复用的工作流。ControlNet 部分不是逐个念参数,而是对应到具体控制需求:深度图管空间层次和镜头纵深,分割图管元素边界不越界,OpenPose 管人物骨架和动作迁移,IP2P 管在保留原图结构的前提下做风格与内容的改写。这几个能力叠起来,才构成「可控动画」的基础。

模型资源随课附带,这一点对自学者是实打实的省事——不用自己去社区里翻版本、比体积、试兼容性。但要注意,拿到模型不等于会用,真正决定成片质量的是控制强度、预处理方式、以及多个 ControlNet 单元之间的权重配比,这些需要在实操里反复调。

配套练习怎么做才有用

建议不要一上来就做完整成片。按下面的顺序练,每一步都能单独验证:

  • 先用单张图加深度控制,确认空间关系能被锁住;
  • 换成一段参考视频抽帧,观察连续帧上的控制是否稳定,重点看边缘和背景有没有跳;
  • 加入姿态控制,让人物动作跟着参考走,检查手部和关节这类容易崩的部位;
  • 最后才把风格、内容改写和多控制叠加,做短片段,逐段拼接。

每完成一步都回看一遍:这一段的瑕疵是控制不足,还是控制过强导致画面僵硬?这个判断力比记住参数值重要得多。

看完应该能回答的问题

  • 面对一段想要的动作,我该选深度、分割还是姿态作为主控制,依据是什么?
  • 画面闪烁和画面僵硬,分别对应哪类参数调整方向?
  • 多个 ControlNet 同时开启时,怎么判断是哪个在起主导作用?
  • 参考图和参考视频作为输入,工作流上有什么本质差别?
  • 哪些镜头效果靠控制能实现,哪些必须回到后期处理?

如果这些问题你能在动手之后给出自己的答案,这门课对你就算吃透了。它给的是链路和方法,不是一键成片的按钮——这一点提前说清楚,比事后失望好。

王桂红Vince - 人工智能动画视频系统课程

动画视频生成与AI技术结合

编辑点评

深入探索AI在动画视频领域的应用,模型丰富,实操性强。

⭐ 编辑推荐

王桂红Vince带你领略AI动画视频系统,从理论到实践,全面掌握。

课程亮点

• AI动画视频系统实战
• 丰富模型资源
• 实操性强

课程目录

📁 sd-webui
📁     📁 controlnet
📁         📁 模型
            control_v11e_sd15_ip2p_fp16.safetensors  [689.1 MB]
            control_v11f1p_sd15_depth_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_seg_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_openpose_fp16.safetensors  [689.1 MB]
            control_v11f1e_sd15_tile_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_softedge_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_canny_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_normalbae_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_scribble_fp16.safetensors  [689.1 MB]
            control_v11p_sd15s2_lineart_anime_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_lineart_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_inpaint_fp16.safetensors  [689.1 MB]
            control_v11p_sd15_mlsd_fp16.safetensors  [689.1 MB]
            control_v11e_sd15_shuffle_fp16.safetensors  [689.1 MB]
    sd-webui资料.zip  [1.8 MB]
    sd-webui-aki-v4.7.7z  [6.7 GB]
    svd_xt_1_1.safetensors  [4.5 GB]
    启动器运行依赖-dotnet-6.0.11.exe  [54.6 MB]
📁 comfui安装包
📁     📁 20240121新版安装包-ComfyUI-aki
        20240121新版安装包-ComfyUI-aki说明.zip  [1.8 MB]
        ComfyUI-aki-v1.2.7z  [3.9 GB]
    comfui安装包文档.png  [493.5 KB]
📁 前置软件
    前置软件说明.png  [493.5 KB]
    EbSynth.zip  [16.4 MB]
    ffmpeg-6.0-essentials_build.zip  [81.5 MB]
    ffmpeg(Windows).7z  [47.2 MB]
📁 checkpoints大模型
📁     📁 真人模型
        真人模型必看.png  [493.5 KB]
        rel-majic_nwsj.safetensors  [2.2 GB]
        rel-majicmixRealistic_v7.jpeg  [181.2 KB]
        rel-majicmixRealistic_v7.safetensors  [2.0 GB]
        rel-majic_nwsj.jpeg  [31.0 KB]
📁     📁 sdxl模型
        sdxl模型说明.zip  [1.8 MB]
        gf-SDXL-Ronghua_v30.safetensors  [6.5 GB]
        gf-SDXL-Ronghua_v30.jpeg  [42.8 KB]
📁     📁 SD-官方模型
        SD-官方模型资料.zip  [1.8 MB]
        svd_xt.png  [289.0 KB]
        sd_xl_turbo_1.0_fp16.safetensors  [6.5 GB]
        svd_xt.safetensors  [8.9 GB]
        sd_xl_turbo_1.0_fp16.png  [2.2 MB]
📁     📁 国风模型
        国风模型资料.zip  [1.8 MB]
        sdxl-CounterfeitXL-V1.0.safetensors  [6.5 GB]
        sdxl-fenrisxl_V164fp16.safetensors  [6.6 GB]
        sdxl-realvisxlV20_v20Bakedvae.safetensors  [6.5 GB]
        gf-majicmixSombre_v20.jpeg  [47.4 KB]
        sd_xl_base_1.0.safetensors  [6.5 GB]
        sdxl-CounterfeitXL-V1.0.png  [3.4 MB]
        sd_xl_refiner_1.0.png  [5.1 MB]
        sd_xl_refiner_1.0.safetensors  [5.7 GB]
        sdxl-fenrisxl_V164fp16.png  [3.6 MB]
        sd_xl_base_1.0.safetensors.jpeg  [145.0 KB]
        gf-majicmixSombre_v20.safetensors  [2.0 GB]
📁     📁 二次元模型
        ton-ghostmix_v20Bakedvae.jpeg  [334.0 KB]
        ton-majicmixFantasy_v20.safetensors  [2.2 GB]
        ton-ghostmix_v20Bakedvae.safetensors  [2.2 GB]
        ton-majicmixFantasy_v20.jpeg  [54.7 KB]
📁 animatediff模型
📁     📁 AnimateLCM
        AnimateLCM说明.png  [493.5 KB]
        AnimateLCM_sd15_t2v_lora.safetensors  [128.4 MB]
        AnimateLCM_sd15_t2v.ckpt  [1.7 GB]
📁     📁 lightning
        animatediff_lightning_4step_comfyui.safetensors  [866.8 MB]
        animatediff_lightning_8step_comfyui.safetensors  [866.8 MB]
    mm_sd_v14.ckpt  [1.6 GB]
    mm_sd_v15_v2.ckpt  [1.7 GB]
    mm-Stabilized_mid.pth  [1.6 GB]
    v3_sd15_mm.ckpt  [1.6 GB]
    模型存放位置.txt  [244.0 B]
    sdxl_v10_beta.ckpt  [906.1 MB]
    sdxl-hotshotxl_mm_v1.pth  [905.4 MB]
    mm_sd_v15.ckpt  [1.6 GB]
📁 工作流
📁     📁 加餐1Lightning
        加餐1Lightning必看.png  [493.5 KB]
        workflow-animatediff-lightning.json  [12.0 KB]
        lightningt2v.json  [60.4 KB]
📁     📁 第九节ipadapter&蒙版
        第九节ipadapter&蒙版说明.png  [493.5 KB]
        ipadapter&mask_L9.json  [34.2 KB]
📁     📁 第五节AnimateLCM
        第五节AnimateLCM文档.zip  [1.8 MB]
        AnimateLCM.json  [15.3 KB]
📁     📁 第四节Prompt Travel
        keyframe_travel.json  [25.5 KB]
        prompt_travel.json  [13.9 KB]
📁     📁 第六节视频转绘_controlnet
        视频转绘_controlnet.json  [71.7 KB]
📁     📁 第八节Steerablemotion
        Steerablemotion_v1.json  [32.2 KB]
📁     📁 第十节dynamicrafter&tooncrafter
        tooncrafter.json  [50.7 KB]
        6月7日.mp4  [648.7 MB]
        dynamicrafter.json  [12.5 KB]
📁     📁 第七节视频转绘_ipadapter
        第七节视频转绘_ipadapter.json  [48.1 KB]
📁 Tooncrafter&dynamicrafter
📁     📁 主模型
        主模型必看.zip  [1.8 MB]
        dynamicrafter_1024_v1_bf16.safetensors  [4.9 GB]
        dynamicrafter_512_interp_v1_bf16.safetensors  [4.9 GB]
        tooncrafter_512_interp-fp16.safetensors  [4.9 GB]
📁     📁 clipversion
        CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors  [2.4 GB]
📁     📁 clip模型
        model.safetensors  [1.3 GB]
📁 CN模型
    v3_sd15_sparsectrl_rgb.ckpt  [1.9 GB]
📁 ipadapter
📁     📁 clip_vision
        clip_vision必看.zip  [1.8 MB]
        CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors  [2.4 GB]
        CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors  [3.4 GB]
📁     📁 loras
        ip-adapter-faceid-plus_sd15_lora.safetensors  [48.7 MB]
        ip-adapter-faceid_sd15_lora.safetensors  [48.7 MB]
📁     📁 ipadapter
        ip-adapter-faceid-plus_sd15.bin  [149.3 MB]
        ip-adapter-plus_sd15.safetensors  [93.6 MB]
        ip-adapter_sd15_light.bin  [42.6 MB]
        ip-adapter-plus_sdxl_vit-h.safetensors  [808.3 MB]
        ip-adapter_sd15.safetensors  [42.6 MB]
        ip-adapter_sd15_vit-G.safetensors  [44.1 MB]
        ip-adapter-faceid_sd15.bin  [92.3 MB]
📁 Deforum设定文档
    20240315120608_settings.txt  [10.0 KB]

适合人群

  • AI爱好者
  • 动画制作人员
  • 视频制作人员

学习收获

掌握AI动画视频制作流程
学习AI模型应用
提升视频制作技能

祝您学习愉快!

学有所成,前程似锦!