PIA

PIA是一种个性化的图像动画方法，通过文本到图像模型中的即插即用模块实现个性化图像动画师，可以生成具有高运动可控性和强文本和图像对齐性的视频，与各种个性化T2I模型兼容，无需特定调整。

所提出的 PIA 根据不同的文本提示以逼真的动作对其进行动画处理，同时保留独具特色的风格和高保真细节，做到外观与运动的完美平衡，减轻外观相关图像对齐挑战，专注于与运动相关的指导对齐。

PIA项目地址：https://pi-animator.github.io/

个性化文本到图像 （T2I） 模型的最新进展彻底改变了内容创作，使非专业人士能够生成具有独特风格的惊人图像。虽然很有前途，但通过文本将逼真的动作添加到这些个性化图像中，在保留独特的风格、高保真细节和通过文本实现运动可控性方面带来了重大挑战。

在本文中，我们介绍了 PIA，这是一款个性化图像动画器，它擅长与条件图像对齐，通过文本实现运动可控性，以及与各种个性化 T2I 模型的兼容性，而无需进行特定调整。为了实现这些目标，PIA 基于具有训练有素的时间对齐层的基础 T2I 模型构建，允许将任何个性化 T2I 模型无缝转换为图像动画模型。

PIA 的一个关键组件是条件模块的引入，该模块利用条件帧和帧间亲和力作为输入，在亲和力提示的指导下传输外观信息，以便在潜在空间中进行单个帧合成。这种设计减轻了内部与外观相关的图像对齐的挑战，并允许更专注于与运动相关的引导对齐。

PIA实现方式：

• 时间对齐层基础T2I模型：训练有素，将个性化T2I模型转换为图像动画模型。

• 条件模块：利用条件帧和帧间关联，通过关联提示在潜在空间传输外观信息，指导帧合成。

PIA特点：

• 即插即用，根据文本提示实现动画处理。

• 保留原始风格，高保真度细节不失真。

PIA由上海人工智能实验室贡献。