香港大学和阿里巴巴集团的AI研究揭示了“LivePhoto”：文本控制的视频动画和动作强度定制的重大突破

香港大学と阿里巴巴グループのAI研究が「LivePhoto」を明らかに：テキスト制御されたビデオアニメーションとパフォーマンスの強さのカスタマイズにおける重大なブレークスルー

香港大学、阿里巴巴集团、蚂蚁集团的研究人员开发了LivePhoto，以解决当前文本到视频生成研究中对时间运动的忽视问题。LivePhoto使用户能够通过文本描述来给图像添加动画效果，同时减少文本到动画映射中的歧义。

该研究通过提出LivePhoto，一个实用的系统，解决了现有图像动画方法的局限性，使用户能够通过文本描述来给图像添加动画效果。与之前依赖于视频或特定类别的作品不同，LivePhoto使用文本作为生成通用领域定制视频的灵活控制方法。文本到视频生成领域已经得到发展，近期的方法利用了预训练的文本到图像模型，并引入了时间层。LivePhoto通过允许用户通过文本控制运动强度，提供了一个多功能和可定制的文本驱动图像动画框架，适用于各种领域。

LivePhoto是一个允许用户通过文本描述来给图像添加动画效果的系统。通过LivePhoto，用户可以对运动强度进行精确控制，轻松将与运动相关的文本指令解码为视频。这个高度灵活和可定制的系统允许用户从文本指令生成多样化内容。LivePhoto对文本驱动图像动画做出了宝贵的贡献。

• AI研究でα-CLIPが公開されました ターゲテッドアテンションと強化された制御によるマルチモーダル画像分析の向上
• MITとETH Zurichの研究者たちが、動的なセパレータの選択を通じて、拡張された混合整数線形計画法（MILP）の解決を目的とした機械学習技術を開発しました
• AI2とワシントン大学の研究者が、LLMsの表面的な性質を明らかにし、チューニングフリーの新しい方法であるURIALを紹介した

该系统包括运动模块、运动强度估计模块和文本重新加权模块，用于有效的文本到动画映射，解决了文本到视频生成中的挑战。利用稳定扩散模型引入额外的模块和层以进行运动控制和文本引导的视频生成。LivePhoto利用内容编码、交叉注意力和噪音逆向进行引导，便于根据文本指令生成定制视频，并保留整体特征。

LivePhoto在将与运动相关的文本指令解码为视频方面表现出色，展示了它通过文本描述来控制时间运动的能力。LivePhoto为用户提供了一个额外的控制信号，用于自定义运动强度，在给图像添加文本描述时提供了灵活性。该系统以稳定扩散为基本模型，通过模块和层的增强实现了有效的文本到视频生成和运动控制。

总而言之，LivePhoto是一个实用而灵活的系统，使用户能够通过定制的运动控制和文本描述创建带有动画效果的图像。它的运动模块用于时间建模和强度估计，将文本指令解码为多样化的视频，使其在不同的动作、相机移动和内容方面具有高效性。其广泛的应用使其成为基于文本指令创建动画图像的有用工具。

为了改进LivePhoto的性能，探索更高的分辨率和像素密度模型（如SD-XL）可能会显著提高整体表现。解决文本中关于运动速度和强度描述的问题可以提高与运动的一致性对齐。利用超分辨网络作为后处理可能会提高视频的平滑度和分辨率。提高训练数据质量可以增强生成的视频中的图像一致性。未来的工作可以完善训练流程并优化运动强度估计模块。研究LivePhoto在各种应用和领域中的潜力是未来研究的一个有前景的方向。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!