Skip to content

Paddle Multimodal Integration and eXploration, supporting mainstream multi-modal tasks, including end-to-end large-scale multi-modal pretrain models and diffusion model toolbox. Equipped with high performance and flexibility.

License

Notifications You must be signed in to change notification settings

Tsaiyue/PaddleMIX

 
 

Repository files navigation



English Document

简介

PaddleMIX是基于飞桨的跨模态大模型开发套件,聚合图像、文本、视频等多种模态,覆盖视觉语言预训练,文生图,文生视频等丰富的跨模态任务。提供开箱即用的开发体验,同时满足开发者灵活定制需求,探索通用人工智能。

最新进展

2024.04.17 发布 PPDiffusers v0.24.0

  • PPDiffusers发布 v0.24.0 版本,支持DiT等Sora相关技术,支持SVD等多款视频生成模型

2023.10.7 发布 PaddleMIX v1.0

  • 新增图文预训练模型分布式训练能力,BLIP-2支持千亿规模训练
  • 新增跨模态应用流水线AppFlow,一键支持自动标注,图像编辑,音生图等11种跨模态应用
  • PPDiffusers发布 0.19.3 版本,新增SDXL及相关任务

2023.7.31 发布 PaddleMIX v0.1

  • 首次发布PaddleMIX跨模态大模型开发套件,融合PPDiffusers多模态扩散模型工具箱,广泛支持PaddleNLP大语言模型
  • 新增EVA-CLIP,BLIP-2,miniGPT-4,Stable Diffusion,ControlNet等12个跨模态大模型

主要特性

  • 丰富的多模态功能: 覆盖图文预训练,文生图,跨模态视觉任务,实现图像编辑、图像描述、数据标注等多样功能
  • 简洁的开发体验: 模型统一开发接口,高效实现自定义模型开发和功能实现
  • 高效的训推流程: 全量模型打通训练推理一站式开发流程,BLIP-2,Stable Diffusion等重点模型训推性能业界领先
  • 超大规模训练支持: 可训练千亿规模图文预训练模型,百亿规模文生图底座模型

任务展示

  • 视频Demo展示(video Demo)
PaddleMix.mp4

安装

  1. 环境依赖
pip install -r requirements.txt

关于PaddlePaddle安装的详细教程请查看Installation

注:ppdiffusers部分模型需要依赖 CUDA 11.2 及以上版本,如果本地机器不符合要求,建议前往 AI Studio 进行模型训练、推理任务。

如果希望使用bf16训练推理,请使用支持bf16的GPU,如A100。

  1. 手动安装
git clone https://github.com/PaddlePaddle/PaddleMIX
cd PaddleMIX
pip install -e .

#ppdiffusers 安装
cd ppdiffusers
pip install -e .

教程

特色应用

  1. 艺术风格二维码模型
  1. Mix叠图
  1. ComfyUI创作工作流

模型库

多模态预训练 扩散类模型
  • 图文预训练
  • 开放世界视觉模型
  • 更多模态预训练模型
  • 文生图
  • 文生视频
  • 音频生成
  • 更多模型能力,可参考模型能力矩阵

    许可证书

    本项目的发布受Apache 2.0 license许可认证。

    About

    Paddle Multimodal Integration and eXploration, supporting mainstream multi-modal tasks, including end-to-end large-scale multi-modal pretrain models and diffusion model toolbox. Equipped with high performance and flexibility.

    Resources

    License

    Stars

    Watchers

    Forks

    Releases

    No releases published

    Packages

    No packages published

    Languages

    • Python 98.1%
    • Other 1.9%