MindIE SD# MindIE SD 是面向昇腾的多模态加速系列套件,配合 diffusers 等模型套件提供昇腾亲和的关键算子和融合算子、编译加速、以存代算、量化/稀疏算法及多卡并行能力,实现对多模态生成模型的快速迁移和昇腾加速,适用于生产级推理工作流。 快速开始 安装指导 Python包安装 镜像安装(vLLM-Omni) 快速开始 模型下载与运行 加速效果展示 加速特性 架构设计 架构目标 架构介绍 目录结构 稀疏 稀疏注意力概述 技术特点 接口说明 量化 Linear量化 FA量化 核心加速API FA 系列 融合算子 Fused MoE 功能概述 接口说明 融合算子路径(预留) 非融合算子路径(当前默认) 编译特性 基本用法 Pattern 融合 ACLGraph 加速 参考示例 多卡并行 Tensor Parallel Ring Sequence Parallel Ulysses Sequence Parallel FA_Power_Cap 技术 CFG Parallel FA_Power_Cap 技术 功能概述 适用场景 流水线示意图 第一步:给 generate.py 增加 comm_type 参数 第二步:让 attention block 能读到 args 第三步:在注意力层读取 comm_type 第四步:实现 comm_type=1 的 insertcomm 第五步:实现 comm_type=2 的 blockattn attnlayer.py 完整修改示例 第六步:在脚本中传入 comm_type 运行示例 验证与排查 收益参考 以存代算 接口说明 DiTCache AttentionCache 时间步优化 CPU 卸载 通用原理 技术特点 接口说明 显存共享 接口说明 动态专家负载均衡 通用原理 技术特点 接口和使用 开发者指南 编译指导 编译说明 编译安装 测试 测试环境说明 测试入口 LA 单算子精度测试 测试编写规范 开发环境设置 文档生成 开发镜像构建 Lint 与提交前检查 仓库结构 顶层目录 mindiesd/ 关键模块 tests/ 测试架构 docs/ 文档架构 关键配置文件 Pattern 开发指南 开发流程 阶段一:模型分析 阶段二:创建 Pattern 阶段三:三段注册 阶段四:单元验证 阶段五:集成验证 性能分析 Profiling 采集 Profiling 数据分析 特性性能说明 附录 模型/框架支持介绍 模型支持情况 vLLM Omni 特性&模型性能 Cache DiT + diffusers 特性&模型性能 魔乐社区的特性叠加&模型性能 日志参考 使用说明 日志简介 查看日志 其他 错误码参考