ComfyUI插件：IPAdapter_plus(新版)节点

ComfyUI插件：IPAdapter_plus(新版)节点

前言：

学习ComfyUI是一场持久战，而IPAdapter_plus是常用且便捷有效的风格迁移模型，可以通过提供参考图像去进行图像的生成，比如风格迁移，风格融合，人物脸部模拟等各种工作，请大家重点关注本篇内容，深刻理解节点用法！！祝大家学习顺利，早日成为ComfyUI的高手！

目录

一、IPAdapter Advanced/ IPAdapter/ IPAdapter Batch (Adv.)节点

二、IPAdapter Unified Loader FaceID/ IPAdapter Unified Loader/ IPAdapter Unified Loader Community节点

三、IPAdapter FaceID/ IPAdapter FaceID Batch节点

四、IPAdapter Tiled/ IPAdapter Tiled Batch节点

五、IPAdapter Embeds/ IPAdapter Combine Embeds/ IPAdapter Encoder节点

六、IPAdapter Noise/ Prep Image For ClipVision节点

七、“参考人物换装更换”示例工作流

一、IPAdapter Advanced/ IPAdapter/ IPAdapter Batch (Adv.)节点

这三个节点用来将IPAdapter模型的效果注入到大模型中去引导扩散。

输入：

model → 模型

ipadapter → IP适配器

image → 图像

image_negative → 负图像

attn_mask → 注意力掩码

clip_vision → CLIP视觉

参数：

weight → 权重

weight_type → 权重类型

combine_embeds → 合并嵌入 可选项为concat、add、subtract、average、norm average

start_at → 起始位置

end_at → 结束位置

embeds_scaling → 嵌入缩放；默认为'V only'，可选项为'V only'、'K+V'、'K+V w/ C penalty'、'K+mean(V) w/ C penalty'

'V only'：仅对视觉嵌入（V）进行缩放操作，保持其他嵌入不变。

'K+V'：对键（K）和视觉嵌入（V）进行缩放操作，保持其他嵌入不变。

'K+V w/ C penalty'：对键（K）和视觉嵌入（V）进行缩放操作，并在缩放过程中对C惩罚，保持其他嵌入不变。

'K+mean(V) w/ C penalty'：对键（K）和视觉嵌入（V）进行缩放操作，但是在缩放视觉嵌入时使用均值进行，同时对C进行惩罚，保持其他嵌入不变。

输出:

MODEL → 输出嵌入信息之后的模型

示例：如下图所示，使用SDXL的大模型，对weight_type的四种变化方式进行了测试，可以看出权重类型的不同变换方式对最终图像的生成有很大的影响。

示例：如下图所示，对四种不同的嵌入方式进行了一一实验，大家可自行对比择优选择。

功能：

①IPAdapter Advanced 节点提供了更多高级选项和参数，以实现对图像的精细控制。该节点通常用于需要更精确调整和优化图像的情况。主要功能包括：

· 高级图像处理选项：提供一系列高级图像处理算法和参数，可以对图像进行详细的调整和优化。

· 多种滤镜和效果：允许用户应用多种滤镜和效果，以实现特定的图像风格或增强效果。

· 自定义参数：提供更灵活的自定义参数设置，用户可以根据具体需求调整每个处理步骤的参数。

②IPAdapter 节点是基本的图像处理和调整节点，提供了常用的图像处理功能。适用于大多数普通图像处理任务。主要功能包括：

· 基本图像处理功能：如裁剪、调整大小、旋转、颜色调整等。

· 预设滤镜和效果：包含一些常用的滤镜和效果，用户可以快速应用这些预设来调整图像。

· 参数设置：允许用户对基本参数进行调整，以实现所需的图像效果。

③IPAdapter Batch (Adv.) 节点专为处理大量图像而设计，适用于批量处理场景。主要功能包括：

· 批量处理：支持一次处理多张图像，提高处理效率。

· 高级处理选项：提供与IPAdapter Advanced相同的高级选项和参数，确保批量处理时仍然可以进行精细控制。

· 自动化工作流程：支持自动化设置和参数调整，减少手动操作，提高工作效率。

二、IPAdapter Unified Loader FaceID/ IPAdapter Unified Loader/ IPAdapter Unified Loader Community节点

这三个节点是用来自动加载IPAdapter和其对应的CLIP version模型的，不需要自己对应加载。

输入：

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置信息

参数：

preset → 预设的模型配置

lora_strength → LoRA 模型的强度参数

provider → InsightFace 模型的提供程序

输出：

MODEL → 输出选择的模型

ipadapter → IPAdapter 模型的配置信息

示例：如下图所示，给出了IPAdapter Unified Loader FaceID的一般用法，该节点可以自动加载对应的lora，clip version和insightface模型，不需要自己进行指定，同理另外两个节点也可以自行适配不需额外的指定。

功能：

①IPAdapter Unified Loader FaceID 节点专为处理人脸识别和人脸数据加载设计，适用于需要对人脸数据进行统一处理的应用场景。主要功能包括：

· 人脸识别加载：能够从数据集中加载人脸图像，确保图像数据格式一致。

· 特征提取：提取人脸特征用于进一步处理或分析。

· 人脸对齐：自动对齐人脸图像，以便后续处理步骤中更容易处理。

②IPAdapter Unified Loader 节点是一个通用的图像数据加载节点，适用于需要统一处理和格式化图像数据的场景。主要功能包括：

· 统一数据加载：从各种来源加载图像数据，并将其格式化为统一的数据格式。

· 基本预处理：包括图像裁剪、调整大小、颜色调整等基本预处理功能。

· 数据规范化：确保所有加载的图像数据都符合统一的规范和标准，方便后续处理。

③IPAdapter Unified Loader Community 节点专为社区数据集设计，适用于加载和处理来自社区的数据集。主要功能包括：

· 社区数据集支持：支持从各种社区来源加载图像数据，例如开源数据集、公共数据集等。

· 数据整合：将来自不同社区的数据集整合为统一格式，便于统一处理。

· 社区特定预处理：提供针对社区数据集的特定预处理选项，确保处理流程优化。

三、IPAdapter FaceID/ IPAdapter FaceID Batch节点

这两个节点是用来识别人物的脸部，然后控制生成的图像跟参考图像的脸部相似，Batch节点可以批量的输入参考图像。

输入：

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置

image → 图像输入

image_negative → 负图像输入

attn_mask → 注意力掩码

clip_vision → CLIP 视觉模型

insightface → InsightFace 模型

参数：

weight → 权重参数

weight_faceidv2 → FaceIDv2 权重参数

weight_type → 权重类型

combine_embeds → 嵌入组合方式

start_at → 起始位置

end_at → 结束位置

embeds_scaling → 嵌入缩放方式

输出：

MODEL → 输出选择的模型

示例：使用faceID之前，对图片要进行预处理，处理成为224*224的正方形才能提供给视觉编码模型，如果在原始图像中画蒙版，那么蒙版区域与处理后的图像并不贴合，所以会导致生成的图像并不像原图。

示例：ipadapter faceID batch节点可以同时批量处理图像

功能：

①IPAdapter FaceID 节点专为单张人脸图像的处理和识别设计，适用于需要对单个人脸图像进行识别和处理的场景。主要功能包括：

· 人脸检测：识别人脸图像中的面部区域。

· 特征提取：从人脸图像中提取独特的面部特征用于识别。

· 匹配和识别：将提取的面部特征与已有数据库中的特征进行匹配，以识别身份或验证身份。

· 图像预处理：包括图像裁剪、调整大小、对齐和颜色调整等基本预处理操作。

②IPAdapter FaceID Batch 节点专为批量处理人脸图像设计，适用于需要一次处理多张人脸图像的场景。主要功能包括：

· 批量处理：支持一次处理多个图像，极大提高了处理效率。

· 人脸检测和特征提取：与IPAdapter FaceID相同，进行人脸检测和特征提取，但能够同时处理多个图像。

· 批量匹配和识别：对多个图像中的人脸特征进行匹配和识别，适用于大规模人脸识别任务。

· 自动化处理：提供自动化处理选项，减少手动操作，适用于需要高效处理大量人脸图像的场景。

四、IPAdapter Tiled/ IPAdapter Tiled Batch节点

这两个节点可以输入非正方形的图像，然后对整体分块进行参考，让最终生成的图像参考原图的全部信息。

输入：

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置

image → 图像输入

image_negative → 负图像输入

attn_mask → 注意力掩码

clip_vision → CLIP 视觉模型

参数：

weight → 权重参数

weight_type → 权重类型

combine_embeds → 嵌入组合方式

start_at → 起始位置

end_at → 结束位置

sharpening → 锐化程度

embeds_scaling → 嵌入缩放方式

输出：

MODEL → 输出最终的模型信息

mask → 如果输入有蒙版，会输出分块后的蒙版信息

tiles → 输出分块的结果

示例：

示例：如下图所示，在原图中绘制蒙版，然后将蒙版传入Tiled节点之后，节点会对蒙版也进行相应的裁剪和原始图像一一对应，最终生成的图像只参考蒙版区域进行模仿。

功能：

①IPAdapter Tiled节点用于处理单张大分辨率图像，通过将图像分成多个较小的块进行处理。主要功能包括：

· 图像分块：将大分辨率图像分成多个小块，以便更高效地处理和分析。

· 分块处理：对每个图像块单独进行处理，例如滤镜应用、特征提取等。

· 重组图像：处理完成后将各个图像块重新组合，恢复为完整的图像。

· 处理优化：通过分块处理减少内存消耗和处理时间，适用于处理高分辨率图像或复杂图像处理任务。

②IPAdapter Tiled Batch节点用于批量处理多个分块的图像，适用于需要一次处理多张大分辨率图像的场景。主要功能包括：

· 批量图像分块：支持一次将多张图像分成多个小块进行处理。

· 批量分块处理：对每个图像块进行批量处理，适用于大规模图像处理任务。

· 批量重组图像：处理完成后将多个图像的块重新组合，恢复为完整的图像。

· 高效处理：通过批量和分块处理，显著提高处理效率和资源利用率，适用于需要处理大量高分辨率图像的应用场景。

五、IPAdapter Embeds/ IPAdapter Combine Embeds/ IPAdapter Encoder节点

这三个节点组合使用，分别是对原始图像进行编码处理，合并编码后的结果，编码结果来影响模型的扩散。

输入：

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置

pos_embed → 正向嵌入

neg_embed → 负向嵌入

image → 图像输入

attn_mask → 注意力掩码

clip_vision → CLIP 视觉模型

embedx → 嵌入的条件信息

参数：

weight → 权重参数

weight_type → 权重类型

combine_embeds → 嵌入组合方式

start_at → 起始位置

end_at → 结束位置

输出：

MODEL → 输出最终的模型信息

embed → 嵌入编码信息

示例：

功能：

①IPAdapter Embeds节点用于从图像中提取特征嵌入，生成用于后续处理或分析的特征向量。主要功能包括：

· 特征提取：从输入图像中提取重要特征，生成特征向量（嵌入）。

· 图像表示：将图像数据转换为低维度的特征向量，以便于后续的处理和分析。

· 多种模型支持：支持使用不同的预训练模型来提取特征嵌入，适用于各种图像处理任务。

②IPAdapter Combine Embeds节点用于将多个特征嵌入进行组合，生成一个新的综合特征嵌入。主要功能包括：

· 特征组合：将多个输入的特征嵌入进行融合，生成一个综合的特征向量。

· 多种组合方法：支持多种特征组合方法，如加权平均、拼接等，适应不同的处理需求。

· 增强特征表示：通过组合多个特征嵌入，提高特征表示的丰富性和鲁棒性，适用于复杂图像分析任务。

③IPAdapter Encoder节点用于对图像进行编码，将图像数据转换为特征嵌入。主要功能包括：

· 图像编码：将输入图像通过编码器模型，转换为特征嵌入。

· 模型训练支持：支持使用预训练模型或自定义训练的编码器模型进行编码。

· 特征表示优化：通过编码过程，优化图像特征的表示，便于后续处理或分析。

六、IPAdapter Noise/ Prep Image For ClipVision节点

这两个节点，一个是用来将原图加上噪声，并可以设置一定的控制方法，比如shuffle，第二个节点是将原始图像进行裁剪去生成适合视觉编码的图像。

输入：图像信息

参数：

type → 噪声类型

strength → 强度

blur → 模糊程度

interpolation → 插值方式

crop_position → 裁剪位置

sharpening → 锐化程度

输出：处理后的图像信息

示例：

功能：

①IPAdapter Noise 节点用于添加或处理图像中的噪声，常用于数据增强或图像处理的特定需求。主要功能包括：

· 添加噪声：在图像中添加随机噪声，以增强数据的多样性，通常用于训练深度学习模型时的数据增强。

· 噪声类型：支持多种噪声类型，如高斯噪声、椒盐噪声等，用户可以根据需要选择合适的噪声类型。

· 噪声强度：允许用户调整噪声的强度，以控制添加噪声的量级和影响。

②Prep Image For ClipVision 节点用于将图像数据预处理为适合ClipVision模型输入的格式和规范。主要功能包括：

· 图像调整：调整图像的尺寸和分辨率，使其符合ClipVision模型的输入要求。

· 图像归一化：对图像数据进行归一化处理，以匹配ClipVision模型的输入规范，通常包括将像素值缩放到特定范围（如0-1或-1到1）。

· 颜色处理：调整图像的颜色通道顺序或进行颜色归一化，以确保输入图像与ClipVision模型的训练数据一致。

七、“参考人物换装更换”示例工作流

熟练使用以上节点，你就可以搭建“参考人物换装更换”的工作流了。

该工作流输入两张图像，一张原始人物图像用来参考脸部和发型，一张一幅图像，用来作为衣服参考，衣服参考图像通过segment anything节点去抠图生成衣服对应的蒙版然后进行embed，人物直接进行embed，人物图像会加入噪声编码后去作为neg embed，然后去控制采样器出图，最终结果如下：

**孜孜以求，方能超越自我。坚持不懈，乃是成功关键。**