如今深度学习领域有一个比较热门的领域叫做：多模态。多模态这个词整得比较玄学，但是其实主要思想就是将文本，图像，语音等不同类型的数据，放到同一个特征空间去表示，这样的好处就是可以将不同类型数据打通，在一个任务上利用到更多更全面的数据，来提升业务指标的效果。比如对搜索来说就可以通过多模态实现以文搜图，最火的stable diffusion model 文本生成图像也是多模态的一个场景。今天笔者就介绍一下目前比较火的一个多模态模型clip。
通过无监督对比学习的预训练方式将文本数据和图片数据表示到同一个特征空间，从而实现zero-shot 的图像分类。
CLIP 模型
CLIP（Contrastive Language–Image Pre-training ）是由OpenAI开源的基于对比学习的大规模图文预训练模型，其整个架构如下图（1）所示：
- 一个文本编码器，文本编码器可以是transformer。
- 一个图像编码器，图像编码器可以是resnet50或vision transformer（ViT）等
- 通过无监督的对比学习预训练将文本和图像联系起来
下图（2） （3）则是利用预训练好的模型进行零样本（zero shot)的文本分类
- 将所有labels的文本通过 文本编码器进行编码
- 将要预测的图像通过 图像编码器进行编码
- 在计算 图像编码 与 所有 labels 文本编码的 内积，取内积最大的那个作为预测label。
其中特别值得注意的一点是，clip 预训练的方式采用的在batch 内负采样的方式进行的对比学习，如下图所示：一个batch内，一个文本编码，只有与它对应的图像是正样本，其他的图像都是负样本。目标就是优化这个矩阵，希望对角线的值越大越好，矩阵其他地方的值越小越好。
实战部分
模型下载
笔者去huggface上搜索了一下clip，看是否有中文的clip模型，还真找到了一个
IDEA-CCNL的太乙多模态模型。它其实就是将openAI的图像编码器至今拿过来用，采用Roberta作为中文文本编码器，在Clip预训练的数据的汉化版上进行了进一步的预训练。其中太乙102M的文本编码器 对应的是openAI的 VIT-patch32的图像编码器。笔者将下方两个模型下载到本地。
项目目录结果如下图，其中openai32 下面就是openai放出的图像编码器，
clipChineseText 就是IDEA-CCNL的太乙文本模型编码器。
具体代码如下图，先加载太乙文本编码器，在加载openai的图像编码器。
from PIL import Image
import requests
# import clip
import torch
from transformers import BertForSequenceClassification, BertConfig, BertTokenizer
from transformers import CLIPProcessor, CLIPModel
import numpy as np
labels = ["猫", "狗",'猪', '虎'] # 这里是输入文本的，可以随意替换。
# 加载Taiyi 中文 text encoder
text_tokenizer = BertTokenizer.from_pretrained("./clip")
text_encoder = BertForSequenceClassification.from_pretrained("./clip").eval()
text = text_tokenizer(labels, return_tensors='pt', padding=True)['input_ids']
# 加载CLIP的image encoder
clip_model = CLIPModel.from_pretrained("openai32/")
processor = CLIPProcessor.from_pretrained("openai32/")
加载完毕后，就可以进行无监督的图像分类预测了。过程和上方介绍的clip无监督文本分类的步骤一摸一样，先将labels = ["猫", "狗",'猪', '虎'] 用文本编码器进行编码，再将图片进行编码，计算和目标图像编码内积最大的那个作为预测label。
def get_label(url):
image = processor(images=Image.open(url), return_tensors="pt")
with torch.no_grad():
image_features = clip_model.get_image_features(**image)
text_features = text_encoder(text).logits
# 归一化
image_features = image_features / image_features.norm(dim=1, keepdim=True)
text_features = text_features / text_features.norm(dim=1, keepdim=True)
# 计算余弦相似度 logit_scale是尺度系数
logit_scale = clip_model.logit_scale.exp()
logits_per_image = logit_scale * image_features @ text_features.t()
probs = logits_per_image.softmax(dim=-1).cpu().numpy()
print(url+"的label是"+labels[np.argmax(probs)])
url = "./pig.jpg"
get_label(url)
url = "./tiger.jpg"
get_label(url)
在百度上下载了一种猪，一张虎的图，进行测试。
完全正确，零样本图像分类就这样完成了，clip的威力确实很强大。
结语
clip 不仅可以完成零样本图像分类，还可以完成以文搜图等，其文本特征和图像特征也可用于推荐的召回和排序阶段。总之多模态是一种趋势，不同数据的融合势必比单独使用要强一点。
https://aistudio.baidu.com/aistudio/projectdetail/4458949
https://github.com/IDEA-CCNL/Fengshenbang-LM
