©作者 | Zifeng Wang
单位 | UIUC
引言
这是 UIUC Zifeng Wang 等发表在 ICLR'24 上的论文。BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs论文链接：
https://arxiv.org/pdf/2310.03320.pdf在生物医学研究领域，一直以来，基础模型（Foundation Models，简称FMs）大多局限于单一模态的数据处理，比如仅仅专注于蛋白质序列、小分子结构或者是临床数据分析。这种单模态的处理框架虽然在特定任务上表现出色，但在应对多样化的生物医学数据时，其潜能却受到了限制。![]()
▲ 几种构建多模态模型的方法：CLIP，ImageBind，BioBridge传统的多模态方法，比如大名鼎鼎的 CLIP 模型 [1]，大多建立在配对的多模态数据上。比如，如果我们要训练一个蛋白质-文本模型，就需要收集大量的蛋白质序列和其对应的文本描述，从而做对比学习。这一类工作有很多，比如在 x-rays 和临床笔记上做对比的 MedCLIP [2]，在文本和蛋白质上做的 ProteinDT [3]，在文本和分子上做的 MolT5 [4]，等等。但是，假如我们有超过两个模态，比如有三个模态 A,B,C，在这种思路下，我们就需要三种配对数据，AB, AC, 和 BC，才能训练一个三塔的多模态模型。当存在更多模态的时候，这种对于数据的需要是排列组合式增长的。这就使这种配对数据的思路很难用于超过两个模态的情况。ImageBind [5] 是 Meta AI 提出的一种用来构建多模态检索模型的一种方法。其本质是选择一个模态作为中间模态，比如图片，然后让其他模态的模型都向图片模态靠拢。在这情况下，假设我们有一个中间模态 A，还有另外两个模态 B,C，我们就需要收集 AB 和 AC 两种配对数据。在这种情况下，ImageBind 一共需要 （模态数-1）个数的配对数据，而且需要更新 （模态数-1）个模态的编码器来构建多模态系统。本文提出用知识图谱（KG）来作为多模态数据源，从而将独立训练的单模态基础模型桥接（Bridge）成一个能够处理多种数据模态的系统（Multimodal FM）。单模态的数据往往比多模态数据的数量要大的多。我们可以收集到超过 2.5 亿个蛋白质序列或者 15 亿个分子结构，但是只能收集到 44 万个蛋白质文本对。大模型的缩放原理告诉我们，基础模型需要“大”数据才能产生所谓的 emergent ability。所以我们更容易训练出很好的单模态模型，却不容易从零开始训练出一个多模态模性。在这种思路下，我们希望能够在训练好的单模态基础模型的基础上，去把它们合并在一起去作为一个多模态的系统。这就产生了这篇文章里提到的 “bridge” 的概念。KG 存在许多三元组，比如（蛋白质 A, associated with，疾病 B）。这样，我们希望能够用一个单模态的蛋白质模型去编码蛋白质 A，然后设计一个关系模型取编码 “associated with”，将蛋白质 A 的embedding 映射到疾病的 space 里。这样，我们可以匹配由蛋白质 A 生成的 embedding 和疾病 B 的 embedding，做到跨模态检索。通过 BioBridge，不同类型的生物医学数据能够实现无缝交互和转换，而且这一切都不需要对原有的单模态模型做任何调整。![]()
这里我们是用 BioBridge 来根据输入的文本，检索相关的蛋白质，再用蛋白质+文本去 prompt Galactica 生成分子模型。这里的思路是利用 BioBridge 来构建一个多模态的 RAG 系统。本文发现加上 RAG 的 galactica 能够更好地生成符合输入文本描述的分子。
[1] Learning Transferable Visual Models From Natural Language Supervision https://arxiv.org/abs/2103.00020
[2] MedCLIP: Contrastive Learning from Unpaired Medical Images and Text https://arxiv.org/abs/2210.10163
[3] Text-guided Protein Design Framework https://arxiv.org/pdf/2302.04611.pdf
[4] Translation between Molecules and Natural Language https://arxiv.org/abs/2204.11817
[5] ImageBind: One Embedding Space To Bind Them All https://arxiv.org/abs/2305.05665
![]()
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
![]()
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
![]()