Google LIMoE——迈向单一人工智能目标的一步 加拿大电话号码

谷歌宣布了一项名为 LIMoE 的新技术,加拿大电话号码 它表示这代表着朝着实现谷歌人工智能架构 Pathways 目标迈出的一步。 Pathways 是一种 AI 架构,它是一个单一模型,可以学习执行当前通过使用多种算法完成的多项任务。 LIMoE 是一个首字母缩写词,。这是一个同时处理视觉和文本的模型。虽然还有其他架构可以做类似的事情,但突破在于新模型使用称为稀疏模型的神经网络技术完成这些任务的方式。稀疏模型在 2017 年的一篇研究论文中进行了描述,该论文介绍了混合专家层 (MoE) 方法,该研究论文的标题为 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts 层。

代表使用一个稀疏专家混合模型学习多种模式

2021 年,谷歌宣布了一个名为 GLaM 的 MoE 模型:使用混合专家对语言模型进行有效缩放,该模型仅在文本上进行训练。 LIMoE 的不同之处在于它同时处理文本和图像。加拿大电话号码 稀疏模型与“密集”模型的不同之处在于,稀疏模型不是将模型的每个部分都用于完成一项任务,”。这样做是为了降低计算成本,使模型更高效。因此,类似于大脑如何看到一只狗并知道它是一只狗,它是一只哈巴狗并且哈巴狗展示了一件银色的小鹿色外套,这个模型也可以通过分配计算以类似的方式查看图像并完成任务任务分配给专门从事识别狗、品种、颜色等任务的不同专家。LIMoE 模型将问题分配给专门从事特定任务的“专家”,与当前解决问题的方法相比,取得了相似或更好的结果.该模型的一个有趣特征是一些专家主要专注于处理图像,另一些专家主要专注于处理文本,而一些专家则专注于两者。谷歌对 LIMoE 工作原理的描述显示了眼睛专家、车轮专家、条纹纹理、实体纹理、文字、

而是将任务分配给专门从事某项任务的各种“专家

加拿大电话号码
加拿大电话号码

门把手、食物和水果、海洋和天空专家以及植物图像专家。关于新算法的公告描述了这些专家:“图像专家之间也有一些明确的定性模式——例如,在大多数 LIMoE 模型中,有一个专家处理所有包含文本的图像块。 …一位专家处理动物和绿色植物,另一位处理人手。”专门研究问题不同部分的专家提供了扩展和准确完成许多不同任务的能力,但计算成本较低。研究论文总结了他们的发现:“我们提出了 LIMoE,这是第一个大规模多模式混合专家模型。我们详细展示了先前的专家模型混合正则化方法如何无法满足多模态学习,并提出了一种新的基于熵的正则化方案来稳定训练。我们表明 LIMoE 可以跨架构规模进行泛化,与等效密集模型相比,零样本 ImageNet 精度的相对改进范围从 7% 到 13%。进一步扩展,LIMoE-H/14 实现了 84.1% 的 zeroshot ImageNet 准确率,与具有每个模态主干和预训练的 SOTA 对比模型相当。”

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注