鱼羊 发自 凹非寺

量子位 | 公众号 QbitAI

在多模态鸿沟，开源模子也超闭源了！

就在刚刚达成的Meta开发者大会上，Llama 3.2闪亮登场：

这回不仅具备了多模态智商，还和Arm等联手，推出了荒谬为高通和联发科硬件优化的“移动”版块。

具体来说，这次Meta一共发布了Llama 3.2的4个型号：

110亿和900亿参数的多模态版块10亿参数和30亿参数的轻量级纯文本模子

官方数据暴露，与同等鸿沟的“中袖珍”大模子比拟，Llama 3.2 11B和90B弘扬出了非凡闭源模子的性能。

尤其是在图像理撤职务方面，Llama 3.2 11B栽种了Claude 3 Haiku，而90B版块更是能跟GPT-4o-mini掰掰手腕了。

而专为端侧打造的3B版块，在性能测试中弘扬也优于谷歌的Gemma 2 2.6B和微软的Phi 3.5-mini。

如斯弘扬，实在诱导了不少网友的暖和。

有东谈主昂扬地以为，Llama 3.2的推出可能再次“蜕变游戏规定”：

端侧AI正在变得越来越蹙迫。

Meta AI官方对此回话谈：

其中一些模子参数目很小，但这个时代瞻仰首要。

首个视觉

关连Llama 3.2具体能作念什么，这次官方也释出了不少demo。

先看个汇总：Llama 3.2 11B和90B救助一系列多模态视觉任务，包括为图像添加字幕、凭据当然话语提醒完成数据可视化等等。

举个，丢给Llama 3.2一张图片，它能把图片中的元素逐个拆解，告诉你详备的图片信息：

不异，也不错反过来凭据翰墨提醒找出稳当用户需求的图片。

Llama 3.2 11B和90B亦然首批救助多模态任务的Llama系列模子，为此，Meta的盘问东谈主员打造了一个新的模子架构。

在Llama 3.1的基础之上，盘问东谈主员在不更新话语模子参数的情况下考试了一组适配器权重，将预考试的图像编码器集成到了预考试的话语模子中。

这么，Llama 3.2既能保合手纯文本功能的完整性，也能get视觉智商。

考试经过中，Llama 3.2聘请图像-文本对数据进行考试。考试分为多个阶段，包括在大鸿沟有噪声数据上的预考试，和更进一步在中等鸿沟高质料鸿沟内和常识增强数据上的考试。

在后考试（post-training）中，盘问东谈主员通过监督微调（SFT）、闭幕采样（RS）和径直偏好优化（DPO）进行了几轮对皆。

专为端侧打造的“小”模子

至于1B和3B这两个轻量级模子，方向愈加明晰：

跟着苹果Apple Intelligence的推出，关于电子耗尽市集而言，手机等结尾上的生成式AI照旧成为标配。

而脱离云霄孤立驱动在结尾上的模子，不管是从功能如故从安全的角度，都是结尾AIGC落地的重要。

△端侧写稿助手

Llama 3.2 1B和3B模子由Llama 3.1的8B和70B模子剪枝、蒸馏获得。

不错肤浅相识为，这俩“小”模子是Llama 3.1教出来的“学生”。

Llama 3.2 1B和3B仅救助文本任务，坎坷文长度为128K。来自Meta互助方Arm的客户业务线总司理Chris Bergey以为：

明岁首致使本年年底，开发东谈主员就会在诈欺模式中落地这两个型号的Llama 3.2。

它们领有更好的效果，能在1W功率下或在8毫秒以内提供谜底。

不少网友也为此点赞：

Llama 3.2的轻量级模子能确切蜕变AI在手机和其他设备上的诈欺。

还有网友照旧第一时辰现实上了：

我咋舌于这个1B模子的智商。

这位网友用Llama 3.2 1B驱动了一个完整的代码库，并条件它归来代码，罢休是酱婶的：

“不完好，但远超预期。”

前有OpenAI「Her」全量洞开、谷歌Gemini 1.5迎来首要升级，Llama这边也紧锣密饱读跟上新行为，AI圈的这一周，依旧是开源闭源热情碰撞，充满话题度的一周。

那么，你何如看Llama这波新发布？

对了，要是你对Llama 3.2感兴致，大模子竞技场照旧不错试玩了。

Ollama、Groq等也已第一时辰更新救助。

参考运动：

[1]https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/[2]https://www.cnet.com/tech/mobile/meta-and-arm-want-to-bring-more-ai-to-phones-and-beyond/#google_vignette[3]https://news.ycombinator.com/item?id=41649763