寰球首个端侧全模态浮现开源模子来了！撸撸射网站

在菜单里襄助选奶茶，不在话下：

还能襄助松驰提真金不怕火长语音，再也不必对着一串几十秒语音头皮发麻（doge）。

就在刚刚，无问芯穹文告开源现辞天下上首个端侧全模态浮现的开源模子Megrez-3B-Omni，不仅体积轻巧，速率赶快，更是一个多材多艺的万能选手，纰漏松驰处理图片、音频、文本三种模态数据。

在稠密测评基准中，Megrez-3B-Omni在图片、文本、音频三个模态中均取得了同尺寸下最优性能。动作一个3B模子，空洞性能进展致使能越过34B模子。

具体来说，Megrez-3B-Omni罗致了专为手机、平板等端侧开导量身定制的30亿参数黄金尺寸，骨干收集参数范围更是仅有2.3B，精度超越了上一代14B模子，最大推理速率更是比同精度模子快达300%。

无问芯穹

，赞7

总共来看更多技艺细节~

图像浮现

在图像浮现方面，Megrez-3B-Omni动作一个体积仅为3B的模子，其空洞性能进展不错全面越过34B的硕大无比，是现在OpenCompass、MME、MMMU、OCRBench等多个主流测试集上精度最高的图像浮现模子之一。

与此同期，Megrez-3B-Omni 在场景浮现、OCR等任务上也具有邃密进展，纰漏准确瞻念察和分析随便比例尺寸图像中的场景本色，并高效地从中索取文本信息，且无论是模糊的印刷体如故复杂的手写字，王人纰漏松驰识别。

不仅能浮现手机屏幕上的信息撸撸射网站，给定条款补助商品挑选。

读取手写字体，相通松驰责罚：

文圭臬会

在文圭臬会方面，动作全模态浮现模子，Megrez-3B-Omni在莫得毁灭模子的文本处理才智的前提下，将上一代14B大模子的优秀才智压缩至3B范围，权臣缩小了计较资本、提高了计较遵守。

在C-EVAL、MMLU/MMLU Pro、AlignBench等多个泰斗测试集上更是取得端上模子最优精度，在文圭臬会方面建树了寰球最初地位。同期，以更少的资源耗尽，达成了更高的性能输出，为端侧开导的智能化提供了进一步打破精度与速率畛域的全新可能。

de个Bug，生效：

进军处理备忘录中的辛苦，也没问题：

音频浮现

在语音浮现方面，Megrez-3B-Omni的后果并列行业主流决策。Megrez-3B-Omni不仅解救华文和英文的语音输入，还纰漏处理复杂的多轮对话场景，更能解救对输入图片或笔墨的语音发问。

用户就随便模态本色，发出语音辅导，Megrez-3B-Omni就能左证语音辅导径直反映文本，达成多轮对话中语音与文本输入的解放切换，让用户不错通过更少动作与模子伸开更直不雅、当然的交互。

遭逢客户的超长语音连击也不怕了：

解救语音信图，还能听口令写小作文：

推理遵守高，应用场景生动

模子的范围并不是决定其速率的独一要素，因此模子小并不一定就意味着速率快。凭借对硬件特色的真切浮现与哄骗，Megrez-3B-Omni 通过软硬件协同优化计谋，确保了各参数与主流硬件高度适配，以达成硬件性能的哄骗最大化。

与上一代偏激他端侧谎话语模子比较，单模态LLM版块的Megrez-3B-Instruct 在推理速率上取得了权臣提高，最大推理速率不错最初同精度模子300%。

Megrez-3B-Instruct此次还特别提供了WebSearch功能，这一功能使得模子纰漏智能地判断何时需要调用外部器具进行网页搜索，补助报酬用户的问题。用户得以构建属于我方AI搜素，通过收集获得最新信息，克服小模子的幻觉问题和常识储备不及的局限。

未必，模子通过搜索网页不错更全面地完成报酬，而其他时刻，模子自己已具备宽裕的常识来孤苦解决问题，过多的搜索调用可能会缩小推理速率和后果。Megrez-3B-Instruct 通过在搜索和对话之间智能切换，幸免了过度依赖搜索或全王人不调用搜索的问题。除了不错自动决策器具调用时机除外，Megrez-3B-Instruct 还具备落魄文浮现性能优异、可提供带参考信息的结构化输出等上风。

现在，这些才智已集成于Megrez-3B-Instruct 模子中，用户不错通过System Prompt 解放切换，同期享受到高精度模子推理才智与智能WebSearch 调用收益。

One More Thing

相较于云表大模子，端侧模子需要在资源有限的开导上快速部署、高效启动，对缩小模子计较和存储需求提议更高要求。

无问芯穹技艺团队源起于清华大学电子工程系NICS-EFC实际室，在模子压缩、推理加快及硬件能耗优化等领域领有真切的学术经营和深厚的工程奉行训诫，恰是模子轻量化、软硬件协同优化领域的顶尖团队。

无问芯穹示意，Megrez-3B-Omni是一个才智预览，接下来还将执续迭代Megrez系列，提高自动化水平至“edge device use”后果，让用户只需要给出浅近的语音辅导，就可完成端开导的树立或应用操作，并将它动作“端模子+端软件+端IP”端上智能一体化解决决策的首要组成推向阛阓。现在，无问芯穹就该一体化决策已与多家著名智能开导和末端芯片厂商伸开谐和。

在这个决策中，除端侧全模态浮现模子外，还有端上推理软件和IP策画决策，不仅解救CPU、GPU和NPU 的同期推理，更能通过逾越软硬件脉络的系统优化，终点带来最高可达70%的性能提高，最大化端侧硬件性能的哄骗。

对那些久困于功耗、速率、续航以及智能后果的端侧开导来说，这意味着，后果更佳的智能升级成为可能。

— 完 —撸撸射网站