blog details

2024年8月22日

22

310

顶尖Phi 3.5模型系列:微软小语言模型的全新升级

微软正式发布了Phi小语言模型系列的最新版本——Phi 3.5,一口气连发三款模型。虽说这三款模型规模较小,但在许多第三方基准测试中表现卓越,甚至在某些情况下超越了其他领先的大模型,包括谷歌的Gemini 1.5 Flash、Meta的Llama 3.1,甚至在一些竞技场上击败了OpenAI的GPT-4。

这次发布的三款Phi 3.5模型延续了小而美的路线,适用于多种AI解决方案和AI定制开发需求,特别是在大型语言模型开发和ChatGPT开发中展示了强大的性能和多样的应用场景。

小而美路线

Phi-3.5-mini-Instruct是微软Phi 3.5系列中的轻量级AI模型,基于Phi-3的数据集构建,拥有38亿个参数,并支持128k token上下文长度。这款模型在多语言和多轮对话任务中表现出色,支持多达23种语言,包括阿拉伯语、中文、英语、芬兰语、法语、德语等,这使其在教育行业AI解决方案和教培行业AI应用中具有广泛的应用前景。由于支持128k上下文长度,Phi-3.5-mini-Instruct能够执行多种长上下文任务,如长文档/会议摘要、长文档QA以及长文档信息检索,非常适合用于AI企业解决方案和AI定制开发项目。

hi-3.5-mini在多语言和多轮对话任务中表现出了优秀的性能。

“新智元”

轻量级模型:Phi-3.5-mini-Instruct

Phi-3.5-MoE-instruct是微软Phi模型中的首个MoE(Mixture of Experts)模型,将多种不同类型的模型组合成一个模型,使其能够专门从事不同的任务。该模型采用混合专家架构,在23天内使用512个H100-80G GPU对4.9万亿个token进行了训练。模型拥有420亿个参数,并支持128k token上下文长度,专注处理高质量和推理密集的数据。Phi-3.5-MoE在大规模多任务语言理解(MMLU)测试中表现卓越,击败了GPT-4o mini,涉及STEM、人文科学、社会科学等不同专业领域,这为教育行业售前咨询AI和税务行业知识问答AI提供了强大的技术支持。

Phi-3.5-vision则主要用于多帧图像理解和推理,包括详细的图像比较、多图像摘要和视频摘要。这些能力在办公场景中有广泛的应用。经过测试,Phi-3.5-vision在大多数图像基准测试中的性能都有所提升,例如MMMU性能从40.2提升到43.0,MMBench性能从80.5提升到81.9,文档理解基准TextVQA从70.9提升到72.0。这使得Phi-3.5-vision在AI系统开发和AIGC软件服务中成为一个不可或缺的工具。

如有侵权,请联系删除。

Related Articles