日前，面壁智能联合清华NLP实验室发布并开源端侧大模型面壁MiniCPM，并号称其是迄今最强的旗舰端侧模型。据了解，MiniCPM支持消费级显卡、如英伟达1080Ti参数微调，以及主流手机处理器的端侧推理，具有以小博大、支持端侧部署多模态能力、高效且部署成本低三大优势。
其中，以小博大是指MiniCPM虽然参数规模仅20亿，但不仅有着惊人的越级表现，还在堪称最接近用户体感的MT-Bentch表现优异。据面壁智能方面公布的相关消息显示，MiniCPM在多项主流评测榜单的中英文平均成绩已超越有着“开源模型新王者”之称、曾成功以70亿参数规模挑战Llama 2的Mistral-7B。
在同等规模模型中，相比Llama 2-13B、甚至一些400亿参数量级模型，MiniCPM在代码、数学能力等方面也“毫不逊色”。而在最接近用户体验的评测榜单MT-Bench上，MiniCPM也取得了7分的成绩（GPT-4-Turbo为9分）。
对于MiniCPM能够实现以小博大的原因，面壁智能方面透露，这得益于团队一直以来对高效技术路线的探索。以算力为例，面壁智能方面在技术层面实现了全流程高效AI infra（推理框架）10倍推理加速，成本可降低90%。
在能够以小博大的同时，MiniCPM还创新性在端侧加入多模态能力。在此次发布会现场，面壁智能方面就演示了MiniCPM的实际应用效果。显示其不仅可以实现文本翻译、角色扮演等诸多大模型应有的能力，还拥有丰富的知识，能够处理难度较高的代码解释任务。
而对于在端侧小模型中加入全面能力的原因，面壁智能方面表示，“在网络条件有限的极限环境中，云端模型能力无法被充分调动，端侧模型是否强大可信赖就至关重要。譬如对于户外运动爱好者，就格外需要在断网情况下进行端侧模型求助”。
此外在高效低成本方面，面壁智能联合创始人、CEO李大海在现场演示了以其所使用的手机为例，解释了端侧大模型的这一优势。据他表示，其手机使用的骁龙855芯片成本约600元，按照运行5年、每秒7.5tokens来计算，那么170万tokens的推理成本仅需1元，仅为国际同行的百分之一。
同时，面壁智能方面还对iOS、Android、HarmonyOS等主流操作系统进行了模型适配，并选取了部分手机设备进行了测试。目前，MiniCPM已跑通了国际主流手机品牌和终端CPU芯片，即使是发布多年的机型运行也毫无压力。
对此李大海表示，2024年面壁智能将持续提升端侧大模型能力，同时依然会训练基座模型能力，去挑战GPT-4，“这是非常明确的”。同时他还指出，“这是面壁‘大模型+Agent ’双引擎战略的关键一步，从智能发展而言，我们坚定认为智能体化是未来迈向通用智能的必由之路，而智能体必然要在端侧服务用户，我们接下来会进一步探索Agent+云端协同的工作机制，实现智能赋能万物”。
而面壁智能联合创始人、清华大学副教授刘知远则表示，“从技术研判而言，2023年ChatGPT和GPT-4的推出，表明大模型技术路线已经基本确定，接下来就是要探索其科学机理，并极致地优化效率，我们这次推出端侧大模型，也是向大家分享一个2B级别大模型所能达到的性能机制，让大家认识到即使2B尺寸大模型的效果极限还没有被充分挖掘出来，这是一个科学问题也是一个技术问题，需要大家共同探索。”
