手机上的“DeepSeek时刻”:Bonsai 27B,把270亿参数大模型装进你的iPhone
你有没有想过,有一天你的手机可以不联网、不传数据、纯粹靠本地算力,跑一个270亿参数的大模型?
2026年7月15日,这个想象变成了现实。
美国AI初创公司PrismML正式发布了Bonsai 27B模型——基于阿里通义千问Qwen 3.6 27B微调,在保留90%智能水平的前提下,成功塞进了12GB内存的iPhone。AnythingLLM创始人Tim Carambat直言:“它的影响远比Fable、Mythos或GPT 5.6更重要。甚至可能比它们加起来还要重要。这才是AI真正的DeepSeek时刻。”
从54GB到3.9GB:一场极限压缩
先看一个对比:
在16-bit全精度下,Qwen 3.6 27B需要占用54GB空间。即便压缩到4-bit,也要18GB。而iPhone 12GB内存下,单个应用可用内存大约只有6GB——连4-bit版本都装不下。
Bonsai 27B做了两件事:
第一,极限量化。 PrismML把神经网络每个权重从常规的16位压缩到1到2位。最终推出两个版本:
| 版本 | 体积 | 每权重有效位 | 性能保留 | 适用场景 |
|---|---|---|---|---|
| 1-bit Bonsai 27B | 3.9 GB | 1.125 bit | 90% | 手机端 |
| Ternary(3-bit)Bonsai 27B | 5.9 GB | 1.71 bit | 95% | 笔记本 |
第二,架构优化。 Bonsai 27B采用混合注意力架构——64层中仅16层使用全注意力机制,其余采用线性注意力。配合近无损4位KV量化,在26.2万token的上下文窗口下,KV缓存仅约4.3GB。
压缩比率达到了惊人的14.2倍。PrismML表示,这是首个能在iPhone上运行的27B级AI模型。
性能到底怎么样?实测数据来了
压缩这么多,性能还剩多少?
基准测试方面,PrismML在15项涵盖知识、推理、数学、编程、指令跟随、工具使用及视觉的测试中公布数据:
-
1-bit版本:保留全精度模型90% 的性能
-
3-bit版本:保留95% 的性能
具体到单项能力,数学推理达91.66分,编程能力达81.88分。PrismML承认,压缩后事实性知识退化速度比推理和编程能力更快——也就是说,它更擅长“思考”而不是“背诵”。
推理速度方面:
| 设备 | 1-bit版本速度 | 3-bit版本速度 |
|---|---|---|
| iPhone 17 Pro Max | ~11 token/秒 | — |
| 苹果M5 Max | 87 token/秒 | 58 token/秒 |
| NVIDIA RTX 5090 | 163 token/秒 | 134 token/秒 |
11 token/秒的速度,大概相当于每分钟输出600多字——虽然比不上云端旗舰模型,但对于手机本地运行来说已经可用。满电状态下可处理约6.7万个token。
不过也有局限:持续运行五分钟多一点后,芯片会因发热而降频。目前也没有面向普通用户的现成App,目标群体还是开发者和技术爱好者。
为什么说这是“DeepSeek时刻”?
Tim Carambat的比喻很精准。
DeepSeek之所以震撼全球,不是因为它性能超越了GPT-4,而是它用极低的成本实现了接近顶尖模型的水平,打破了“高性能=高成本”的认知。
Bonsai 27B的逻辑完全一样——它打破了“大模型=云端+数据中心”的路径依赖。
过去几年,端侧AI一直是个“伪命题”。旗舰手机发布会上都在讲AI,但实际搭载的模型参数基本都在7B或更小,绝大多数生成式AI能力仍然需要云端介入。你想用AI,就得把数据传到云端——隐私、延迟、网络依赖,一个都跑不掉。
Bonsai 27B证明了另一条路:270亿参数的大模型,可以完全运行在你的手机上。
数据不出手机,延迟几乎为零,不需要网络,不需要付费——这是端侧AI从“能用”到“好用”的关键转折。
苹果正在评估:收购还是授权?
Bonsai 27B引发的关注远不止技术圈。
7月14日,PrismML首席执行官Babak Hassibi(加州理工学院电气工程教授)在接受CNBC采访时透露:苹果公司正在评估PrismML的技术。
Hassibi表示,苹果正在测试模型的速度、能效和端侧性能。会谈尚处于早期阶段,但“进展顺利”。外界分析认为,合作范围可能是技术授权,甚至不排除苹果直接收购PrismML。
PrismML本身来头不小。这家公司是加州理工学院(Caltech)的衍生公司,核心突破为原生1-bit模型压缩技术。今年初已完成1625万美元种子轮融资,投资方包括Khosla Ventures等。加州理工学院持有相关专利并已独家授权给PrismML商业化。
如果苹果最终将这项技术整合进iOS,意味着未来的iPhone可以不依赖云端,本地运行百亿级大模型——这对隐私、响应速度和用户体验都是质变。
对普通用户意味着什么?
技术讲完了,回到你最关心的问题:跟我有什么关系?
第一,隐私。 数据不用上传云端,所有处理都在本地完成。你的对话记录、文件内容、个人数据,不需要经过任何第三方服务器。
第二,免费。 不用订阅ChatGPT Plus,不用为API调用付费。模型跑在你自己的设备上,用你自己的电。
第三,随时可用。 不需要网络,不需要等待云端响应。飞机上、地铁里、信号差的地方,AI照样能用。
第四,开源。 Bonsai 27B已以Apache 2.0许可证在Hugging Face开源。这意味着开发者可以自由使用、修改和部署。目前1-bit版本的GGUF格式已合并入llama.cpp主线,支持在CPU、Metal(苹果芯片)和Vulkan上运行。你如果懂技术,现在就可以去Hugging Face下载模型,在本地跑起来。
Bonsai 27B的意义,不在于它在某个基准测试上超过GPT-5.6,而在于它重新定义了AI的使用方式——从“云端黑盒”到“本地伙伴”,从“按量付费”到“一次拥有”。
当你的手机能本地运行270亿参数的大模型,AI就不再是“需要联网才能用的工具”,而是你设备的一部分。
这才是AI的“DeepSeek时刻”——平民化、本地化、私有化。而这一切,从2026年7月15日,从Bonsai 27B开始。