PrismML 1-bit Bonsai LLM × Qualcomm Snapdragon AR1 智能眼鏡 — Caltech + Ion Stoica（UC Berkeley）9/24 Snapdragon Summit Day 1 同步亮相，first-of-kind 本地端 AI agent runtime 上智能眼鏡
TechCrunch 9/24 Sarah Perez「PrismML brings its tiny LLMs to Qualcomm-powered smart glasses」 + PrismML 9/17 官方「PrismML Launches Bonsai 2 27B, Its Most Capable Model Yet」 + Qualcomm Snapdragon Summit 9/24 Day 1 keynote + The Register 4/4「PrismML debuts 1-bit LLM in bid to free AI from the cloud」 + CNBC 7/14「Apple in talks with PrismML, which shrinks AI models up to 15x to run on iPhones」 + HN 9/24 Show HN「Running PrismML's Bonsai inside DRAM by breaking DDR4 timing rules」23 pts —— 核心點 1 —— PrismML（Caltech 出身、Babak Hassibi 創辦 + CEO、Ion Stoica UC Berkeley 教授擔任 Advisor · 與 Anyscale co-founder / Databricks 董事同一人）9/24 喺 Qualcomm Snapdragon Summit Day 1 同步亮相 1-bit Bonsai LLM for smart glasses —— Snapdragon AR1 Gen 1 Platform 上本地端推理 2B 參數級 vision + language model，可以「ask what they're looking at in real time」（用戶睇住任何物件，眼鏡即時答問題），唔使上 cloud，唔使等 latency，唔使 trust proprietary AI labs。核心點 2 —— PrismML 9/17 旗艦 Bonsai 2 27B 嘅核心技術 deep dive：基於 Qwen3.8 27B base model · Ternary Bonsai 2 27B 27.8B 參數 · 9× memory footprint 壓縮（full-precision 對比） · 5.9 GB size · 98.2% 性能 retention · 8× 速度提升 · 5× 功耗降低 · 83.9/85.4 aggregate benchmark score（20-benchmark suite 涵蓋 reasoning / math / coding / instruction following / vision / agentic tool use）· Google v5 TPUs training · Apache 2.0 license free download · 投資者 Khosla Ventures + Cerberus + Google + Samsung 持續支持。核心點 3 —— 「intelligence density」thesis：PrismML CEO Babak Hassibi「Bonsai 27B proved that powerful models do not have to be confined to cloud infrastructure」· Ion Stoica「AI deployment has historically forced a choice between model quality and the resources required to run it」· 對標 本報 9/25 Snapdragon Summit Hawaii 2026 雙旗艦平台（Snapdragon 8 Gen 6 + Extreme Gen 6 + 第二代骁龍音頻至尊版）—— Qualcomm 嘅 Snapdragon AR1 Gen 1 屬於同一個 Snapdragon family，係專為 smart glasses + AR glasses 設計嘅 always-on AI 平台，今次 PrismML 1-bit Bonsai LLM 喺 Snapdragon AR1 上跑通，等於 Qualcomm 智能眼鏡陣營正式擁有 本地端 LLM 嘅 first-of-kind benchmark。核心點 4 —— 「1-bit Bonsai」 真係只係 1 個 bit per weight —— 一般 LLM 用 16-bit（FP16 / BF16），Ternary 用 3 values（-1/0/+1），1-bit 只用 -1/+1，係 最極致嘅 quantization，PrismML 嘅 Caltech 出身研究喺 model compression 領域做咗 4+ 年，呢個技術路線同 Qualcomm Snapdragon AR1 嘅 Neural Processing Unit (NPU) 完美 match —— 1-bit operations 可以直接跑喺 NPU integer cores，唔需要 float-point unit。核心點 5 —— 對標本報 9 月穿戴趨勢：本報 9/11 Meta VR Glasses 100g + 9/14 Applied Materials SENZ + 9/25 Ray-Ban Meta Audio + Meta VR Glasses + 9/25 Snapdragon Summit 雙旗艦平台 都喺度 build 穿戴 AI 嘅 hardware trigger，而 PrismML 1-bit Bonsai × Snapdragon AR1 第一次由 model side 提供 first-of-kind 本地端 2B 參數 vision-language LLM 嘅 software foundation —— 智能眼鏡 從此可以真正 hands-free + voice-first + on-device AI agent，唔使將用戶嘅 visual context 送上 cloud。核心點 6 —— Apple PrismML 7/14 報導 + 7/16 The Blue Narwhal「27B parameters on iPhone」 嘅 cross-OEM 延伸 —— CNBC 7/14 引述 Apple in talks with PrismML，預示 iPhone 18/19 + Apple Glasses 2027 可能內建 PrismML compression technology，呢個對應 本報 9/23 iPhone 18 蘋果照片水印 + 9/24 Apple Watch AI 硬件 嘅 on-device AI 路線。核心點 7 —— 「no smart glasses running PrismML have been announced yet」（TechCrunch 9/24 原句）—— 即係 first-of-kind 嘅 software foundation 已經 launch，但 hardware 端 仲未有 shipping product，未來 12 個月將會見到 Meta Ray-Ban Display 2 + Samsung Galaxy Glasses + 小米 AI 眼鏡 2 + 華為智能眼鏡 等集體接入 PrismML Bonsai，呢個就係 cross-OEM AI agent 穿戴 hardware trigger 嘅 next-cycle foundation。Cat A Hardware · Cat C Software/OS · Cat E Chinese sources · hardware-first + cross-OEM AI agent 穿戴 hardware trigger + first-of-kind 本地端 LLM runtime on smart glasses + first-of-kind model compression 1-bit quantization 雙重例外通過。
閱讀原文