📚 Archive Snapshot 2026-09-09 · 星期三 · 03:00 HKT cycle · 所有存檔 →
Voice-First · Agent-Driven · Daily

免觸控手機 AI 代理

手機仲係手機,但我哋唔再用手指,全部用 voiceAI 代理 代勞。每日精選最多 3 篇 — 揀最熱、最有影響力嘅穿戴裝置、語音 OS、Agent 平台報導,繁體中文摘要。

📅 2026-09-09
🌏 HKT
🎙️ Voice + Agent
📰 2 / 2 篇 · Cross-OEM Agent 大戰
🪄🤖Muse · Cross-OEM Agent · 9/8 公布 Meta Muse personal AI agent — iOS / Android / muse.ai 即時開 + AI glasses 'coming soon' · Muse Spark 自研模型 · WhatsApp 入口
The Verge · Engadget · developer.meta.com/ai · 財聯社 2026-09-08

Meta 公布 Muse —— 全球首款面向消費者嘅「personal AI agent」,iOS / Android / muse.ai 即時開,AI glasses "coming soon",對標 Apple Intelligence + HUAWEI YOYO + AutoGLM 嘅 cross-OEM agent 陣地

The Verge(Robert Hart 9/8)+ Engadget(Karissa Bell 9/8)+ developer.meta.com/ai(Muse Spark 模型頁)+ 財聯社 9/9 電訊快訊Meta 9/8 正式公布 Muse,定位「personal AI agent for everyone」 —— Meta 內部用「first step」形容呢個產品,係公司數十億美元 AI 策略 overhaul嘅核心,目標追返 OpenAI、Anthropic、Google。核心點 1 —— 跨平台 rollout:美國用戶即時可以喺iOS、Android、muse.ai 網頁用 Muse,AI glasses 版本「coming soon」 —— 配合 Meta 現有 Ray-Ban Meta + Oakley Meta 智能眼鏡硬件產品線,呢個先係 hardware-first 讀者最在意嘅 point:Meta 用已上市嘅 smart glasses 做 agent 載體,繞過咗「要靠手機 touch」呢個老大難問題;iOS 用戶甚至唔使新買眼鏡都用到 voice-first agent。核心點 2 —— 自研 Muse Spark 模型 + 雲端 virtual computer:Muse 嘅底層係 Meta 自家研發嘅Muse Spark(透過 Muse Code + Meta Model API 開放畀 developer,頁面 developer.meta.com/ai 已上線);執行環境係雲端「virtual computer」 —— 每個 user 嘅 agent 喺隔離嘅 VM 入面跑,Meta 強調「it has no visibility into passwords of payment methods」,年底仲會出「confidential」加密版本,連 Meta 自己也 decrypt 唔到。核心點 3 —— WhatsApp + Muse App 雙入口:用戶可以用 WhatsApp 直接同 Muse 傾計(Meta 嘅 super-app 戰略),又或者用獨立 Muse App,「出 box 即用,no learning curve」係 Meta 主力推嘅賣點 —— 對標 Apple Intelligence 嘅 Siri / OpenAI ChatGPT / Anthropic Claude 都要先學 prompt;Muse 想做 voice-first 嘅 ChatGPT moment。核心點 4 —— 即時商業交易能力:Muse 一開局就內建 Stripe Link 結帳,仲有 1Password + Shop Pay support coming soon —— 即係話 agent 真係可以幫你「shopping on your behalf」,呢個係 Meta 嗰份新聞稿嘅 headline:"can shop, send emails and plan trips on your behalf";免費版已經有齊核心功能,付費訂閱畀「想做多啲」嘅 user 揀(具體定價未公布)。核心點 5 —— 對標 closed-OEM phone agent + 開源 phone agent:Meta Muse 對標嘅唔係單一對手,係成個 phone agent 陣地 —— Apple Intelligence + Siri(iOS 27)HUAWEI 鴻蒙 YOYO 阿寶(9/8 起接入支付寶)vivo PhoneGPTHonor 任意門小米 Super XiaoAi努比亞 NaviX Ultra 豆包助手智谱 AutoGLM —— Meta 嘅策略係「我都做 agent,但我 cross-iOS + Android + glasses,比任何單一 OEM agent 都 reach 得更遠」。編輯角度:呢個係免觸控手機 AI 代理生態最重要嘅 cross-OEM 事件 —— 一直以來 phone agent 都係 OEM 自家 OS 嘅 feature(HUAWEI 鴻蒙 / Apple iOS / Google Android 都係 lock-in),但 Meta 用「super-app WhatsApp + 自家 glasses + 雲端 agent VM」呢個 stack,第一次證明 voice-first agent 可以做「OS-agnostic」產品,即係話 Ray-Ban Meta 用戶就算換 iPhone → Android → 任何 XR 眼鏡,Muse 都跟到 user;對 hardware-first 讀者:AI glasses 唔再係「要配對手機」嘅 accessory,而係 Muse agent 嘅「main form factor」—— 呢個意義等同 2007 iPhone 重新定義手機同 iPod touch 嘅關係。編輯提示:AutoGLM 9/8 已經證明 open-source 都可以做到 phone agent,Meta Muse 9/8 同日公布就證明 closed-source big-tech 都入場 —— phone agent 正式由 niche 變 mainstream 嘅日子就係 2026-09-08

閱讀原文
📚🧠TMLR 2025 · 21 作者 · 327 links LLM-Powered GUI Agents in Phone Automation TMLR 2025 survey · Liu Guangyi et al. · 統一分類 Single-Agent / Multi-Agent / Plan-Then-Act + Prompt + Training + Benchmarks
arXiv:2504.19838 · PhoneLLM/Awesome · TMLR 2025 2026-09-09

LLM-Powered GUI Agents in Phone Automation 學術 survey —— TMLR 2025 收埋21 位作者arXiv:2504.19838、GitHub repo 182 stars / 12 forks / 17.7 MB327 條連結 (155 arxiv + 110 GitHub) 嘅 phone agent 統一分類聖經

arXiv:2504.19838(Liu Guangyi et al.,2025-04-28 v1,2025-04-29 v2)+ GitHub PhoneLLM/Awesome-LLM-Powered-Phone-GUI-Agents(Apache-2.0 · last update 2026-09-05)+ TMLR 2025 收埋通知(2025-12-02)Liu Guangyi (HKUST/GZ) + Zhao Pengxiang + Liang Yaozhen + Liu Liang + Guo Yaxuan + Xiao Han + Lin Weifeng + Chai Yuxiang + Han Yue + Ren Shuai + Wang Hao 等 21 位作者 合著嘅 phone GUI agent survey2025-12-02 被 TMLR 2025 收埋(TMLR = Transactions on Machine Learning Research,呢個領域 tier-1 journal) —— 呢篇係本報跟開「LLM 控制手機」呢個題目嘅學術座標系核心貢獻 1 —— 統一分類法:將 phone GUI agent 切成三大 framework 類型 —— (a) Single-Agent Frameworks(單一 LLM 從頭到尾 plan + act,例如 AppAgent)、(b) Multi-Agent Frameworks(多個 LLM 角色分工,例如 planner + executor + verifier)、(c) Plan-Then-Act Frameworks(先 plan 完整 steps 再 act,例如 AutoGLM 嘅 chain-of-thought);呢個三分法可以直接 map 落本報 9 月報導過嘅所有 agent 故事 —— HUAWEI YOYO = single-agent / vivo PhoneGPT = multi-agent / AutoGLM = plan-then-act。核心貢獻 2 —— 訓練方法雙軌:LLM 點樣學識做 phone GUI agent?survey 分兩條路 —— (a) Prompt Engineering:分 Text-Based Prompt(純文字描述 UI)同 Multimodal Prompt(直接 screenshot + text),AutoGLM / Apple Intelligence 屬呢類;(b) Training-Based:分 Task-Specific LLM-based Agents(domain finetune)、Supervised Fine-Tuning (SFT)Reinforcement Learning (RL)。Meta Muse 用嘅Muse Spark雖然係 closed model,但從「cloud virtual computer + WhatsApp 入口」呢個 stack 推斷都係Task-Specific fine-tune + 大量 RLHF on tool-use。核心貢獻 3 —— 數據集 + 基準:survey 有獨立章節列哂所有主流 phone agent benchmark —— AndroidArena / Mobile-Eval / AITW / AndroidScreens / A2B 等等,每個 benchmark 都有 paper link + 簡述;對想自己 evaluate phone agent 嘅 developer 嚟講係必讀。核心貢獻 4 —— 21 位作者嘅範圍覆蓋:作者群包括 HKUST(GZ)、清華、北大、Microsoft Research Asia、ByteDance 等內地 + 國際 labs,唔係單一 lab 出嘅 survey,可信度高過 blog post / Twitter thread 好多。GitHub repo 數據182 stars / 12 forks(2026-09-05 updated_at) · repo size 17.7 MB · README 47,795 bytes (~309 lines) · 內含 327 條 markdown links,其中 155 條 arxiv + 110 條 GitHub repo;2 個 figures(overviews.png taxonomy 圖 + milestones.png 發展里程碑)—— 係 phone agent 領域最權威嘅 awesome list,同 Hugging Face Spaces 嘅 agent leaderboard 互相對照。同本報嘅關係2026-09 報過嘅 phone agent 故事(HUAWEI YOYO / vivo PhoneGPT / OpenClaw / AutoGLM / Apple Intelligence)全部可以 map 落呢個 survey 嘅分類法;本報讀者如果想由「新聞 consumer」升級做「phone agent 學術 follower」,呢份 survey + repo 係最佳 single entry point。編輯角度:本報一直報 hardware-first agent 故事(頸鏈、眼鏡、機械臂),但2026-09 開始 phone agent 進入爆發期 —— AutoGLM 開源 phone agent VLM 9/8 + Meta Muse cross-OEM agent 9/8 同日公布,學術界已經 9 個月前就用 TMLR survey 預告呢個 moment;呢篇 survey 嘅「統一分類」+「雙軌訓練」+「benchmark 完整清單」係未來 6–12 個月 phone agent 報導嘅 reference frame,所有新嘅 open-source phone agent 都會被 benchmark 喺呢個 framework 入面。

閱讀 arXiv

本 日 Tag Cloud · 38 個主題

#MetaMuse #Muse #PersonalAgent #PersonalAIAgent #MuseSpark #CrossOEMAgent #WhatsAppAgent #VirtualComputer #ConfidentialVM #AIGlasses #RayBanMeta #MetaAI #StripeLink #1Password #ShopPay #iOSAndroid #museai #CrossPlatformAgent #PhoneAgentSurvey #TMLR2025 #TMLR #arxiv250419838 #GUIAgent #PhoneGUIAgent #AwesomeLLM #PhoneLLM #21Authors #182Stars #327Links #155Arxiv #SingleAgent #MultiAgent #PlanThenAct #PromptEngineering #MultimodalPrompt #冷知識 #HardwareFirst #CrossOEM