🔎LLM on Chrome要来了
type
status
date
slug
summary
tags
category
icon
password
当我们使用 Web 上的 AI 模型构建特征时，我们通常依赖服务器端解决方案来构建更大的模型。对于生成式 AI 来说尤其如此，即使是最小的模型，也是网页大小中位数的约千倍。这同样适用于其他 AI 应用场景，其中模型的大小可能从数十兆字节到数百兆字节。
由于这些模型并非跨网站共享，因此每个网站都必须在网页加载时下载。对于开发者和用户而言，这是一个不切实际的解决方案
虽然服务器端 AI 是大型模型的绝佳选择，但设备端方法和混合方法各有巨大的优点。为了使这些方法可行，我们需要解决模型大小和模型交付问题。
因此，我们正在开发 Web 平台 API 和浏览器功能，旨在将 AI 模型（包括大语言模型 (LLM)）直接集成到浏览器中。其中包括 Gemini Nano，这是 Gemini 系列 LLM 中最高效的版本，旨在在大多数现代台式机和笔记本电脑上本地运行。借助内置 AI，您的网站或 Web 应用可以执行 AI 驱动的任务，而无需部署或管理其自己的 AI 模型。
与在设备端 AI 中自行构建模型相比，内置 AI 具有以下优势：
- 易于部署：浏览器分发模型时，会考虑设备功能并管理模型的更新。这意味着，您无需负责通过网络下载或更新大型模型。您无需解决存储空间逐出、运行时内存预算、传送费用和其他难题。
- 使用硬件加速功能：浏览器的 AI 运行时经过优化，可以充分利用可用的硬件，无论是 GPU、NPU 还是回退到 CPU。因此，您的应用可以在每台设备上获得最佳性能。
使用内置 AI 方法，在设备上执行 AI 任务变得轻而易举，这反过来又具有以下优势：
- 本地处理敏感数据：设备端 AI 可以改进您的隐私保护故事。例如，如果您处理敏感数据，则可以通过端到端加密为用户提供 AI 功能。
- 流畅的用户体验：在某些情况下，无需往返于服务器，意味着您可以提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的区别。
- 对 AI 的访问权限更高：用户的设备可以承担一些处理负载，以换取对功能的更多访问权限。例如，如果您提供高级 AI 功能，则可以使用设备端 AI 来预览这些功能，以便潜在客户可以看到您产品的优势，而无需支付额外费用。这种混合方法还可以帮助您管理推断费用，尤其是针对常用用户流的推断费用。
- 离线使用 AI：即使没有互联网连接，您的用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以离线使用或采用可变连接方式，按预期运行。
加入早期预览版计划：
通知原文：
测试 Chrome 内置 Gemini Nano 的方法：
1. 下载 Chrome 127，可以到 Chrome Release Channels 下载 Canary 版本
2. 打开 chrome://flags/
a) 找到 Prompt API for Gemini Nano 设置为 Enable
b) 找到 Enables optimization guide on device 设置为 Enable BypassPerfR
c) 重启 Chrome
3. 打开 chrome://components/，检查 Optimization Guide On Device Model 中模型是否成功下载，点击 Check for update
4. 打开控制台，输入
测试是否能有返回结果，可以用下面的完整代码测试：
Loading...