Google AI 边缘
适用于移动应用、Web 应用和嵌入式应用的设备端 AI
从模型到流水线的设备端解决方案
加快机器学习部署、优化流水线并轻松使用强大的 LLM
包含高级别和低级别组件的端到端堆栈
I/O 大会上有什么新变化？
TensorFlow Lite
一个轻量级多框架库，用于在移动设备、Web 和微控制器上部署模型。
在设备上运行的生成式 AI
MediaPipe LLM 推断 API
完全在设备端运行 LLM 并执行各种任务，例如生成文本、以自然语言形式检索信息，以及对文档进行总结。此 API 内置了对多种文本到文本大语言模型的支持，因此您可以将最新的设备端生成式 AI 模型应用于应用和产品。了解详情
Torch Generative API
在 PyTorch 中编写高性能 LLM，然后使用 TensorFlow Lite (TFLite) 运行时将其转换为在设备上运行。了解详情。
双子座纳米
通过 Android AICore 使用我们最高效的 Gemini 模型来处理设备端任务。即将在 Chrome 中推出。
为什么要在边缘设备上部署机器学习？
延迟时间
避免服务器往返，轻松快速地进行实时媒体处理。
隐私权
在本地执行推断，无需将敏感数据离开设备。
费用
使用设备上的计算资源并节省服务器费用。
可离线使用
即使没有网络连接，也没问题。