Google AI 邊緣
裝置端 AI，適用於行動、網頁和嵌入式應用程式
從模型到管道等的裝置端解決方案
加速機器學習部署作業、最佳化管道，以及輕鬆存取強大的大型語言模型
同時具有高階和低階元件的端對端堆疊
I/O 大會最新消息
TensorFlow Lite
輕量的多架構程式庫，用於在行動裝置、網頁和微控制器上部署模型。
在裝置端執行的生成式 AI
MediaPipe LLM 推論 API
而且完全可以在裝置端執行 LLM，執行多種工作，例如產生文字、以自然語言擷取資訊，以及產生文件摘要。這個 API 內建多種文字轉文字大型語言模型的支援，方便您為應用程式和產品套用最新的裝置端生成式 AI 模型。瞭解詳情
Torch Generative API
在 PyTorch 中編寫高效能 LLM，然後使用 TensorFlow Lite (TFLite) 執行階段，將其轉換為在裝置上執行。瞭解詳情。
雙子座奈米
透過 Android AICore 使用我們最有效率的 Gemini 模型，處理裝置端工作。即將在 Chrome 推出。
為何要在邊緣裝置上部署機器學習？
延遲時間
可略過伺服器往返作業，輕鬆、快速且即時的媒體處理。
隱私權
在本機執行推論，不會離開裝置。
費用
使用裝置端運算資源並節省伺服器費用。
離線使用
沒有網路連線，也沒關係。