AI Edge của Google
Trí tuệ nhân tạo (AI) trên thiết bị cho thiết bị di động, web và các ứng dụng được nhúng
Các giải pháp trên thiết bị, từ mô hình cho đến quy trình
Đẩy nhanh việc triển khai công nghệ học máy, tối ưu hoá quy trình và dễ dàng tiếp cận các mô hình ngôn ngữ lớn (LLM) mạnh mẽ
Một ngăn xếp toàn diện gồm cả thành phần cấp cao và cấp thấp
Có gì mới từ I/O?
MediaPipe
Dễ dàng tạo ra các giải pháp học máy tiên tiến trên thiết bị
Giải quyết các thách thức thường gặp bằng MediaPipe
TensorFlow Lite
Một thư viện đa khung gọn nhẹ để triển khai mô hình trên thiết bị di động, web và bộ vi điều khiển.
AI tạo sinh, chạy trên thiết bị
API dự đoán LLM của MediaPipe
Chạy các LLM hoàn toàn trên thiết bị và thực hiện nhiều thao tác, chẳng hạn như tạo văn bản, truy xuất thông tin dưới dạng ngôn ngữ tự nhiên và tóm tắt tài liệu. API này cung cấp tính năng hỗ trợ tích hợp cho nhiều mô hình ngôn ngữ lớn chuyển văn bản thành văn bản. Nhờ đó, bạn có thể áp dụng các mô hình AI tạo sinh mới nhất trên thiết bị cho các ứng dụng và sản phẩm của mình. Tìm hiểu thêm
API tạo đèn pin
Tạo các LLM hiệu suất cao trong PyTorch, sau đó chuyển đổi các LLM này để chạy trên thiết bị bằng môi trường thời gian chạy TensorFlow Lite (TFLite). Tìm hiểu thêm.
Gemini Nano
Truy cập vào mô hình Gemini hiệu quả nhất của chúng tôi cho các tác vụ trên thiết bị qua Android AICore. Sắp có trên Chrome.
Vì sao nên triển khai công nghệ học máy trên các thiết bị biên?
Độ trễ
Bỏ qua việc khứ hồi máy chủ để xử lý nội dung nghe nhìn theo thời gian thực một cách dễ dàng, nhanh chóng.
Quyền riêng tư
Thực hiện suy luận cục bộ mà không để dữ liệu nhạy cảm rời khỏi thiết bị.
Chi phí
Sử dụng tài nguyên điện toán trên thiết bị và tiết kiệm chi phí máy chủ.
Khả năng phát lại khi không có mạng
Không có kết nối mạng, không sao cả.