Cloud Tensor Processing Unit (TPU)

Mempercepat pengembangan AI dengan Google Cloud TPU

Cloud TPU mengoptimalkan performa dan biaya untuk semua workload AI, mulai dari pelatihan hingga inferensi. Dengan menggunakan infrastruktur pusat data kelas dunia, TPU menawarkan keandalan, ketersediaan, dan keamanan yang tinggi.

Tidak yakin apakah TPU sesuai dengan kebutuhan Anda? Pelajari kapan saatnya harus menggunakan GPU atau CPU di instance Compute Engine untuk menjalankan workload machine learning.

Ringkasan

Apa itu Tensor Processing Unit (TPU)?

Google Cloud TPU adalah akselerator AI yang dirancang khusus serta dioptimalkan untuk pelatihan dan inferensi model AI berskala besar. Google Cloud TPU ideal untuk berbagai kasus penggunaan, seperti chatbot, pembuatan kode, pembuatan konten media, ucapan sintetis, layanan visi, mesin pemberi saran, model personalisasi, dan lainnya. 

Apa saja keuntungan Cloud TPU?

Cloud TPU dirancang untuk menskalakan berbagai workload AI secara hemat biaya, termasuk pelatihan, fine-tuning, dan inferensi. Cloud TPU memberikan fleksibilitas untuk mempercepat workload pada framework AI terkemuka, termasuk PyTorch, JAX, dan TensorFlow. Orkestrasikan workload AI berskala besar dengan lancar melalui integrasi Cloud TPU di Google Kubernetes Engine (GKE). Manfaatkan Dynamic Workload Scheduler untuk meningkatkan skalabilitas workload dengan menjadwalkan semua akselerator yang diperlukan secara bersamaan. Pelanggan yang mencari cara paling sederhana untuk mengembangkan model AI juga dapat memanfaatkan Cloud TPU di Vertex AI, platform AI yang terkelola sepenuhnya.

Kapan harus menggunakan Cloud TPU?

Cloud TPU dioptimalkan untuk melatih model deep learning yang besar dan kompleks serta membutuhkan banyak penghitungan matriks, misalnya ketika membangun model bahasa besar (LLM). Cloud TPU juga memiliki SparseCore, yaitu pemroses dataflow yang mempercepat model dengan mengandalkan embedding yang ada dalam model rekomendasi. Kasus penggunaan lainnya mencakup layanan kesehatan, seperti pemodelan pelipatan protein dan penemuan obat.

Apa perbedaan Cloud TPU dengan GPU?

GPU adalah pemroses khusus yang awalnya dirancang untuk memanipulasi grafis komputer. Dengan struktur paralelnya, GPU cocok untuk algoritma yang memproses blok data besar yang biasanya ditemukan dalam workload AI. Pelajari lebih lanjut.

TPU adalah application-specific integrated circuit (ASIC) yang dirancang oleh Google untuk jaringan neural. TPU memiliki fitur khusus, seperti matrix multiply unit (MXU) dan topologi interkoneksi eksklusif, sehingga cocok untuk mempercepat pelatihan dan inferensi AI.

Versi Cloud TPU

Versi Cloud TPUDeskripsiKetersediaan

Cloud TPU v5p

Cloud TPU yang paling canggih untuk melatih model AI

Cloud TPU v5p secara umum tersedia di Amerika Utara (region Timur AS)

Cloud TPU v5e

Cloud TPU yang paling efisien, fleksibel, dan skalabel

Cloud TPU v5e umumnya tersedia di Amerika Utara (region AS Tengah/Timur/Selatan/Barat), Eropa (region Barat), dan Asia (region Tenggara)

Informasi tambahan tentang versi Cloud TPU

Cloud TPU v5p

Deskripsi

Cloud TPU yang paling canggih untuk melatih model AI

Ketersediaan

Cloud TPU v5p secara umum tersedia di Amerika Utara (region Timur AS)

Cloud TPU v5e

Deskripsi

Cloud TPU yang paling efisien, fleksibel, dan skalabel

Ketersediaan

Cloud TPU v5e umumnya tersedia di Amerika Utara (region AS Tengah/Timur/Selatan/Barat), Eropa (region Barat), dan Asia (region Tenggara)

Informasi tambahan tentang versi Cloud TPU

Cara Kerjanya

Lihatlah lebih dalam keajaiban Google Cloud TPU, termasuk tampilan dalam yang langka dari pusat data tempat semua hal terjadi. Pelanggan menggunakan Cloud TPU untuk menjalankan beberapa workload AI terbesar di dunia dan keunggulan tersebut berasal dari lebih dari sekedar chip. Dalam video ini, lihat komponen sistem TPU, termasuk jaringan pusat data, tombol sirkuit optik, sistem pendingin air, verifikasi keamanan biometrik, dan banyak lagi.

Video Ganti dengan TPU.

Penggunaan Umum

Menjalankan workload pelatihan AI berskala besar

Pelatihan model berperforma tinggi dan efisien

Mulai dengan cepat menggunakan MaxText dan MaxDiffusion, deployment referensi open source berperforma tinggi dan sangat skalabel untuk pelatihan model besar.

Pelajari lebih lanjut
Performa relatif MaxText

Pelatihan model berperforma tinggi dan efisien

Mulai dengan cepat menggunakan MaxText dan MaxDiffusion, deployment referensi open source berperforma tinggi dan sangat skalabel untuk pelatihan model besar.

Pelajari lebih lanjut
Performa relatif MaxText

Pelatihan AI yang andal, skalabel, dan efisien

Maksimalkan performa, efisiensi, dan waktu pemerolehan manfaat dengan Cloud TPU. Skalakan ke ribuan chip dengan pelatihan Cloud TPU Multislice. Ukur dan tingkatkan produktivitas pelatihan ML skala besar dengan Pengukuran Goodput ML. Mulai dengan cepat menggunakan MaxText dan MaxDiffusion, deployment referensi open source untuk pelatihan model besar.

Penskalaan near-linear hingga puluhan ribu chip dengan pelatihan Multislice

Meningkatkan kualitas model AI dasar

Menyesuaikan LLM untuk aplikasi Anda dengan Pytorch/XLA

Tingkatkan kualitas model dasar secara efisien dengan memanfaatkan data pelatihan Anda sendiri yang mewakili kasus penggunaan Anda. Cloud TPU v5e memberikan performa fine-tuning LLM per dolar hingga 1,9x lebih tinggi dibandingkan Cloud TPU v4.

Performa/$ fine-tuning LLM Cloud TPU

    Menyesuaikan LLM untuk aplikasi Anda dengan Pytorch/XLA

    Tingkatkan kualitas model dasar secara efisien dengan memanfaatkan data pelatihan Anda sendiri yang mewakili kasus penggunaan Anda. Cloud TPU v5e memberikan performa fine-tuning LLM per dolar hingga 1,9x lebih tinggi dibandingkan Cloud TPU v4.

    Performa/$ fine-tuning LLM Cloud TPU

      Melayani workload inferensi AI berskala besar

      Inferensi yang berperforma tinggi, skalabel, dan hemat biaya

      Mempercepat Inferensi AI dengan JetStream dan MaxDiffusion. JetStream adalah mesin inferensi baru yang dirancang khusus untuk inferensi Model Bahasa Besar (LLM). JetStream menghadirkan kemajuan yang signifikan dalam hal performa dan efisiensi biaya, yang menawarkan throughput dan latensi yang tak tertandingi untuk inferensi LLM di Cloud TPU. MaxDiffusion adalah serangkaian implementasi model difusi yang dioptimalkan untuk Cloud TPU, sehingga memudahkan untuk menjalankan inferensi model difusi pada Cloud TPU dengan performa tinggi.

      Pelajari lebih lanjut

      Inferensi yang berperforma tinggi, skalabel, dan hemat biaya

      Mempercepat Inferensi AI dengan JetStream dan MaxDiffusion. JetStream adalah mesin inferensi baru yang dirancang khusus untuk inferensi Model Bahasa Besar (LLM). JetStream menghadirkan kemajuan yang signifikan dalam hal performa dan efisiensi biaya, yang menawarkan throughput dan latensi yang tak tertandingi untuk inferensi LLM di Cloud TPU. MaxDiffusion adalah serangkaian implementasi model difusi yang dioptimalkan untuk Cloud TPU, sehingga memudahkan untuk menjalankan inferensi model difusi pada Cloud TPU dengan performa tinggi.

      Pelajari lebih lanjut

      Memaksimalkan performa/$ dengan infrastruktur AI yang dapat diskalakan

      Cloud TPU v5e memungkinkan inferensi berperforma tinggi dan hemat biaya untuk berbagai workload AI, termasuk model LLM dan AI Generatif terbaru. TPU v5e menghadirkan performa throughput hingga 2,5x per dolar lebih banyak dan kecepatan hingga 1,7x dibandingkan Cloud TPU v4. Setiap chip TPU v5e menyediakan hingga 393 triliun operasi int8 per detik, sehingga memungkinkan model kompleks membuat prediksi dengan cepat. Pod TPU v5e menghasilkan hingga 100 kuadriliun operasi int8 per detik, atau 100 petaOps daya komputasi.

      Pelajari lebih lanjut inferensi di TPU v5e
      Pod Cloud TPU v5e

      Cloud TPU di GKE

      Jalankan workload AI yang dioptimalkan dengan orkestrasi platform

      Platform AI/ML yang tangguh mempertimbangkan lapisan berikut: (i) Orkestrasi infrastruktur yang mendukung GPU untuk pelatihan dan penyajian workload dalam skala besar, (ii) Integrasi fleksibel dengan komputasi terdistribusi dan framework pemrosesan data, dan (iii) Dukungan untuk beberapa tim di infrastruktur yang sama untuk memaksimalkan penggunaan resource.

      Pelajari lebih lanjut orkestrasi AI/ML di GKE

      Jalankan workload AI yang dioptimalkan dengan orkestrasi platform

      Platform AI/ML yang tangguh mempertimbangkan lapisan berikut: (i) Orkestrasi infrastruktur yang mendukung GPU untuk pelatihan dan penyajian workload dalam skala besar, (ii) Integrasi fleksibel dengan komputasi terdistribusi dan framework pemrosesan data, dan (iii) Dukungan untuk beberapa tim di infrastruktur yang sama untuk memaksimalkan penggunaan resource.

      Pelajari lebih lanjut orkestrasi AI/ML di GKE

      Penskalaan yang mudah dengan GKE

      Kombinasikan kecanggihan Cloud TPU dengan fleksibilitas dan skalabilitas GKE untuk membangun dan men-deploy model machine learning dengan lebih cepat dan mudah dibandingkan sebelumnya. Dengan Cloud TPU yang tersedia di GKE, Anda kini dapat memiliki satu lingkungan operasi yang konsisten untuk semua workload Anda, yang menstandarkan pipeline MLOps otomatis.

      Pelajari lebih lanjut
      TPU di Arsitektur GKE

      Cloud TPU di Vertex AI

      Vertex AI Training & Prediction dengan Cloud TPU

      Bagi pelanggan yang mencari cara paling sederhana untuk mengembangkan model AI, Anda dapat men-deploy Cloud TPU v5e dengan Vertex AI, sebuah platform menyeluruh untuk membangun model AI pada infrastruktur yang terkelola sepenuhnya dan dibuat khusus untuk layanan berlatensi rendah dan pelatihan berperforma tinggi.

      Vertex AI Training & Prediction dengan Cloud TPU

      Bagi pelanggan yang mencari cara paling sederhana untuk mengembangkan model AI, Anda dapat men-deploy Cloud TPU v5e dengan Vertex AI, sebuah platform menyeluruh untuk membangun model AI pada infrastruktur yang terkelola sepenuhnya dan dibuat khusus untuk layanan berlatensi rendah dan pelatihan berperforma tinggi.

      Harga

      Harga Cloud TPUSemua harga Cloud TPU adalah per chip-jam
      Versi Cloud TPUHarga Evaluasi (USD)Komitmen 1 tahun (USD)Komitmen 3 tahun (USD)

      Cloud TPU v5p

      Starting at

      $4,2000

      per chip-jam

      Starting at

      $2,9400

      per chip-jam

      Starting at

      $1,8900

      per chip-jam

      Cloud TPU v5e

      Starting at

      $1,2000

      per chip-jam

      Starting at

      $0,8400

      per chip-jam

      Starting at

      $0,5400

      per chip-jam

      Harga Cloud TPU bervariasi menurut produk dan region.

      Harga Cloud TPU

      Semua harga Cloud TPU adalah per chip-jam

      Cloud TPU v5p

      Harga Evaluasi (USD)

      Starting at

      $4,2000

      per chip-jam

      Komitmen 1 tahun (USD)

      Starting at

      $2,9400

      per chip-jam

      Komitmen 3 tahun (USD)

      Starting at

      $1,8900

      per chip-jam

      Cloud TPU v5e

      Harga Evaluasi (USD)

      Starting at

      $1,2000

      per chip-jam

      Komitmen 1 tahun (USD)

      Starting at

      $0,8400

      per chip-jam

      Komitmen 3 tahun (USD)

      Starting at

      $0,5400

      per chip-jam

      Harga Cloud TPU bervariasi menurut produk dan region.

      KALKULATOR HARGA

      Perkirakan biaya Cloud TPU bulanan Anda, termasuk harga dan biaya khusus region.

      PENAWARAN HARGA KUSTOM

      Hubungi tim penjualan kami untuk mendapatkan penawaran harga khusus bagi organisasi Anda.

      Memulai bukti konsep Anda

      Cobalah Cloud TPU secara gratis

      Dapatkan pengantar singkat terkait cara menggunakan Cloud TPU

      Jalankan TensorFlow di VM Cloud TPU

      Jalankan JAX di VM Cloud TPU

      Jalankan PyTorch di VM Cloud TPU

      Google Cloud
      • ‪English‬
      • ‪Deutsch‬
      • ‪Español‬
      • ‪Español (Latinoamérica)‬
      • ‪Français‬
      • ‪Indonesia‬
      • ‪Italiano‬
      • ‪Português (Brasil)‬
      • ‪简体中文‬
      • ‪繁體中文‬
      • ‪日本語‬
      • ‪한국어‬
      Konsol
      Google Cloud