Tema prospek 1 dari 5
Inferensi di mana saja
Pelatihan membangun otaknya. Inferensi adalah otak yang sedang bekerja, setiap detik, setiap hari.
Gambaran besar
Ada dua fase dalam siklus hidup model AI. Pelatihan (training) adalah saat model belajar: upaya besar yang dilakukan sekali di pusat data raksasa. Inferensi adalah saat model yang telah dilatih benar-benar digunakan: menjawab pertanyaan, menulis email, meninjau kontrak, mendeteksi cacat di lini produksi.
Gelombang pertama belanja AI didominasi oleh pelatihan. Gelombang berikutnya milik inferensi. Setiap pengguna baru, setiap aplikasi baru, dan setiap agen AI yang bekerja di latar belakang menciptakan lebih banyak permintaan inferensi, dan tidak seperti pelatihan, permintaan ini tidak pernah berhenti.
Mengapa sekarang
AI telah beralih dari eksperimen menjadi alat sehari-hari. Asisten AI sudah tertanam di ponsel, perangkat lunak perkantoran, dan mesin pencari; pelaku usaha menerapkan agen yang menjalankan tugas sepanjang waktu. Kini penggunaan, bukan pembangunan model, yang menjadi pendorong utama permintaan daya komputasi.
Di mana peluangnya
Lapisan yang sedang saya teliti
Chip inferensi yang efisien
Akselerator dan silikon khusus yang dirancang untuk menjalankan model secara murah dalam skala besar, bukan sekadar melatihnya.
Pusat data tersebar
Fasilitas yang lebih kecil dan lebih dekat dengan pengguna, untuk memangkas latensi layanan AI waktu nyata.
Memori & jaringan
Menjalankan model dengan cepat bergantung pada memori bandwidth tinggi dan koneksi berlatensi rendah.
AI di perangkat
Ponsel, PC, dan mobil yang menjalankan model secara lokal, mendorong siklus peningkatan perangkat keras yang baru.
Sinyal yang saya pantau
Bagaimana saya tahu ini berhasil
- ↗Pertumbuhan pengguna aktif harian dan jumlah kueri di platform AI utama
- ↗Penyedia cloud melaporkan porsi inferensi yang terus meningkat dalam pendapatan AI
- ↗Turunnya biaya per kueri AI, yang secara historis memperluas total penggunaan
- ↗Peluncuran chip yang dirancang khusus untuk inferensi yang efisien
Risiko
Apa yang bisa salah
- !Peningkatan efisiensi yang pesat dapat menurunkan belanja per kueri lebih cepat daripada pertumbuhan penggunaan
- !Persaingan harga antarpenyedia AI dapat menekan margin
- !Pemimpin chip pelatihan saat ini belum tentu memimpin di inferensi
Pendekatan saya
Saya menggeser eksposur komputasi dari perusahaan yang bertumpu pada pelatihan ke bisnis yang diuntungkan oleh volume penggunaan: silikon yang berfokus pada inferensi, memori, jaringan, dan platform yang menjual AI per kueri.
“Pelatihan terjadi sekali. Inferensi terjadi miliaran kali sehari, dan di situlah permintaan satu dekade ke depan berada.”
Ini adalah pandangan pribadi yang bersifat prospektif, bukan prediksi atau rekomendasi. Pandangan ini bisa saja keliru.