CEO Perplexity Aravind Srinivas naik panggung di Computex 2026 di Taipei pada tanggal 2 Juni bersama CEO Intel Lip-Bu Tan untuk mengumumkan apa yang disebut perusahaan sebagai orkestrator inferensi hibrida lokal-server pertama. Sistem ini, yang akan hadir di Perplexity Computer pada bulan Juli, secara otomatis memutuskan bagian mana dari tugas AI yang akan dijalankan di perangkat Anda dan bagian mana yang akan dialihkan ke model yang lebih kuat di cloud—tanpa meminta Anda memilih.
“Hari ini kami mengumumkan langkah selanjutnya untuk Personal Computer: orkestrator inferensi hibrida lokal-server pertama,” Perplexity mengumumkan. “Ini memutuskan pekerjaan apa yang harus dijalankan di perangkat Anda dan pekerjaan apa yang harus diserahkan ke agen cloud, secara otomatis mengarahkan setiap bagian tugas ke tempat yang tepat”
“Tujuan yang tepat untuk sistem AI adalah memberikan nilai token per watt yang paling tinggi, untuk setiap pengguna,” tulis Perplexity dalam pengumuman resminya. Tiga tekanan yang saling bersaing membuat hal itu sulit: akurasi menuntut model yang paling mumpuni, privasi menuntut agar beberapa data tidak pernah meninggalkan perangkat Anda, dan biaya menuntut Anda tidak menghabiskan sumber daya komputasi model frontier untuk tugas yang dapat ditangani oleh model yang lebih kecil.
Solusi yang disebut Perplexity sebagai "inferensi agen hibrida" menangani ketiga hal tersebut sekaligus. Sebuah model ringkas berjalan secara lokal di perangkat Anda dan bertindak sebagai pengatur lalu lintas—menentukan informasi mana yang cukup sensitif untuk tetap lokal dan tugas mana yang membutuhkan kekuatan penuh dari model frontier berbasis cloud.
“Inferensi agen hibrida ditujukan untuk pekerjaan yang mencakup data sensitif tetapi membutuhkan AI yang kuat. Seperti catatan keuangan, informasi kesehatan, dan file pribadi,” jelas perusahaan itu. “Model ringkas berjalan secara lokal di perangkat Anda untuk menentukan kapan data sensitif juga harus disimpan secara lokal. Sementara itu, pekerjaan yang membutuhkan kemampuan penuh model frontier dijalankan di server.”
Haruskah Anda peduli tentang ini?
Inferensi—proses menjalankan model AI yang dilatih untuk menghasilkan respons—adalah pekerjaan komputasi yang terjadi setiap kali Anda mengirimkan prompt ke chatbot. Saat ini, hampir semua inferensi terjadi di server jarak jauh yang dimiliki oleh perusahaan AI. Itu berarti dokumen keuangan, pertanyaan kesehatan, dan catatan pribadi Anda melakukan perjalanan ke komputer orang lain sebelum Anda mendapatkan jawaban kembali.
Inilah mengapa Anda melihat mode “Otomatis” atau mode “pemikiran rendah” di chatbot Anda. Perusahaan AI akan selalu mencoba memaksa pengguna untuk mengarahkan interaksi dalam mode termurah yang mungkin bagi mereka.
Srinivas sangat lugas mengenai hal ini. Dalam wawancara Bloomberg Television di Computex, dia mengatakan hal yang seharusnya tidak diucapkan secara terang-terangan: "Anda tidak ingin semua komputasi Anda terpusat di server dan semuanya berjalan melalui model terbesar. Beberapa orang menghabiskan setengah miliar dolar per bulan. Yang sebenarnya Anda inginkan adalah nilai efisien per watt per pengguna." Mengalihkan pekerjaan inferensi ke perangkat keras pengguna mengurangi biaya tersebut—untuk Perplexity.
Inferensi lokal adalah yang terbaik untuk perusahaan-perusahaan tersebut karena memangkas banyak biaya, tetapi memiliki poin utama yang menguntungkan bagi pengguna AI: Ini menjaga data tetap di perangkat Anda. Komprominya selalu tentang daya: model yang lebih kecil yang berjalan secara lokal kurang mampu dibandingkan model besar yang berada di pusat data.
Orkestrator Perplexity mencoba mendapatkan keduanya. Tugas sederhana—meringkas dokumen yang sudah Anda tulis, memformat teks, klasifikasi ringan—berjalan secara lokal. Penalaran kompleks dialihkan ke cloud, idealnya tanpa bagian sensitif dari tugas Anda. Perusahaan mengatakan ini terjadi secara otomatis, di tengah tugas, tidak terlihat oleh pengguna. Apakah perutean ini dapat diandalkan dalam praktiknya seperti yang terdengar dalam demo Computex adalah pertanyaan yang akan dijawab oleh peluncuran bulan Juli.
Satu klarifikasi penting: ini bukan Perplexity yang memberikan model lokal open-source yang Anda kendalikan. Komponen lokal adalah model ringkas yang digunakan Perplexity sebagai bagian dari aplikasinya. Komponen cloud masih dialihkan melalui server Perplexity. Pengguna yang menginginkan pengaturan yang sepenuhnya offline dan di-hosting sendiri—jenis proyek seperti MiniCPM5-1B tawarkan—tidak akan menemukannya di sini.
Angka-angka memberikan konteks pada kerangka kerja tersebut. Pendapatan Perplexity tumbuh dari $100 juta menjadi $500 juta sementara jumlah karyawan hanya meningkat 34%, Srinivas mengumumkan pada bulan April. Perusahaan yang mengarahkan kueri di seluruh model yang tidak dilatihnya memiliki insentif kuat untuk menjaga biaya komputasi serendah mungkin. Mengalihkan sebagian beban inferensi ke perangkat pengguna—miliaran PC yang sudah beredar—adalah cara yang efisien untuk melakukannya. Argumen privasi memang nyata, tetapi selaras dengan argumen finansial.
Siapa lagi yang melakukan ini
Setiap pemain besar di bidang AI saat ini mendorong inferensi di perangkat atau hibrida. Apple Intelligence menjalankan pemrosesan paling sensitifnya secara lokal pada chip seri-M. Foundry Local milik Microsoft mencapai ketersediaan umum pada April 2026, memungkinkan inferensi AI penuh di Windows, macOS, dan Linux tanpa ketergantungan cloud.
Nvidia mengumumkan RTX Spark di Computex yang sama tempat Perplexity membuat pengumumannya, menargetkan inferensi LLM lokal pada laptop dan desktop. Pendekatan Google, seperti yang dilaporkan Decrypt, lebih kontroversial—Chrome secara diam-diam menginstal model Gemini Nano 4GB tanpa persetujuan pengguna, dan tombol "Mode AI" yang sebenarnya dilihat oleh sebagian besar pengguna bahkan tidak menggunakannya.
Diferensiasi Perplexity adalah lapisan orkestrasi. Daripada meminta pengguna untuk memilih lokal atau cloud di awal, sistem memutuskan per tugas, secara real-time. Srinivas mengatakan pendekatan ini "agnostik chip"—demo Computex berjalan pada Intel Core Ultra Series 3, tetapi prosesor Nvidia juga didukung. Fitur ini saat ini eksklusif untuk aplikasi Perplexity for Windows PC, dengan jadwal peluncuran yang lebih luas belum dikonfirmasi.
