AI inference lokal: dari jargon ke alat kerja nyata
AI inference lokal adalah pendekatan menjalankan model dan agen kecerdasan buatan langsung di perangkat pengguna, sehingga komputasi utama berlangsung di edge, bukan di pusat data cloud, yang pada praktiknya mengurangi ketergantungan pada API berbayar, menurunkan latensi, dan memberi kontrol lebih besar atas biaya dan privasi data sehari‑hari. Pada 25 Agustus 2026, Perplexity mengumumkan Portable Computer, versi agen AI-nya yang berjalan sepenuhnya di komputer pengguna, bukan di cloud. Di sisi lain, pada konferensi Hot Chips di tanggal yang sama, OpenAI memaparkan detail kinerja chip Jalapeno melalui pengujian benchmark, dan menyatakan peningkatan throughput per kilowatt dibanding prosesor inferensi terbaik saat ini. Pertanyaannya: mana yang lebih relevan bagi tim yang ingin produktif tanpa bocor anggaran dan data?
Portable Computer NVIDIA: nol biaya token, latensi rendah, tapi hardware mahal
Portable Computer membawa agen Perplexity sepenuhnya ke hardware NVIDIA, tanpa mengirim data ke cloud. Ini adalah bentuk edge computing AI yang konkret: seluruh runtime—model orkestrator, subagent, mesin AI inference lokal, hingga harness dan konektor—berada di komputer pengguna, bukan di server jarak jauh. Perusahaan menyebut dua angka kunci: yang pertama adalah nol, yaitu biaya token untuk operasi yang dijalankan secara lokal. Semua pekerjaan yang tetap di perangkat tidak mengonsumsi token dan sudah termasuk dalam langganan; hanya langkah yang naik ke cloud yang memicu konsumsi kredit. Secara ekonomi, ini mengubah tugas berat seperti migrasi repository atau siklus verifikasi panjang dari “tidak terjangkau di cloud” menjadi masuk akal di atas hardware sendiri. Komprominya jelas: penghematan jangka panjang diganti dengan investasi awal hardware NVIDIA kelas premium.
Jalan paling mulus untuk Portable Computer adalah Portable Computer NVIDIA DGX Spark, komputer AI meja kerja kecil berbasis superchip GB10 Grace Blackwell dengan 128 GB memori terpadu. Pool memori bersama ini memberi jendela konteks lebih luas dan mendukung model yang lebih besar tanpa perlu dipecah. Bagi tim yang tidak memakai DGX Spark, ada opsi PC Ubuntu berbasis ARM atau x86 dengan GPU NVIDIA RTX minimal 24 GB VRAM. Namun RTX dengan memori sebesar ini diakui bukan kartu grafis yang murah. Dalam praktiknya, Portable Computer sekarang berjalan secara lokal, kalau Anda mampu membeli perangkatnya.
Jalapeno OpenAI: chip cloud untuk throughput maksimum, bukan privasi maksimum
Sementara Perplexity mendorong edge computing AI, OpenAI mengambil jalur berbeda dengan Jalapeno, sebuah chip inferensi yang jelas dirancang untuk pusat data dan layanan cloud. Dalam konferensi Hot Chips pada 25 Agustus 2026, mereka memaparkan hasil benchmark Jalapeno, termasuk jumlah token per pengguna dan throughput per kilowatt yang lebih tinggi dari prosesor inferensi terbaik saat ini. Kepala Perangkat Keras OpenAI, Richard Ho, menyebut kinerja Jalapeno sangat signifikan, karena mampu menangani lebih banyak beban kerja per unit daya sekaligus memangkas waktu respons. Ia menekankan bahwa meski melayani banyak pelanggan, latensi tetap rendah.
OpenAI secara eksplisit membandingkan keandalan Jalapeno dengan sistem Nvidia Blackwell, menjadikannya pernyataan agresif bahwa chip cloud mereka lebih andal dari platform GPU saingan. Namun keunggulan ini tetap berada di domain cloud: kendali ada di pusat data, bukan di perangkat pengguna. Ho memperkirakan Jalapeno akan diproduksi terbatas pada akhir 2026 dan disebarluaskan pada 2027. Artinya, organisasi yang mengandalkan Jalapeno akan tetap hidup dalam model “sewa komputasi”, dengan biaya yang mengikuti konsumsi token dan kapasitas cloud, bukan logika investasi hardware sekali beli seperti Portable Computer.
Mengapa AI lokal menarik sekarang: privasi, biaya, dan tekanan hukum
Perplexity tidak sekadar merilis produk; mereka mengirim sinyal strategi. Portable Computer adalah versi sepenuhnya lokal dari agen Perplexity Computer, dengan data sensitif yang tetap berada di perangkat dan tidak dikirim ke cloud, kecuali pengguna mengizinkan langkah demi langkah. Orchestrator lokal mengelola sandbox tools dan konektor ke Gmail, Google Drive, Slack, dan GitHub melalui server MCP, dengan default yang fail‑secure: jika sandbox gagal, eksekusi tools dimatikan, bukan dibiarkan berjalan dalam mode degradasi. Pada praktiknya, lokal menjadi default dan cloud adalah pengecualian yang sadar, bukan sebaliknya.
Nader, Director of Developer Technology di NVIDIA, menyebut bahwa AI lokal telah mencapai titik balik; model terkuantisasi dulu menarik tetapi kurang praktis, sementara sekarang orang ingin agen tetap menyala selama mungkin tanpa menguras dompet di setiap token. Pekerjaan yang ditangani model lokal tidak memiliki biaya token sama sekali, sehingga tugas panjang menjadi berkelanjutan di atas hardware sendiri. Di belakang layar, Perplexity juga menghadapi tekanan hukum dari berbagai gugatan dan sedang mencari pendanaan dengan valuasi menanjak, sehingga masuk akal bila mereka menonjolkan opsi AI inference lokal yang menghormati batas data dan mengurangi risiko hukum yang melekat pada pemrosesan cloud berskala besar.
Ke mana arah tim produktif: beli hardware edge atau sewa chip cloud?
Untuk tim yang hidup dari produktivitas berbasis AI—developer, analis, peneliti—pertanyaan kuncinya bukan lagi “AI atau tidak”, tapi “edge atau cloud”. Portable Computer menunjukkan bahwa AI inference lokal bisa menjadi tulang punggung workflow: nol biaya token, latensi rendah, dan data yang tidak keluar dari perangkat secara default. Jalapeno menawarkan kebalikan: throughput per kilowatt tinggi dan latensi rendah untuk banyak pelanggan, tetapi tetap dalam kerangka chip cloud yang dioperasikan penyedia layanan. Ini adalah logika yang sama antara menyewa dan membeli, dipindahkan ke ranah komputasi.
Bagi tim yang memprioritaskan privasi data dan efisiensi biaya jangka panjang, solusi lokal seperti Portable Computer NVIDIA tampak lebih menarik: data sensitif tetap berada di perangkat, dan pekerjaan panjang tidak menambah tagihan token. Namun ada harga masuk berupa hardware premium dan batas OS: saat peluncuran hanya mendukung Linux (DGX OS atau Ubuntu), dengan dukungan Windows direncanakan pada September 2026 dan tanpa rencana macOS. Jalur Jalapeno lebih masuk akal bagi organisasi yang ingin keluar dari urusan hardware dan menerima ketergantungan penuh pada cloud. Pilihan akhirnya cermin budaya: apakah tim ingin mengendalikan mesin AI-nya sendiri, atau puas menjadi penyewa tetap di pusat data raksasa.
