HBM sebagai Jantung Memori AI Generasi Baru
High-bandwidth memory (HBM) adalah jenis memori DRAM berlapis yang ditempatkan sangat dekat dengan prosesor, menyediakan bandwidth memori AI yang jauh lebih tinggi dengan konsumsi daya per bit lebih rendah dibanding memori konvensional, sehingga menjadi komponen kunci untuk melatih dan menjalankan model kecerdasan buatan berskala besar di pusat data modern.
Samsung tidak lagi sekadar menambah lapisan DRAM; mereka sedang mengubah HBM menjadi sistem memori-terintegrasi-komputasi lewat roadmap tiga fase yang berpuncak pada zHBM. Di Hot Chips 2026, Sangwook Han dari tim desain DRAM Samsung memaparkan strategi berani ini sebagai jawaban atas tekanan bandwidth dan daya di akselerator AI. HBM4 saja sudah bermain di kisaran 1 hingga 5 TB/s per tumpukan dengan 1.000–2.000 I/O yang berlari 8–16 Gbps. Tanpa terobosan arsitektur, angka-angka ini akan berhenti menjadi keunggulan dan berubah menjadi beban daya. Roadmap ini, singkatnya, adalah pernyataan bahwa memori HBM5 Samsung tidak akan hanya lebih cepat, tetapi juga lebih pintar.
Fase 1–2: cHBM sebagai Senjata Tersembunyi Akselerator AI
Fase awal roadmap ini bertumpu pada base die yang diproduksi di node logika canggih 4nm mulai HBM4, yang memangkas daya dan luas silikon. Dengan base die yang setara kelas prosesnya dengan XPU, Samsung punya ruang untuk menggeser fungsi-fungsi penting dari prosesor ke memori, melahirkan konsep custom HBM (cHBM) yang disetel untuk akselerator AI tertentu. Di sinilah strategi akselerator AI memori Samsung terlihat: bukan hanya menambah HBM, tetapi merelayout apa yang dianggap “bagian prosesor” selama ini.
Fase 1 berfokus pada reclamation area XPU, yakni memindahkan blok non-komputasi seperti HBM PHY dan memory controller ke base die. PHY konvensional yang besar diganti dengan link die-to-die yang jauh lebih ringkas, sementara heat path block (HPB) diperkenalkan untuk mengurangi hotspot, bahkan mampu menurunkan suhu puncak sampai lebih dari 35% di area antarmuka. Perubahan lebih penting lagi: controller yang memakan 5–10% area XPU dipindahkan ke cHBM, memberikan ruang yang bisa dikonversi menjadi unit komputasi tambahan dengan potensi peningkatan performa 10–20%. Fase 2 lalu menambah telemetri, fitur keandalan ala SoC, dan opsi memperluas memori melalui tepi base die, termasuk kemungkinan menghubungkan LPDDR atau HBM tambahan dengan latensi lebih rendah daripada jalur PCIe.
HBM5: Lompatan Bandwidth Dua Kali, Performa per Watt Naik 20%
Puncak jangka menengah roadmap ini adalah HBM5, dan Samsung memilih target yang agresif: menggandakan performa dan meningkatkan performa per watt sebesar 20% dibanding HBM4E. "HBM5 yang sedang dikembangkan memiliki tujuan untuk menggandakan performa dan meningkatkan performa per watt sebesar 20% dibandingkan generasi HBM4E". Jika target ini tercapai, satu tumpukan HBM5 akan mencapai bandwidth puncak sekitar 4 TB/s pada periode 2028–2029, naik dari 2 TB/s per tumpukan di HBM4E. Itu bukan sekadar angka; itu berarti satu paket akselerator dapat mengalirkan data dua kali lebih cepat tanpa menggandakan konsumsi daya.
Konsekuensinya bagi akselerator AI enterprise sangat besar. Perkiraan TSMC menunjukkan konfigurasi 20–24 tumpukan HBM5/HBM5E per paket di akhir dekade, yang berarti bandwidth memori AI total 80–96 TB/s hanya dari sistem-in-package tersebut. Di sisi lain, Samsung menambahkan heat path block (HPB) pada tumpukan memori HBM5 untuk mengurangi resistansi termal hingga 20% dan menyederhanakan pendinginan modul. Pertanyaannya bukan lagi apakah AI butuh memori seperti ini, tetapi siapa yang bisa mengirimkan bandwidth sebesar itu tanpa melampaui batas daya dan pendinginan pusat data. Di sini, memori HBM5 Samsung diposisikan sebagai tiket masuk wajib untuk akselerator AI kelas atas.
Fase 3: teknologi zHBM 3D Menggeser Batas Desain Chip AI
Fase ketiga, zHBM, adalah bagian paling visioner sekaligus paling berisiko dari roadmap. Alih-alih HBM dan XPU berdampingan di interposer 2.5D, konsep zHBM menempatkan prosesor tepat di bawah tumpukan DRAM dalam struktur 3D sejati. Arsitektur ini menghapus jarak fisik antara komputasi dan memori, mengganti edge PHY besar dengan I/O yang tersebar di seluruh die. Samsung menyebut zHBM sebagai “solusi pamungkas” untuk memaksimalkan bandwidth di bawah batas daya AI masa depan yang brutal. Dengan jalur lebih pendek dan distribusi I/O lebih merata, Samsung memperkirakan zHBM dapat memangkas daya I/O sekitar 70% dibanding HBM5.
Namun, teknologi zHBM 3D datang dengan tantangan manufaktur serius: perlu wafer-on-wafer bonding dan hybrid copper bonding berkepadatan tinggi, plus co-design yang jauh lebih ketat antara tim DRAM dan SoC. Ini bukan sekadar upgrade packaging; ini memaksa arsitek AI untuk memikirkan ulang pembagian kerja antara memori dan komputasi. Chip AI generasi berikutnya bisa lahir dengan logika khusus di base die, komputasi ringan tepat di bawah DRAM, dan XPU utama yang fokus pada operasi yang paling paralel dan berat. Roadmap ini menunjukkan bagaimana Samsung merespons kebutuhan AI yang terus berkembang, di mana bandwidth dan efisiensi daya menjadi faktor penentu, sekaligus mempertahankan posisi mereka di pasar memori high-bandwidth yang semakin kompetitif.
Dampak bagi Pengguna dan Masa Depan Akselerator AI Memori
Apa artinya semua ini untuk pengguna akhir? Secara langsung, tidak ada yang akan memasang modul zHBM di PC rumah, tetapi efeknya akan dirasakan di layanan AI yang mereka gunakan setiap hari. Roadmap ini menyasar akselerator AI memori di pusat data: training model bahasa raksasa, inferensi real-time, hingga rekomendasi personal yang lebih akurat. Dengan bandwidth memori AI yang naik ke puluhan TB/s per paket dan efisiensi daya yang lebih baik, operator pusat data bisa mengeluarkan lebih banyak performa dalam batas daya yang sama, atau mengefisienkan rak server tanpa mengorbankan throughput.
Perkembangan ini juga menunjukkan betapa kompetitifnya industri memori AI saat ini, termasuk ke wilayah konsumen di mana perangkat seperti Samsung Galaxy S27 Ultra disebut akan mengadopsi inovasi chipset terbaru. Meski Samsung belum memberi jadwal pasti untuk setiap fase, base die 4nm di HBM4 adalah titik awal yang sudah konkret, dengan cHBM dan aHBM sebagai langkah dekat dan zHBM sebagai tujuan jangka panjang. Intinya: siapa pun yang ingin memimpin di AI enterprise harus peduli bukan hanya pada jumlah GPU, tetapi pada generasi memori HBM yang mengikutinya. Di titik ini, Samsung mengirim sinyal jelas bahwa mereka berniat menjadi pemasok utama bahan bakar bandwidth untuk era AI berikutnya.
