High Bandwidth Flash: Standar Penyimpanan AI Penantang HBM

Apa Itu High Bandwidth Flash dan Mengapa Penting untuk AI

High Bandwidth Flash (HBF) adalah standar memori baru berbasis NAND yang diposisikan di antara High Bandwidth Memory (HBM) dan SSD, dirancang untuk menghadirkan kapasitas hingga ratusan gigabyte dengan bandwidth beberapa terabyte per detik secara dekat ke prosesor, sehingga mampu mengurangi kemacetan data pada beban kerja inferensi kecerdasan buatan berskala besar dan menurunkan biaya dibandingkan solusi memori bandwidth tinggi yang ada. Peluncuran spesifikasi teknis pertama High Bandwidth Flash oleh SK Hynix dan SanDisk menandai pergeseran strategis cara industri memandang memori untuk AI. Mereka tidak hanya menambah satu lagi jenis chip ke rak pusat data, tetapi menawarkan lapisan memori baru yang sengaja dirancang sebagai alternatif bagi HBM yang makin mahal dan boros kapasitas untuk inferensi AI yang semakin mendominasi siklus komputasi.

Spesifikasi HBF dipublikasikan melalui Open Compute Project bertepatan dengan konferensi Future of Memory and Storage, dan lahir dari kebutuhan mendesak akan solusi memori berkapasitas besar yang lebih terjangkau untuk beban kerja inferensi AI. Keputusan untuk membawa HBF ke OCP jelas politis: ini adalah pesan bahwa standar penyimpanan AI di era model bahasa besar tidak boleh dikunci pada satu vendor atau satu jenis DRAM. Dengan model yang kian gemuk dan inferensi yang menghabiskan lebih banyak siklus dibanding pelatihan, masalah utamanya bukan lagi sekadar latensi nanodetik, melainkan bagaimana membawa parameter dalam jumlah masif sedekat mungkin ke inti komputasi tanpa menghancurkan anggaran daya dan investasi memori.

Detail Teknis HBF: Kapasitas Masif Mengalahkan Kecepatan Mentah

Spesifikasi High Bandwidth Flash mendefinisikan kapasitas hingga 512GB dalam dua konfigurasi stack, yaitu 8-high dan 16-high NAND dies, dengan tiga tingkatan performa antara sekitar 0,4TB/s hingga 3,0TB/s. Kutipan terpenting di sini: "Stack HBF 512GB berhadapan dengan sekitar 48GB hingga 64GB untuk stack HBM4, yang berarti kapasitasnya delapan hingga sepuluh kali lebih besar." Ini adalah deklarasi bahwa inferensi AI membutuhkan memori yang "tebal" secara kapasitas, bukan hanya "cepat" secara latensi. Tingkatan teratas HBF dengan 3,0TB/s berada dalam pita 2,0 hingga 3,3TB/s yang khas untuk HBM4, sehingga komprominya lebih pada latensi dan karakteristik NAND daripada throughput mentah.

Secara arsitektur, teknologi High Bandwidth Flash menempatkan lapisan memori di antara HBM dan SSD, dirancang berada dekat dengan inti komputasi untuk mendukung model bahasa besar dan beban kerja kecerdasan buatan. HBF menggunakan Universal Chiplet Interconnect Express (UCIe) sebagai antarmuka host, sehingga stack HBF dapat dipasang ke GPU dan CPU dari berbagai vendor berbeda. Ini poin penting: memori tidak lagi diasosiasikan eksklusif dengan satu ekosistem akselerator; ia menjadi chiplet yang dapat disusun ulang sesuai kebutuhan arsitektur. Di sisi lain, SK Hynix juga mengungkap NAND 4D 375-layer generasi kesepuluh dengan klaim peningkatan 2,5x performa per watt, dan berencana memulai produksi massal enterprise SSD berbasis proses ini pada awal tahun depan untuk lingkungan pusat data yang sensitif terhadap daya.

Peran OCP, Google, dan Tenstorrent: Mencetak Standar Penyimpanan AI Terbuka

Spesifikasi HBF dipublikasikan lewat Open Compute Project guna mengatasi kendala kapasitas serta bandwidth memori pada beban kerja kecerdasan buatan. Inisiatif ini muncul enam bulan setelah pembentukan workstream teknologi High Bandwidth Flash di bawah OCP dan setahun setelah SK Hynix dan SanDisk sepakat menstandarisasi teknologi tersebut. Keterlibatan ekosistem OCP membuat HBF sejak awal diposisikan sebagai standar penyimpanan AI bersifat terbuka, bukan produk eksklusif satu vendor memori. Meski saat ini HBF baru ada di atas kertas, standar ini telah menarik dua mitra penting ke konsorsium, yaitu Google dan Tenstorrent, yang bergabung untuk memvalidasi teknologi.

Kehadiran Google dan Tenstorrent adalah sinyal kuat bahwa pemain infrastruktur AI dan desain akselerator melihat HBF sebagai lapisan memori yang relevan untuk akselerasi workload AI ke depan. Menariknya, Nvidia tidak termasuk dalam peserta yang disebutkan, meski mendominasi pasar akselerator AI saat ini; SK Hynix memang telah memperluas kemitraan strategis dengan Nvidia, tetapi belum ada konfirmasi resmi keterlibatan mereka dalam konsorsium HBF. Ketidakhadiran Samsung, Micron, dan Kioxia juga menunjukkan bahwa medan persaingan memori AI akan terbelah: sebagian mendorong standardisasi terbuka via OCP, sebagian mengejar pendekatan lain terhadap masalah bandwidth AI inference dan kapasitas. Dalam konteks ini, HBF lebih mirip deklarasi politik tentang bagaimana memori untuk AI seharusnya dirancang—berkapasitas masif, hemat daya, dan tidak terikat pada satu vendor.

Implikasi untuk Infrastruktur AI Enterprise dan Pengguna Biasa

HBF lahir dari kebutuhan mendesak akan solusi memori berkapasitas besar yang lebih terjangkau untuk beban kerja inferensi AI, dan berpotensi menjadi fondasi penting bagi generasi berikutnya infrastruktur AI. Dengan kapasitas yang jauh melampaui HBM4 dan dukungan standar terbuka, High Bandwidth Flash menjadi lapisan penyimpanan enterprise baru bagi infrastruktur AI hyperscale yang sedang bertransisi dari dominasi pelatihan ke inferensi dalam skala produksi. Teknologi ini menempatkan data model—parameter, embedding, dan cache—lebih dekat ke prosesor, tanpa biaya ekstrem yang datang bersama memori DRAM bandwidth tinggi. Secara praktis, ini memungkinkan operator pusat data mengemas lebih banyak model atau instance dalam satu node inferensi, sehingga meningkatkan kepadatan dan menurunkan biaya per permintaan.

Namun, penting dicatat bahwa ketika HBF akhirnya dikirim, kemungkinan besar teknologi ini tidak akan menjangkau konsumen dalam bentuk apa pun sampai hyperscaler AI terpenuhi dan antarmuka yang layak untuk pengguna ritel tersedia. Jadi, pengguna biasa tidak akan melihat "RAM HBF" di laptop atau ponsel dalam waktu dekat; manfaat mereka akan terasa tidak langsung, melalui layanan AI yang lebih cepat, lebih murah, dan lebih hemat energi. Sementara itu, SK Hynix sendiri mencatatkan laba yang kuat berkat permintaan memori kelas atas dan aktif mendukung startup AI seperti Etched, menunjukkan bahwa HBF hanyalah satu bagian dari strategi lebih luas untuk mengendalikan pipa nilai memori AI dari wafer 4D NAND hingga standar chiplet.

Jadwal, Risiko, dan Kesimpulan: HBF Sebagai Taruhan Jangka Panjang