Apa Itu High Bandwidth Flash dan Mengapa Penting untuk AI?
High Bandwidth Flash adalah standar spesifikasi memori baru yang menggabungkan teknologi 3D NAND non-volatil dengan struktur dan kinerja mirip High Bandwidth Memory untuk menghadirkan kapasitas hingga ratusan gigabyte dengan bandwidth sangat tinggi, sehingga dirancang khusus sebagai tier memori dekat-komputasi yang mampu mengurangi bottleneck akses data pada sistem AI inference berskala besar di data center. Inti masalah dalam AI inference memori bukan lagi sekadar kecepatan komputasi, tetapi kemampuan memberi makan prosesor dengan data model dan dataset besar secara konsisten. HBM memang cepat, namun mahal dan terbatas kapasitas. Di titik inilah HBF menjadi langkah berani: memosisikan flash sebagai memori, bukan sekadar teknologi penyimpanan AI pasif di SSD. Pendekatan ini secara terang-terangan menantang asumsi lama bahwa hanya DRAM yang layak berada dekat GPU dan akselerator AI. Jika berhasil diadopsi luas, HBF berpotensi mengubah cara arsitek data center merancang hirarki memori untuk model besar dan layanan AI generasi berikutnya.
Bagaimana HBF Bekerja: Hybrid 3D NAND HBM dengan Bandwidth Tinggi
Secara teknis, High Bandwidth Flash adalah teknologi penyimpanan AI yang menggabungkan non-volatilitas 3D NAND dengan performa High Bandwidth Memory untuk sistem AI inference. Alih-alih memakai DRAM, HBF memanfaatkan chip NAND flash berkapasitas besar yang disusun dengan struktur mirip HBM agar mencapai bandwidth tinggi. Ini bukan susunan 3D NAND biasa, melainkan perangkat khusus dengan antarmuka cepat yang disebut sebagai HBF core dies. Paket HBF awalnya didefinisikan dengan kapasitas hingga 512 GB menggunakan susunan NAND die 8-Hi atau 16-Hi. Untuk mengekstrak bandwidth hingga sekitar 0,4–3,0 TB/detik per paket, desain HBF memakai banyak array yang dapat diakses serentak melalui jalur baca/tulis khusus dan satu antarmuka UCIe berkecepatan hingga 64 GT/s dengan 64 jalur. Kutipan penting di sini: “HBF di atas kertas mampu mendukung kapasitas hingga 512 GB dengan tiga tingkatan bandwidth, mulai dari 0,4 TB/detik hingga 3,0 TB/detik.” Dengan arsitektur chiplet ini, HBF secara sengaja menempatkan flash di level memori, bukan storage belakang layar.
Perbedaan HBF dengan HBM dan Posisi di Hirarki Memori AI
Banyak orang akan spontan membandingkan High Bandwidth Flash dengan HBM karena keduanya hidup sebagai memori dekat-komputasi. Data center AI biasanya menggunakan jenis memori HBM, tetapi biaya produksinya sangat tinggi terutama untuk kapasitas lebih besar. Di sini letak perbedaan utama: HBF mengejar kapasitas besar dengan NAND, bukan DRAM, sambil mempertahankan struktur mirip HBM demi bandwidth tinggi. Secara performa, implementasi HBF paling mumpuni dengan bandwidth 3 TB/detik diprediksi mampu melampaui bandwidth memori satu tumpukan HBM4 yang mencapai 2 TB/detik. Namun HBF kemungkinan tidak mengungguli HBM4 dalam hal latensi, dan itu perlu disadari sejak awal. Posisi HBF sengaja ditempatkan di antara HBM dan SSD, menjadi lapisan memori tambahan yang menyimpan data besar lebih dekat ke prosesor AI. Dalam hirarki memori, HBM tetap menjadi tier paling cepat, HBF menjadi tier AI inference memori berkapasitas besar, dan SSD tetap menjadi tier penyimpanan AI jangka panjang. Kombinasi ini menggeser paradigma: bukan satu memori menang segalanya, melainkan orkestrasi beberapa tier yang saling melengkapi.
Kapasitas 512GB dan Dampaknya untuk Workload AI Inference di Data Center
Sandisk dan SK hynix memposisikan HBF sebagai tier memori baru untuk workload AI inference, dengan bandwidth near-memory, kapasitas lebih tinggi, dan non-volatilitas NAND flash. Perkembangannya penting bagi workload yang membutuhkan kumpulan memori jauh lebih besar di dekat komputasi daripada yang dapat disediakan HBM secara ekonomis. Sementara kapasitas maksimum satu tumpukan HBM4 adalah 64 GB, satu tumpukan HBF dapat menyediakan hingga 512 GB. Selisih kapasitas ini bukan detail kecil; ini menandai pergeseran prioritas dari sekadar ultra-cepat ke cukup cepat tetapi sangat besar. Posisi HBF di antara HBM dan SSD membuatnya cocok sebagai lapisan yang menyimpan parameter model besar, embedding, atau cache data inference lebih dekat ke GPU dan akselerator AI. Dengan begitu, proses inferensi model AI maupun LLM dapat berjalan lebih efisien sekaligus menekan biaya karena tidak semua data harus tinggal di DRAM mahal. Keuntungannya jelas: lebih sedikit transfer data dari SSD lambat, lebih sedikit paging, dan lebih stabil saat melayani permintaan inferensi yang meledak dari aplikasi real-time. Di dunia di mana throughput permintaan AI melonjak, kapasitas besar dengan bandwidth tinggi yang ditawarkan HBF adalah kompromi yang masuk akal.
Standar Terbuka OCP, Tantangan Adopsi, dan Masa Depan HBF
Spesifikasi HBF dirilis melalui Open Compute Project, menjadikannya standar terbuka, bukan antarmuka proprietary. Secara teori, langkah ini membuka pintu luas bagi ekosistem untuk bereksperimen dengan tier memori baru. HBF pun mengadopsi Universal Chiplet Interconnect Express agar kompatibel dengan GPU, CPU, dan berbagai akselerator AI. Sandisk menyebut antarmuka ‘xPU-HBF’, yang kemungkinan merupakan definisi UCIe dari produsen silikon besar. Namun realitas industri belum sepenuhnya mendukung. Sejak rencana konsorsium HBF diumumkan, hanya beberapa pemain seperti Google dan Tenstorrent yang menyatakan minat, sementara nama besar lain belum menunjukkan ketertarikan. Ini menimbulkan pertanyaan: apakah HBF akan menjadi tier memori arus utama atau hanya solusi khusus di segelintir platform AI? Menurut saya, masa depan HBF akan sangat bergantung pada dua hal: seberapa cepat pembuat akselerator AI mengintegrasikan UCIe berbasis HBF, dan seberapa jelas keuntungan biaya operasional dibanding konfigurasi HBM plus SSD yang sudah mapan. Jika HBF mampu membuktikan bahwa kapasitas besar dekat-komputasi benar-benar menurunkan biaya inferensi per permintaan, maka standar terbuka ini layak menjadi fondasi penting dalam desain data center AI generasi berikutnya.
