Angka agregat besar, tetapi bergantung pada mode berpikir
Model vision language adalah model AI yang memproses informasi visual dan bahasa bersama untuk memahami gambar, layar, atau video serta menjawab instruksi berbasis teks. Jika Anda mengutamakan otomasi antarmuka dan persepsi visual, LFM3-VL-2B tampak sebagai pilihan lebih kuat; untuk matematika visual saat penalaran dimatikan, MiniCPM-V 4.7 1B dapat lebih tepat. Pada 62 benchmark yang dipilih dan dijalankan Liquid, LFM3 mencatat rata-rata 71,4, dibandingkan 57,5 untuk MiniCPM-V—keunggulan 13,9 poin. Namun, saat mode berpikir LFM3 dinonaktifkan, rata-ratanya menjadi 62,1 dan selisih yang dilaporkan menyusut menjadi 4,6 poin. Jadi, hasil benchmark model AI ini bukan satu putusan yang berlaku untuk semua cara penggunaan: mode berpikir ikut menentukan siapa yang unggul.
Perbandingan tersebut lebih berguna daripada sekadar angka promosi karena Liquid menguji kedua model dalam suite dan instrumen yang sama, serta mengukur LFM3 dengan dan tanpa penalaran. Namun, kesetaraan prosedur tidak menjadikannya evaluasi independen: Liquid memilih benchmark dan menjalankan pengujiannya sendiri, dan belum ada reproduksi pihak ketiga atas tabel itu. Anggap angka agregat sebagai petunjuk untuk memilih pengujian lanjutan, bukan jaminan bahwa satu model akan selalu lebih baik pada aplikasi Anda.
Spesifikasi serupa, tetapi lisensinya mengubah keputusan
Keduanya berada di kelas model ringkas, tetapi bukan pengganti yang identik. LFM3-VL-2B berukuran 1,92 miliar parameter, sedangkan MiniCPM-V 4.7 1B memiliki 1,55 miliar menurut dokumentasinya; label ukuran yang dibulatkan dapat membuat MiniCPM tampak sebagai model 2B. Perbedaan yang lebih penting bagi penggunaan komersial ialah lisensi: LFM memakai LFM Open License v1.0 dengan ketentuan komersial, sementara MiniCPM memakai Apache 2.0. Periksa syarat LFM sebelum menetapkannya untuk produk atau distribusi.
| Aspek | LFM3-VL-2B | MiniCPM-V 4.7 1B |
|---|---|---|
| Parameter | 1,92 miliar | 1,55 miliar |
| Lisensi | LFM Open License v1.0 | Apache 2.0 |
| Konteks terdokumentasi | 128K token | 256K token yang diklaim; batas inferensi dapat lebih rendah |
| Jalur visi | Encoder internal 164M dan proyektor 25M; satu token per blok patch 2×2 | Menara bergaya SigLIP; kompresi token visual 4× atau 16× |
| Video | Input video pada 2 frame per detik | Dukungan video; vendor menerbitkan skor LongVideoBench dan MotionBench |
| Mode penalaran | Tersedia; hasil dilaporkan dengan dan tanpa mode berpikir | Tersedia dan digunakan dalam pengujian yang dilaporkan |
MiniCPM memiliki konteks yang diklaim lebih panjang serta pilihan kompresi token visual, sedangkan LFM3 mendokumentasikan konteks 128K dan input video 2 frame per detik. Angka konteks maksimum bukan jaminan bahwa setiap konfigurasi inferensi akan mencapainya. Pilih berdasarkan beban kerja, perangkat lunak, dan syarat lisensi yang benar-benar akan Anda gunakan—bukan angka maksimum di tabel.
GUI mengunggulkan LFM3, matematika tanpa penalaran berpihak ke MiniCPM
Untuk penggunaan GUI—membaca layar dan mengenali elemen antarmuka—keunggulan LFM3 sulit diabaikan. Skor pemahaman GUI-nya 83,1 dengan mode berpikir dan 81,5 tanpanya, dibandingkan 45,3 untuk MiniCPM-V. Pada ScreenSpot-Pro, hasilnya 55,5 berbanding 4,9; pada ScreenSpot-v2 Desktop, 94,6 berbanding 51,5. Jika tujuan Anda mengotomatiskan alur kerja layar atau membangun persepsi untuk tugas robotik, hasil ini memberi alasan kuat untuk menguji LFM3 lebih dulu.
Untuk matematika visual, pilihan berubah ketika mode berpikir dimatikan. Pada We-Math, MiniCPM meraih 47,8, sedangkan LFM3 tanpa mode berpikir mendapat 20,1; LFM3 dengan mode berpikir mencapai 68,6. Pola serupa terlihat pada MathVista mini: MiniCPM mencatat 71,2, LFM3 tanpa berpikir 68,5, dan LFM3 dengan berpikir 84,2. MiniCPM juga unggul atas LFM3 tanpa berpikir pada LogicVista, ChartQA, CharXiv, DynaMath, dan MMMU dalam angka yang dilaporkan. Artinya, jika latensi atau rancangan aplikasi mengharuskan penalaran nonaktif dan tugas Anda melibatkan grafik atau diagram, MiniCPM bisa menjadi alat yang lebih sesuai. Jika penalaran boleh aktif, hasil LFM3 dapat berubah tajam—dengan konsekuensi pada cara Anda mengoperasikannya.
Cara membaca skor dan menentukan pilihan
Skor vendor perlu dibaca bersama metode pengujiannya. Bahkan benchmark dengan nama sama dapat menghasilkan angka berbeda: MiniCPM-V 4.7 mendapat 74,3 pada MathVista di halaman OpenBMB, sedangkan pengujian Liquid atas model tersebut melaporkan 71,2. Karena itu, jangan mengurangkan skor dari dua instrumen berbeda lalu menganggap selisihnya sebagai kemenangan yang pasti. Pakai perbandingan dalam suite Liquid sebagai satu titik awal karena kedua model dijalankan oleh pihak yang sama, lalu uji keduanya pada prompt, harness, pengaturan, dan tugas nyata Anda. Selisih 13,9 poin paling tepat dibaca sebagai hasil suite vendor dengan mode berpikir aktif, bukan ukuran universal kemampuan.
- Buy the LFM3-VL-2B if Anda membutuhkan otomasi GUI, pembacaan layar, atau grounding visual; hasil ScreenSpot-Pro yang dilaporkan jauh lebih tinggi.
- Skip the LFM3-VL-2B if aplikasi komersial Anda mensyaratkan lisensi permisif tanpa ketentuan tambahan; periksa dulu LFM Open License v1.0.
- Buy the MiniCPM-V 4.7 1B if tugas Anda berfokus pada matematika visual atau bagan dan Anda akan menjalankan model tanpa mode berpikir.
- Skip the MiniCPM-V 4.7 1B if kinerja GUI adalah prioritas utama; skor GUI yang dilaporkan tertinggal jauh dari LFM3.
- Buy the LFM3-VL-2B if Anda dapat mengaktifkan mode berpikir dan ingin mengejar hasil lebih tinggi pada matematika visual dalam pengujian yang dilaporkan.
- Skip the MiniCPM-V 4.7 1B if Anda memilih hanya berdasarkan angka agregat; hasil antarvendor dapat berbeda menurut harness dan konfigurasi.
