SWE-2 Flash vs Muse Code: Seberapa Besar Pengaruh Harness?

Skor tinggi, tetapi yang dibandingkan bukan hal yang sama

Agen coding AI adalah sistem yang menggabungkan model dengan alat dan alur kerja untuk merencanakan perubahan kode, mengedit berkas, menjalankan pengujian, lalu memeriksa hasilnya. Untuk pengguna Devin, SWE-2 Flash tampak menarik karena skornya lebih tinggi dan diklaim lebih cepat serta lebih murah daripada SWE-2; untuk pengguna yang membutuhkan CLI dengan metode yang lebih terbuka, Muse Code lebih mudah dinilai. Pada Terminal-Bench 2.1, SWE-2 Flash mencatat 89,2, sedangkan Muse Code meraih 82,9. Selisih 6,3 poin mendukung SWE-2 Flash, tetapi bukan kemenangan telak yang dapat dilepaskan dari konteks pengujian. SWE-2 Flash adalah model yang berjalan di dalam Devin Desktop dan Devin CLI, sedangkan Muse Code merupakan agen terminal Meta yang dipasangkan dengan Muse Spark 1.2. Jadi, angka tersebut membandingkan dua sistem lengkap—bukan dua model yang diuji dengan kondisi seragam.

Pada DeepSWE 1.1, selisihnya jauh lebih tipis: SWE-2 Flash mendapat 60,1 dan Muse Spark 1.2 di dalam Muse Code meraih 59,3. Angka itu lebih cocok dibaca sebagai hasil yang berdekatan daripada bukti keunggulan besar salah satu pilihan. Terminal-Bench 2.1 memberi SWE-2 Flash keunggulan skor yang jelas, tetapi belum menjawab sistem mana yang akan lebih produktif pada repositori dan alur kerja Anda.

Harness menentukan seberapa adil skor itu dibaca

Perbedaan pentingnya adalah keterbukaan harness agen coding, yakni perangkat dan prosedur yang menghubungkan model dengan lingkungan tugas. Meta menyatakan bahwa skor Muse Code dihasilkan pada tingkat upaya xhigh, memakai harness Muse Code yang dilatih bersama, sandbox Daytona terisolasi, serta pass@1 yang dirata-ratakan dari lima percobaan. Cognition tidak memublikasikan rincian sebanding untuk skor SWE-2 Flash. Karena itu, pembaca dapat memahami lebih banyak tentang cara Muse Code diuji, tetapi tidak dapat memeriksa apakah kedua pihak memakai tingkat upaya, lingkungan, dan prosedur penilaian yang setara. Skor 89,2 tetap berguna sebagai klaim kinerja, bukan putusan independen bahwa model atau agen tersebut pasti lebih unggul dalam semua kondisi.

Ada alasan lain untuk berhati-hati: titik data publik yang tersedia untuk membandingkan klaim benchmark Muse Spark 1.1 menunjukkan 80,0 dari tbench.ai, sementara angka Meta adalah 76,2. Perbedaan antara skor yang dipublikasikan dan yang direproduksi itu sebanding dengan selisih kedua produk pada Terminal-Bench 2.1. Ini tidak membuktikan bahwa skor SWE-2 Flash keliru; artinya, selisih 6,3 poin sebaiknya tidak diperlakukan sebagai ukuran pasti jarak kemampuan. Transparansi metode membuat hasil lebih mudah diperiksa, tetapi tidak otomatis menyamakan kondisi pengujian.

Keterbatasan informasi juga berlaku pada spesifikasi. SWE-2 Flash tidak memublikasikan ukuran jendela konteks, sementara Muse Spark 1.2 bukan lagi model Meta yang paling baru: checkpoint 1.2 ditandai usang dan pembaca diarahkan ke Muse Spark 1.3. Jadi, sebelum memilih berdasarkan skor, periksa apakah angka, versi model, dan cara kerja produk sesuai dengan kebutuhan proyek Anda.

Kecepatan, biaya, dan kendali produk

Cognition menyebut SWE-2 Flash tiga kali lebih cepat dan berharga seperlima SWE-2. Klaim tersebut merujuk pada perbandingan di dalam Devin, bukan tolok ukur harga atau waktu yang bisa langsung disejajarkan dengan produk lain. SWE-2 Flash juga berasal dari basis yang berbeda: model ini dilatih lanjut dari Inkling-Small, model dengan 276 miliar parameter total dan 12 miliar parameter aktif, yang dirilis di bawah lisensi Apache 2.0. Basis itu membantu menjelaskan posisi Flash sebagai model yang lebih kecil daripada SWE-2, tetapi tidak mengubah kenyataan bahwa bobot hasil pelatihan lanjut Cognition tidak tersedia untuk diunduh.

Pilihan produk bisa lebih menentukan daripada selisih benchmark. Muse Code menawarkan agen latar belakang yang persisten, log peristiwa untuk meninjau sesi, serta beberapa agen yang dapat bekerja paralel pada pohon kerja terisolasi. Muse Code lebih cocok bagi pengembang yang menginginkan kendali dari terminal dan visibilitas atas tindakan agen. Sebaliknya, SWE-2 Flash hanya tersedia melalui Devin Desktop dan Devin CLI; tidak ada API publik, ID model, atau bobot yang dapat diunduh. Jika arsitektur Anda membutuhkan model melalui panggilan HTTP, Flash bukan pilihan yang sesuai saat ini.

Bagi pengguna Devin yang sudah bekerja di dalam produknya, klaim kecepatan dan penghematan SWE-2 Flash layak diuji pada repositori sendiri. Namun, skor benchmark saja tidak cukup untuk membenarkan perpindahan atau pembelian: hasil kerja nyata, akses yang dibutuhkan, dan metode evaluasi harus ikut dipertimbangkan. Untuk pengguna yang mengutamakan auditabilitas alur kerja dan kendali CLI, fitur Muse Code memberi alasan praktis memilihnya meski skor Terminal-Bench 2.1 lebih rendah.

Buy if / Skip if

• Buy the SWE-2 Flash if Anda sudah memakai Devin dan ingin menguji model yang diklaim lebih cepat serta lebih murah di dalam alur kerja tersebut.
• Skip the SWE-2 Flash if Anda membutuhkan API publik, ID model yang dapat dipanggil, atau bobot untuk dijalankan di luar Devin.
• Buy the Muse Code if Anda menginginkan agen CLI dengan setelan upaya yang dipublikasikan, log peristiwa yang tahan lama, dan dukungan kerja paralel pada pohon kerja terisolasi.
• Skip the Muse Code if keputusan Anda hanya bergantung pada skor Terminal-Bench 2.1 tertinggi; SWE-2 Flash mencatat 89,2 dibanding 82,9, walau metode pengujiannya tidak diungkap secara sebanding.
• Buy the Muse Code if Anda membutuhkan akses API di balik model dan lebih mengutamakan keterbukaan prosedur evaluasi daripada skor benchmark tertinggi.
• Skip the SWE-2 Flash if Anda tidak dapat menerima perbandingan benchmark yang metode harness dan tingkat upayanya tidak dijelaskan.