Skor tinggi, tetapi yang dibandingkan bukan semata-mata model
SWE-2 Flash dan Muse Code adalah dua sistem pengodean berbantuan AI yang menggabungkan model dengan perangkat lunak agen untuk mengubah repositori, menjalankan perintah, dan menguji hasil. Jika Anda sudah bekerja di Devin, SWE-2 Flash tampak lebih menarik; jika Anda menginginkan agen terminal dengan metode evaluasi lebih terbuka, Muse Code lebih mudah dinilai.
Di Terminal-Bench 2.1, SWE-2 Flash mencetak 89,2, sedangkan Muse Code mendapat 82,9—selisih 6,3 poin. Namun, angka itu bukan perbandingan bersih antara dua model AI coding: SWE-2 Flash merupakan model pascapelatihan dari Inkling-Small yang berjalan di Devin Desktop dan Devin CLI, sementara Muse Code adalah agen Meta yang menggabungkan Muse Spark dengan alat dan pengaturan miliknya. Dengan kata lain, yang dibandingkan adalah model beserta lingkungan kerja yang membentuk cara model menjalankan tugas.
Harness dapat mengubah hasil—dan tingkat keterbukaannya berbeda
Harness menentukan cara tugas disajikan, kapan model boleh memakai alat, bagaimana upaya komputasi diatur, serta bagaimana keberhasilan dihitung. Perbedaan pada langkah-langkah ini dapat mengubah hasil tanpa perubahan pada model itu sendiri. Meta menyebut Muse Code memakai pengaturan xhigh, sandbox Daytona terisolasi, dan pass@1 yang dirata-ratakan dari lima percobaan. Cognition tidak menyampaikan rincian setara untuk skor SWE-2 Flash di Terminal-Bench 2.1; unggahan peluncuran SWE-2 Flash juga tidak menyertakan lampiran metodologi seperti unggahan SWE-2 sebelumnya.
Karena itu, keunggulan 6,3 poin belum cukup untuk memastikan SWE-2 Flash lebih mampu dalam kondisi yang sama. Jika selisih empat poin dapat muncul antara dua laporan untuk model yang sama, selisih 6,3 poin dari sistem dengan instrumentasi berbeda bukan hasil penentu. Angka tersebut tetap berguna sebagai petunjuk awal, tetapi pembeli sebaiknya tidak menganggapnya sebagai jaminan bahwa satu sistem akan mengungguli yang lain pada repositori dan alur kerja mereka.
| Perbandingan | SWE-2 Flash | Muse Code |
|---|---|---|
| Terminal-Bench 2.1 | 89,2 | 82,9 |
| DeepSWE 1.1 | 60,1 | 59,3 |
| Bentuk produk | Model yang digunakan melalui Devin Desktop dan Devin CLI | Agen terminal Meta untuk macOS dan Linux |
| Keterbukaan metode Terminal-Bench 2.1 | Rincian harness dan pengaturan effort tidak dipublikasikan | Upaya xhigh, sandbox Daytona terisolasi, pass@1 dari lima percobaan |

Muse Code unggul dalam kendali agen; SWE-2 Flash menang pada skor
SWE-2 Flash memimpin pada kedua angka yang tersedia, tetapi keunggulan Terminal-Bench perlu dibaca bersama skor DeepSWE 1.1: 60,1 untuk SWE-2 Flash dan 59,3 untuk Muse Spark 1.2 di Muse Code. Selisih 0,8 poin itu terlalu kecil untuk membedakan kemampuan secara tegas. Muse Code, di sisi lain, memberi pengguna agen latar belakang persisten yang dapat menghindari pengumpulan ulang informasi dan menjalankan beberapa agen secara paralel pada pohon kerja terisolasi. Log peristiwanya juga mencatat panggilan model, penggunaan alat, persetujuan, dan penyuntingan agar sesi dapat diputar ulang atau dilanjutkan setelah gangguan.
Fitur itu membuat Muse Code lebih menarik bagi tim yang memerlukan sesi panjang dan kendali kerja dari terminal. Namun, Muse Spark 1.2 sudah ditandai usang dan pembaca diarahkan ke versi 1.3, sehingga perbandingan ini tidak menggambarkan pilihan model Meta terbaru. SWE-2 Flash lebih cocok bila Anda sudah menggunakan Devin dan ingin mencoba model yang diklaim lebih cepat serta lebih murah dibanding SWE-2 di dalam produk tersebut. Klaim itu bukan tarif publik yang dapat dibandingkan langsung: tidak ada API publik atau harga per token yang diumumkan untuk SWE-2 Flash.
Data yang dibutuhkan sebelum memilih berdasarkan benchmark
Agar perbandingan lebih adil, Cognition perlu mengungkap harness Terminal-Bench 2.1, tingkat effort, lingkungan eksekusi, jumlah percobaan, cara agregasi skor, dan aturan penggunaan alat—dengan protokol yang dapat diterapkan pada kedua sistem. Hasil pengujian independen pada harness yang sama juga akan membantu memisahkan kontribusi model dari kontribusi agen. Tanpa informasi tersebut, skor 89,2 dan 82,9 menjelaskan hasil yang dilaporkan, bukan alasan pasti di balik selisihnya.
Pilihan praktisnya lebih jelas daripada pemenang benchmark. Muse Code cocok bagi pengguna yang memprioritaskan agen terminal, pengaturan effort yang dipublikasikan, log tahan lama, dan pekerjaan paralel yang terisolasi. SWE-2 Flash layak dicoba oleh pengguna Devin yang ingin menilai kecepatan dan biaya relatif di lingkungan yang sudah digunakan. Jika sistem Anda membutuhkan model coding yang dipanggil melalui HTTP, SWE-2 Flash bukan pilihan saat ini karena tidak memiliki API publik. Produk tanpa harga yang diumumkan bukan berarti murah; biayanya belum diketahui.
Buy if / Skip if
- Buy the SWE-2 Flash if Anda sudah memakai Devin dan ingin menguji model yang lebih cepat serta lebih murah di dalam alur kerja tersebut.
- Skip the SWE-2 Flash if arsitektur Anda memerlukan model pengodean yang dapat dipanggil melalui HTTP atau Anda membutuhkan metodologi benchmark yang dipublikasikan.
- Buy the Muse Code if Anda menginginkan agen terminal dengan log peristiwa tahan lama, kerja paralel pada pohon kerja terisolasi, dan pengaturan effort yang dijelaskan.
- Skip the Muse Code if Anda hanya memilih berdasarkan skor Terminal-Bench 2.1 atau membutuhkan kepastian bahwa Muse Spark 1.2 adalah model Meta terbaru.






