Peningkatan jumlah ancaman malware pada jaringan komputer menjadi tantangan penting dalam keamanan siber, sehingga diperlukan sistem deteksi yang memiliki kemampuan deteksi tinggi dengan tetap mempertahankan efisiensi komputasi. Tantangan utama dalam deteksi malware berbasis machine learning adalah pemilihan fitur yang relevan, optimasi parameter model, serta keseimbangan antara performa deteksi dan waktu inferensi. Penelitian ini mengusulkan perbandingan model ensemble dengan optimasi hybrid menggunakan Particle Swarm Optimization (PSO) dan Bayesian Optimization untuk deteksi malware jaringan melalui analisis trade-off kinerja dan efisiensi. Penelitian ini menggunakan Malware-Capture berupa Network Flow Metadata yang terdiri dari 22 fitur. Tahapan penelitian meliputi preprocessing data, seleksi fitur menggunakan Particle Swarm Optimization (PSO), optimasi hyperparameter menggunakan Bayesian Optimization, serta penerapan algoritma Decision Tree, Random Forest, dan XGBoost sebagai base learners. Selanjutnya, ketiga model tersebut dikombinasikan menggunakan metode Ensemble Learning dengan pendekatan Soft Voting untuk menghasilkan prediksi klasifikasi yang lebih stabil. Hasil eksperimen menunjukkan bahwa PSO berhasil mereduksi jumlah fitur sebesar 59,09%, yaitu dari 22 fitur awal menjadi 9 fitur terpilih, sehingga mampu mengurangi kompleksitas model dan meningkatkan efisiensi komputasi. Bayesian Optimization berhasil menemukan konfigurasi hyperparameter terbaik yang meningkatkan kemampuan model dalam mendeteksi malware, terutama pada nilai Recall. Penerapan optimasi hybrid mampu meningkatkan Recall hingga 20,84% dibandingkan model baseline.
Berdasarkan analisis trade-off antara kinerja dan efisiensi, model Random Forest Optimal memberikan keseimbangan terbaik dengan nilai Recall sebesar 0,945 dan waktu inferensi sebesar 0,000018 detik per sampel. Kombinasi Hybrid Optimization dan Ensemble Learning menghasilkan model deteksi malware jaringan yang memiliki performa tinggi, stabil, dan efisien untuk mendukung implementasi pada lingkungan jaringan nyata.

Kata Kunci: Deteksi Malware, Ensemble Learning, Hybrid Optimization, Particle Swarm Optimization, Bayesian Optimization, Trade-off.