Perkembangan Intelligent Transportation System (ITS) menuntut sistem penghitungan kendaraan yang akurat dan otomatis. Algoritma You Only Look Once versi 11 (YOLOv11) dan Real-Time Detection Transformer (RT-DETR) merupakan dua arsitektur deteksi objek yang banyak digunakan, namun memiliki karakteristik akurasi dan kecepatan yang berbeda karena pendekatan berbasis Convolutional Neural Network (CNN) dan transformer. Penelitian ini bertujuan menerapkan dan membandingkan performa keduanya yang diintegrasikan dengan algoritma pelacakan ByteTrack untuk deteksi dan penghitungan kendaraan secara real-time. Pengujian dilakukan menggunakan dataset 500 citra lalu lintas Kota Palembang dengan empat kelas kendaraan (bus, mobil, motor, dan truk) dan tiga skema pembagian data (70:30, 80:20, dan 90:10), serta pengujian real-time pada rekaman video. Metrik yang dikumpulkan meliputi Precision, Recall, mean Average Precision (mAP), kecepatan inferensi (FPS), dan Identity Switch. Hasil penelitian menunjukkan RT-DETR unggul dalam akurasi (mAP@50 0,943) dan kestabilan pelacakan (Identity Switch 26), sedangkan YOLOv11 unggul dalam kecepatan (41,76 FPS) yang memenuhi ambang real-time dibandingkan RT-DETR (16,03 FPS). Temuan ini menunjukkan adanya trade-off antara akurasi dan kecepatan, sehingga YOLOv11 ditetapkan sebagai arsitektur paling optimal untuk penghitungan kendaraan real-time dengan akurasi yang tetap kompetitif (mAP@50 0,917). Penelitian ini berkontribusi dalam pemilihan arsitektur deteksi yang tepat serta membuka peluang penelitian lanjutan pada kondisi lalu lintas yang lebih beragam.