Sebelum tiba di Yarmuk, pasukan Khalid bertemu dengan pasukan Yazid bin Abi Sufyan, Abu Ubaidah bin al-Jarrah, Amr bin al-Ash, dan Syurahbil bin Hasnah di Ajnadayn. Kemudian para panglima itu berkumpul dan berdiskusi. Khalid mengatakan, “Jumlah pasukan musuh sekitar 240.000 orang. Sedangkan total pasukan kita 46.000 orang. Namun Al-qur'an yang mulia mengatakan, "Betapa banyak terjadi golongan yang sedikit dapat mengalahkan golongan yang banyak dengan izin Allah SWT. Dan Allah beserta orang-orang yang sabar.” (QS:Al-Baqarah: 249). Tidak ada sejarahnya, perang dimenangkan semata-mata karena banyaknya jumlah. Tapi kemenangan itu karena mereka beriman kepada yang memerintahkannya, lurusnya niat, strategi untuk menang, dan persiapan. Setelah memahami gagasan-gagasan panglima yang lain dan mengetahui bahwa pasukan Romawi bersatu di bawah komando Theodoric, Khalid memantapkan pilihan menyatukan pasukan muslim di bawah satu komando pula. Strategi ini juga menutup celah setan untuk memecah belah pasukan apabila dipimpin oleh banyak pimpinan. Pada hari pertama perang, pasukan dipimpin oleh Khalid. Hari-hari berikutnya panglima yang lain bergiliran menjadi pimpinan pasukan. Tidak diragukan lagi, Khalid sangat mumpuni dalam mengatur strategi perang. Ia memenangi banyak perang di Jazirah Arab dan berpengalaman menghadapi negara-negara besar. Kemampuannya mengeluarkan pasukan dari keadaan kritis juga luar biasa. Dan strategi perangnya selalu berbuah kemenangan. Khalid mulai membagi pasukan Arab muslim menjadi 46 bataliyon. Setiap bataliyon terdiri dari 1000 pasukan dan dipimpin seseorang yang tangguh di antara mereka. Kemudian ia mengelompokkan pasukan-pasukan itu di jantung pasukan, sayap kanan, dan sayap kiri. Jantung pasukan terdiri dari 15 bataliyon di bawa pimpinan Abu Ubaidah bin al-Jarrah. Pasukan sayap kanan juga terdiri dari 15 bataliyon yang dipimpin oleh Amr bin al-Ash dan Syurahbil bin Hasnah sebagai wakilnya. Demikian juga pasukan sayap kiri terdiri dari 15 bataliyon yang dipimpin oleh Yazid bin Abi Sufyan. Satu bataliyon lainnya berada di garis belakang. Bataliyon ini diizinkan bergerak bebas, tergantung kondisi perang. Pimpinan bataliyon akhir ini adalah Ikrimah bin Abi Jahl. Sementara Khalid bin al-Walid berada di jantung pasukan, memimpin mereka semua dari posisi tersebut. Setelah pasukan tertata rapi, ia menyemangati mereka untuk berjihad dan bersabar dalam menghadapi musuh. Khalid menyusun rencana, memerintahkan pasukannya menunggu Romawi terlebih dahulu yang memulai peperangan. Ketika kuda-kuda mereka sudah menyerang garis depan pasukan Islam, Khalid instruksikan agar pasukan tetap membiarkan mereka leluasa hingga masuk jauh ke dalam sampai garis belakang pasukan. Di belakang, mereka akan disergap pasukan kavaleri (pasukan berkuda) kaum muslimin. Keadaan itu akan memecah pasukan infanteri Romawi dan kavalerinya. Kaum muslimin pun bisa dengan mudah melibas infanteri Romawi. Khalid memilih taktik difensif karena di belakang mereka ada Kota Madinah yang harus dilindungi. Sedangkan orang-orang Romawi lebih memilih menyerang dahulu karena mereka berada di lembah Yarmuk yang dikelilingi oleh tiga bukit. Ketika orang-orang Romawi sampai di tempat itu, kaum muslimin menyeberangi sungai hingga berada di sisi kanannya. Dan orang-orang Romawi dikepung bukit sementara di hadapan mereka ada pasukan kaum muslimin. Saat fajar hari, tanggal 28 Jumadil Ula 13 H, mulailah kaum muslmimin memprovokasi Romawi. Sesuai rencana Khalid, pasukan berkuda Romawi memasuki garis depan pasukan Islam. Dan Khalid telah menyiapkan pasukan berkuda untuk menghadapi mereka. Keadaan berjalan sesuai rencana. Tentara-tentara Romawi diterkam oleh singa-singa Islam. Mereka lari kocar-kacir. Ada yang menuju sungai. Ada pula yang memasuki jurang-jurang. Mereka kian terpojok dan banyak yang tewas terbunuh. Sedangkan pasukan infanteri Romawi berada dalam keadaan terikat. Karena takut lari dari perang, pemimpin mereka merantai pasukan pejalan kaki ini, satu rantai 10 orang. Rantai itu membuat mereka sulit bergerak. Terlebih saat salah seorang dari mereka terluka atau tewas. Perang berlangsung selama satu hari. Theodoric kabur dan akhirnya tewas terjerembab ke dalam jurang. Kerugian yang didapat kaum muslimin pada perang ini sekitar 3000 pasukan terluka, sedangkan kerugian Romawi tak terhitung. Seorang dari pasukan Khalid menyatakan bahwa kerugian yang diderita Romawi adalah 8000 orang Romawi tewas terjerembab di parit termasuk di antaranya Theodoric, saudara Heraclius. Khalid berkata, “Segala puji bagi Allah yang telah menolong hamba-hamba-Nya yang beriman”. Sebelumnya, saat perang tengah berkecamuk, datang seorang utusan dari Madinah yang mengabarkan bahwa Khalifah Abu Bakar ash-Shiddiq radhiallahu ‘anhu wafat. Kaum muslimin telah sepakat membaiat Umar bin al-Khattab radhiallahu ‘anhu sebagai penggantinya. Utusan itu juga mengabarkan, Khalifah Umar mengganti Khalid bin al-Walid dengan Abu Ubaidah bin al-Jarrah sebagai panglima utama pasukan. Khalid sengaja merahasiakan kabar ini, khawatir konsentrasi pasukan terpecah dan mengganggu moral pasukan jika diberitahu saat perang terjadi. Setelah perang usai, Khalid meletakkan jabatan dan memberikannya kepada Abu Ubaidah bin al-Jarrah. “Sekarang, engkaulah panglima besar pasukan. Aku adalah prajuritmu yang bisa dipercaya. Perintahkanlah aku, aku akan menaati,” kata Khalid kepada Abu Ubaidah.