Abdullah bin Rawahah bukan hanya seorang penyair. Ia juga turut berjuang di medan jihad, Abdullah bin Rawahah ikut serta dalam peperangan di Badar, Uhud, Khandak dan Khaibar. Saat itu, syair-syair Abdullah bin Rawahah menyemangati pejuang Muslim. Pada saat persiapan perang Muktah, Rasulullah menunjuk Abdullah bin Rawahah untuk menjadi panglima perang yang ketiga setelah Zaid bin Haritsah dan Jafar bin Abu Thalib. Apabila Zaid gugur, pemimpin pasukan muslim adalah Jafar bin Abu Thalib. Apabila Jafar gugur, pemimpin pasukan muslim digantikan oleh Abdullah bin Rawahah.Dalam perjalanan ke Muktah, syair-syair Abdullah memberikan semangat kepada pasukan Muslim. Pasukan Muslim pun semakin teguh pendiriannya untuk membela agalam Allah. Mereka tetap bersemangat sekalipun mereka melihat pasukan musuh yang jauh lebih banyak dibandingkan jumlah mereka. Jumlah pasukan Romawi saat itu mencapai sekitar 200.000 tentara.Beberapa di antara pasukan muslim ada yang mengusulkan untuk meminta pasukan tambahan kepada Rasulullah. Mendengar usul demikian, Abdullah bin Rawahah berkata dengan lantang, “Wahai kawan-kawan! Demi Allah, sebenarnya kita berperang bukan karena jumlah atau kekuatannya. Kita berjuang untuk agama Allah, salah satu dari dua kebaikan pasti akan kita capai, yaitu kemenangan atau syahid di jalan Allah”. Pasukan muslim pun berteriak membenarkan ucapan Abdullah bin Rawahah. Pasukan muslim terus maju bergerak membela agama Allah.Pertempuran yang tidak seimbang pun terjadi. Ketika itu, panji perang tentara Muslim dibawa oleh Zaid bin Haritsah. Zaid menyerbu tentara musuh dengan semangat tinggi. Pada pertempuran itu, Zaid bin Haritsah mati syahid. Kemudian, panji dibawa pertempuran oleh Jafar bin Abu Thalib. Jafar mengibas-ngibaskan pedangnya pada barisan tentara musuh. Jumlah yang tidak seimbang menyebabkan Jafar bin Abu Thalib harus menghadapi beberapa tentara sekaligus. Saat itulah, tangan kanannya terputus karena sabetan pedang. Ia pun memegang panji dengan tangan kirinya. Akhirnya, Jafar bin Abu Thalib juga mati syahid.Kemudian, Abdullah bin Rawahah segera mengambil panji itu dan pergi menjauh dari medan perang. Namun saat itu, tentara Muslim dalam keadaan terdesak. Abdullah bin Rawahah pun kembali bertempur secara mati-matian. Ia juga terus menyemangati pasukannya. Ia menyerang pasukan musuh dengan pedangnya dan berhasil menewaskan beberapa tentara musuh. Namun setelah beberapa lama bertempur, ia mati syahid.Saat peperangan sedang terjadi, Rasulullah sedang bersama para sahabat. Mereka sedang membicarakan tentang peperangan di Muktah. Tiba-tiba, Rasulullah terdiam. Dengan mata berkaca-kaca, Rasulullah mengisahkan bahwa Zaid bin Haritsah gugur, disusul kemudian Jafar bin Abu Thalib, dan Abdullah bin Rawahah. Namun tidak lama kemudian, mata Rasulullah berbinar. Rasulullah mengatakan bahwa dirinya melihat ketiganya dimasukkan ke dalam surga. Janganlah kamu mengira bahwa orang-orang yang gugur di jalan Allah itu mati. Sesungguhnya, mereka itu hidup di sisi Tuhan-Nya dengan mendapat rezeki.