Abu al-Aiyah bukan sekedar ulama amilun saja, bukan pula sebatas pemberi nasihat dan pembimbing, namun juga seorang mujahid fii sabilillah. Beliau meluangkan waktunya untuk terjun di medan-medan jihad bersama para mujahidin, atau ribath (berjaga-jaga) akan datangnya musuh di perbatasan bersama para murabithun. Beliau lebih suka berjihad melawan Romawi di Syam dan juga Persia, negeri di seberang sungai Jihun. Beliau adalah orang yang pertama kali adzan di negeri-negeri tersebut.
Ketika terjadi peperangan antara Ali dan Mu’awiyah, beliau memiliki sikap, beliau bercerita:
“Ketika terjadi peperangan antara Ali dan Mu’awiyah, saya termasuk orang yang bersemangat. Perang ketika itu lebih aku sukai daripada air dingin di musim kering. Maka saya mempersiapkan perlengkapan kemudian mendatangi mereka. Ternyata di hadapan saya telah berdiri dua barisan pasukan berhadapan yang tak kelihatan ujungnya. Jika satu barisan meneriakkan takbir maka barisan yang lainpun meneriakkan takbir. Jika yang satu meneriakkan La ilaaha Illallah, kelompok yang lainpun meneriakkan La ilaaha Illallah. Lalu saya bertanya-tanya kepada diriku sendiri: “Manakah di antara dua kelompok pasukan yang saya anggap kafir dan akan saya perangi? Manakah yang saya anggap mukmin sehingga saya akan berjihad bersamanya? Lalu aku tinggalkan keduanya dan pergi.”
