Umar bin Khattab terkenal dengan keheningan jiwa dan kebersihan hatinya. Sehingga Rasulullah Saw bersabda: ”Allah telah menjadikan kebenaran pada lidah dan hati Umar”. Ia terkenal dengan kezuhudan dan kesederhanaannya. Diriwayatkan, pada suatu ketika setelah ia menjabat sebagai khalifah, ia berpidato dengan memakai baju bertambal dua belas sobekan. Diceritakan, Abdullah bin Umar, putra Umar bin Khattab, ketika masih kecil bermain dengan anak-anak yang lain. Anak-anak itu semua mengejek Abdullah karena pakaian yang dipakainya penuh dengan tambalan. Hal ini disampaikannya kepada ayahnya yang ketika itu menjabat sebagai khalifah. Umar merasa sedih karena pada saat itu tidak mempunyai uang untuk membeli pakaian anaknya. Oleh karena itu ia membuat surat kepada pegawai Baitulmal (Pembendaharaan Negara) diminta dipinjami uang dan pada bulan depan akan dibayar dengan jalan memotong gajinya. Pegawai Baitulmal menjawab surat itu dengan mengajukan suatu pertanyaan, apakah Umar yakin umurnya akan sampai bulan depan. Maka dengan perasaan terharu dengan diiringi derai air mata, Umar menulis lagi sepucuk surat kepada pegawai Baitul Mal bahwa ia tidak lagi meminjam uang karena tidak yakin umurnya sampai bulan yang akan datang. Disebutkan dalam buku-buku tasawuf dan biografinya, Umar menghabiskan malamnya beribadah. Hal demikian dilakukan untuk mengibangi waktu siangnya yang banyak disita untuk urusan kepentingan umat. Ia merasa bahwa pada waktu malamlah ia mempunyai kesempatan yang luas untuk menghadapkan hati dan wajahnya kepada Allah SWT.