Ömer b. Abdülaziz, halife sıfatını taşıdığı için dünyada korkacağı hiçbir kimse yoktur. Kendisinden önceki Emevi halifeleri gibi davransa her istediğini yapabilirdi. Ama o, önce Allah'tan korkuyordu. Emir ve yasaklarını uygularken hataya düşmekten korkuyordu. Bu nedenle zaman zaman gözyaşı döküyordu.
Hanımı Fatıma naklediyor:
"Bir gün Ömer b. Abdülaziz'in yanına girdim. Namazlığına oturmuş, elini anına dayamış, durmadan ağlıyor, gözyaşları yanaklarını ıslatıyordu. Ona:
-Niçin bu halde oturuyorsun, diye sordum. 
Bana dedi ki:
-Fatıma!  Ümmetin en ağır yükü, omuzlarımdadır. Ümmetin içinde açlar, fakirler, hasta olup ilaç bulamayanlar, giyecek elbisesi olmayanlar, boynu bükük yetimler, yalnız başına terk edilmiş dul kadınlar, gurbette ve küfür diyarında kalan Müslüman esirler, ihtiyacını karşılayabilmek için çalışma gücü kalmayan yoksul yaşlılar, aile fertleri kalabalık olan aile reisleri… Yakın ve uzak diyarlardaki böyle mümin kardeşlerimi düşündükçe yükümün altında eziliyorum. Yarın hesap gününde Rabbim bunlar için beni sorguya çekerse, Resulullah (sav) bunun için bana serzenişte bulunursa ben nasıl hesap vereceğim?..
Bir gün yine ağlarken oğlu Abdülmelik gördü. Niçin ağladığını sordu. Ömer de: "Evladım, keşke baban dünya ile hiç tanışmasaydı. Allah'a yemin ederim ki ben, helak olmaktan değil, hesaba çekilip cehennemlik olmaktan korkuyorum.
Ömer, bir gün arkadaşı Meymun b. Mihran ile mezarlığa gider. Ziyaret esnasında şöyle der:
"Bu kabirleri görüyor musun? Bunlar, atalarım Ümeyyeoğullarına aittir. Onlar, aramızdan çekip gittiler. Halbuki onlar, dünya nimetlerinden en çok yararlananlardı. Şu haliyle dünya nimetlerinden hiç nasiplenmemiş gibiler…"
Yine bir gün cenaze defni için mezarlığa gider. Definden sonra mezarlığı dolaşır. Dostlarının kabirlerini ziyaret edip geri dönerken yanındakilere şöyle der:
"Şu toprağın bana ne söylediğini biliyor musunuz? Dedi ki: Ey Ömer, dostlarının önce kefenlerini yırtıp parçaladım. Etlerini yedim, gözlerini oydum. Yanaklarını kemirdim. Ellerini bileklerinden, bileklerini kollarından, kollarını omuzlarından, omuzlarını vücudundan ayırdım. Ayakların bacaklarından, bacaklarını baldırlarından, baldırlarını kalça kemiklerinden ayırıp parça parça ettim. Toprak bana böyle derken kalkıp ayrılmak istedim ama arkamdan seslendi; sana parçalanmayacak bir kefen söyleyeyim mi, diye. Döndüm ve söyle dedim. Allah'tan kokup Salih amel işlemendir, dedi."
O, kabir ziyaretini ibret için yapıyor ve böyle dersler çıkarıyordu. Kendisin ölümden sonrasına hazırlamaya çalışıyordu. Dostlarına ve hatta cemaate de bu doğrultuda öğüt veriyordu. Bir gün hutbede şöyle diyordu:
"Ey insanlar, hepiniz ölüme adaysınız. Hepiniz bir gün ölüp gideceksiniz. Hepiniz içinden cenaze çıkacak evlerde oturuyorsunuz. Biriniz öldüğünde ya kıyamete kadar ruhu azap duyacaklardan ya da güven içinde olacaklardan olduğunu bilmeden alıp onu kara toprağın kucağına götürüyorsunuz… Aslında hepimiz, Allah'tan geldik, yine O'na döneceğiz."
Eşi Fatıma, onun yanında ahretten bahsedildiğinde yatağında bile olsa sudan çıkmış serçenin çırpındığı gibi birden fırlar, çırpınır ve hıçkıra hıçkıra ağlardı, diyor. İşte bu nedenle geceleri pek uyku tutmazdı. Bu halini dostlarına şöyle anlatıyordu:
"Dün gece yine uyuyamadım. Kabir ve içindeki yatanları düşündüm. Onlar, rahat bir ev ve güzel bir meskendeyken şimdi buradalar. Başına gelenleri bir bilsen yanına yaklaşmaktan ürperirdin"
Ömer, yakınlarından ölenleri görmüş ve o acıyı hep yüreğinde hissetmişti.  Önce oğlu Abdülmelik, ardından kardeşi Sehl ve yakın arkadaşı ve katibi azatlı kölesi Mülazim vefat etmişti. "Ölüm; dünyanın ârını, ayıbını ve içyüzünü sere serpe ortaya koymuştur" diyordu. 
Bu ölümlerden sonra Şam'ın en Salih insanı olarak bilinen İbni Ebu Zekeriya'yı çağırarak der ki:
_Ey bilge insan, seni niçin çağırdığımı biliyor usun?
-Hayır, müminlerin emiri.
-Senden istediğimi yerine getireceğine dair Allah'a yemin etmedikçe sana bir tek kelime söylemem.
-Gücüm yeterse mutlaka yaparım.
-Önce yemin et deyince İbni Ebu Zekeriya yemin etmek zorunda kalır. O zaman Ömer der ki:
-Ruhumu alması için Allah'a dua et.
Ömer b. Abdülaziz'i çok seven ve onun İslam ümmetine daha çok hizmet yapmasını arzu eden İbni Ebu Zekeriya neye uğradığına şaşırır.
-Ben, müminlerin emirine düşman mıyım? Ben ne yaptım diyerek çırpınıp durur. Fakat Ömer, ona yeminini hatırlatır. Bunun üzerine şöyle dua eder:
-Rabbim, müminlerin emirinin ruhunu ve hemen ardından da benim ruhumu al.
İbni Abdülhakem'in rivayetine göre Ömer b. Abdülaziz, bir gün hastalanıp vefat eder. Büyük bir tevafukla ertesi gün de İbni Ebu Zekeriya vefat etmiştir,
Kendisinden dünyalık isteyenleri dinliyor ve ihtiyacı olmadığı halde gereksiz taleplerde bulunduklarını anladığında onlara şöyle nasihat ediyordu:
"Dünyada her şey arzu eder de ona kavuşamazsan ölümü hatırla. Ölüm, arzu ve isteklerini azaltır. Yine dünyada bir şey görüp de onu canın çekerse yine ölümü hatırla. Senin ondan vazgeçmeni kolaylaştırır. Bu, senin için daha hayırlıdır."
Ömer, bu hali ve takvasıyla Ümeyyeoğullarından çok farklıydı. Onlara hiç benzemiyordu. Onlar, dünyalık peşindeydiler. Ümmetin rahat ve huzuru, onları hiç ilgilendirmiyordu. Zorba valiler ve komutanlarla halkı sindirmeyi tek çare olarak görüyorlardı. Ömer ise adaletli gelir dağılımı, sosyal politika anlayışıyla halkın refah seviyesini artırmış ve bunu inancının gereği olarak uygulamıştı. Fakirin, yoksulun, yolda kalmışın, kimsesizin dertleriyle ilgilenmişti. Bu sorumluluğu yerine getirirken ailesine bile zaman ayıramamıştı.
Tarihçiler, devlet hazinesine şahsı için el sürmekten kaçındığını, bir kişiyi özel bir işi için meşgul ettiği zaman devletin malı olan kandili söndürüp kendi kandilini yaktığını, devletin mutfağında ısıtılan su ile abdest almaktan kaçındığını, Müslümanların ortak mallarını özel işlerinde kullanmadığını, sarayda ve evinde her türlü israfı yasakladığını bildirirler.
Onun şeklen değil, samimi bir Müslüman olduğunu herkes kabul eder. Eşi Fatıma, Ömer kadar namaz kılan ve oruç tutanı görmedim, diyordu. Beş vakit namazını muntazam kılardı. Hasır üzerinde uyumayı tercih ederdi. Camilerde süs ve tezyinattan hoşlanmazdı. Tezyinattan uzak olan yerlerde daha ihlaslı ibadet edileceğine inanırdı.
Bütün bu özelliklerinden dolayı zamanın şairleri, onu şöyle anlatıyorlardı:
"Hilafet kime geldiyse onu ziynetlendirmiştir.
Sen halife olmakla hilafet süslenmiştir.
İnci yüzlerin güzelliği için ziynet oldu;
Senin güzel yüzün ise inciye ziynet oldu."
Ömer b. Abdülaziz, Emevi hükümdarlarının aksine "halife" niteliklerine uyuyordu. Hatta ilk dört halifenin devamı olarak görülüyor ve bu nedenle "Beşinci Raşit Halife" olarak anılıyordu. Hem de hilafet süresi sadece iki buçuk yıl, beş ay olmasına rağmen…