Namaz kılan yaşlıyı severim ama namaz kılan gence âşığım diyen Hz. Ömer, ele geçirilen yerleşim merkezlerinde öncelikle cami yaptırılmasını emretmiş, bunun yanında bazen, fethedilen şehirlerdeki eski mâbedler tamamen veya kısmen camiye çevrilmiştir. 
Nitekim Dımaşk şehrinin ortasında bulunan Yuhannâ Kilisesi'nin yarısı Hristiyanlara bırakılmış, yarısı camiye dönüştürülmüştür. Kudüs'te olduğu gibi barış yoluyla ele geçirilen yerlerde ise eski mâbedlere dokunulmamıştır. Mescid-i Aksâ 'nın yeri tespit edilmiş ve buraya büyük bir cami yapılmıştır. Genellikle camilerin yanına emir evi ve çarşı inşa edilmiştir. Bu şehirlere Arabistan'ın çeşitli yerlerinden gelerek fetihlere katılmış olan askerler yerleştirilmiş, daha sonra aileleri getirilip mahalleler kurulmuş, bu mahallelerde mescitler açılmış, böylece iki ayrı şehir modeli ortaya çıkmıştır. Kudüs, Dımaşk, Antakya, Medâin ve İskenderiye gibi gayri müslimlerin de yaşadığı şehirler dinlere göre mahallelere bölünürken Basra, Kûfe ve Fustat gibi yeni kurulan şehirlerde Arap yarımadasından fütuhat için gelen müslüman kabilelerine göre yerleştirilmiştir.
Hz. Ömer görev yerlerine gitmeden önce valilerin bütün servetlerini kaydettirir, servetlerinde aşırı miktarda artış olanların durumlarını araştırır, gerekirse servetlerinin bir kısmına el koyardı. Valilerinin ve diğer görevlilerinin teftişine çok önem veren Hz. Ömer, hakkında şikâyet bulunanlar için soruşturma açmış, bu iş için genellikle Ensar'dan Muhammed b. Mesleme'yi görevlendirmiştir. Her yıl hac mevsiminde valileri Medine'ye çağırır, halktan bazı kimseleri de yanlarında getirmelerini ister, onlardan vilâyetlerinin durumuna, halkın şikâyetine, fiyatlara, zayıf ve güçsüzlerin, valilerin yanına girip giremediklerine, valilerin hastaları ziyaret edip etmediklerine dair sorular sorardı. Ayrıca teftiş maksadıyla vali ve görevlilerin tanıyamayacağı bazı sahabeleri gizlice vilâyetlere göndererek rapor isterdi. Savaşta nasıl davranılacağıyla ilgili prensipler ortaya koyan Hz. Ömer savaştan önce karşı tarafla temasa geçilmesini, onlara elçilik heyeti gönderilmesini, bu heyetin onları İslâm'a davet etmesini, kabul etmedikleri takdirde cizye ödemelerinin teklif edilmesini isterdi. Bunu da kabul etmezlerse savaşılacağının kendilerine bildirilmesini ister, insanlık dışı davranışlarda bulunulmamasını, kadın ve çocuklara dokunulmamasını tembih ederdi. (Ebû Yûsuf, II, 441-443). Orduların durumunu yakından takip edebilmek ve merkezle taşra arasındaki irtibatı sağlayabilmek için haberleşmeye büyük önem vermiş, bu maksatla yollara menziller yaptırmış, valilerinden devamlı bilgi istemiştir.
Hicaz, Bahreyn, Yemen, , Ecnâdüşşâm (Suriye garnizonları), Kûfe, Basra ve Fars ile Mısır Hz. Ömer zamanındaki büyük vilâyetlerdi. Bunlara bağlı birçok şehir veya bölgenin merkezlerin valilerine bağlı yahut bizzat halife tarafından tayin edilen kumandan-valileri veya görevliler bulunuyordu. Halife ordunun asker, levazım ve hayvan ihtiyacını kendisi Medine'de karşılıyordu. Bu dönemde askerlerin adları divan defterlerine yazılmak suretiyle âdeta zorunlu askerlik ve düzenli orduların kurulmasına adım atılmış, ziraata elverişli toprakların sulanması için bent-kanal sistemleri kurulmuş, su ihtiyacının karşılanması için yerleşim merkezlerine kanallar açılmıştır. Hz. Ömer devletin başşehri Medine'ye vali tayin etmemiş, idaresini bizzat kendisi üstlenmiştir. Devlet idaresinde âdil olunması ( Mâide 8), işlerin ehline havale edilmesi (Nisâ 58) gibi Kur'an esaslarına ve bilhassa istişareye (Âl-i İmrân 159;Şûrâ 38) büyük önem vermiştir. Adalet işlerine önceleri valiler bakarken Hz. Ömer Kûfe, Basra, Dımaşk, Filistin, Humus, Ürdün, Mısır ve Bahreyn'e kendisine bağlı kadılar tayin etmiştir. Ebû Mûsâ el-Eş'arî'ye gönderdiği, İslâm hukuk tarihinde önemli bir yeri olan mektubunda Kadı'nın tarafsızlığı, tarafların delil getirme yükümlülüğü, anlaşıp barışma ve Kadı'nın hatalı kararından dönmesi gibi yargılama usulünün temel meselelerine temas ederken Kitap ve Sünnette bulunmayan hususlarda kıyas yapılmasını istemiştir. Aksi sabit oluncaya kadar bütün müslümanların dürüst birer şahit olarak kabul edilmesi, tarafsızlığa, doğru ve kanunî delillere önem verilmesi, keyfî delillerin reddedilmesi, delilin bulunmadığı durumlarda yemine başvurulması gibi esaslara yer vermiştir. Kaynaklarda onun benzer esasları ihtiva eden başka mektupları da yer almaktadır. İslâm tarihinde ilk hapishane Hz. Ömer zamanında kurulmuş ve bunun ardından cezalarda bazı değişikliklere gidilmiştir.
Kara yoluyla Medine'ye erzak sevki zor olduğu için Mısır Valisi Amr b. Âs, Hz. Ömer'den izin alarak Nil nehri kenarındaki Babilon şehriyle Kızıldeniz sahilindeki Külzûm (Süveyş) Limanı'nı birbirine bağlayan, firavunlar döneminde yaptırılmış ve zamanla kapanmış olan kanalı açtırmıştır. Böylece "Halîcü emîri'l-mü'minîn" adını verdiği su vasıtasıyla Kızıldeniz üzerinden Medine'ye erzak gönderilmesini ve Mısır, Haremeyn ile Yemen ve Hindistan arasında deniz ticareti yapılmasını sağlamıştır. Kızıldeniz'i Akdeniz'e bağlamak üzere bir kanal açılabileceğini halifeye bildiren Amr, hacca gelenlerin gemilerini Rumlar 'ın yağmalayacağı endişesini ifade eden Hz. Ömer'den izin alamadığı için bu tasavvurundan vazgeçmiştir (Abdülhay el-Kettânî, II, 118-120). Hz. Ömer, Medine nüfusunun giderek artması üzerine Mescid-i Nebevî'yi genişletmiş (17/638), Hz. Peygamber'in hücre-i saadetleriyle mescidin arasına duvar yaptırmış, kuzey duvarını biraz geriye çektirmiş ve ön duvar mevcut sütunların aralığı kadar ileri alınarak yanlara üçer, batı tarafından ön duvara dik ikişer sütun ilâve ettirmiştir. Çevre duvarını ve tavanı yükseltip kapı sayısını altıya çıkartmış, zemini Akik vadisinden getirilen küçük çakıl taşlarıyla kaplatmıştır.
(635) yılında Mescid-i Nebevî'de ilk defa cemaatle teravih namazı kılınmasını emretmiş, kadın ve erkeklere iki ayrı imam tayin etmiştir.
Dürüstlük pahalı bir mülktür ucuz insanlarda bulunmaz, ölçünüz daima Allah (cc) rızası olsun, İşlerinde Allah'tan korkanlarla istişare et diyen adil halifeyi rahmetle anıyoruz. Ruhu şâd olsun.