Çermik Sancağı, idaresi özel bir şekle bağlanan 8 sancaktan bir tanesidir. 1518 de tutulan ilk Osmanlı Tahrir Defterlerinde Diyarbakır Eyaletinin 12 Sancağı kayıtlıdır. Bunlar; Amid, Mardin, Sincar, Çemizgezek, Urfa, Birecik, Siverek, Çermik, Ergani, Harput, Arapkir ve Kiği (Batı Bingöl) 1540 tarihli tahrir defterinde Diyarbakır Eyaletinde 15 Sancak ve 11 Ocaklık kayıtlıdır. Çermik bu 15 sancaktan biridir. Tanzimat'la (1939) Dirlik idaresi kaldırılıp 1868 yerine vilayetler kuruldu. 1871 tarihli Diyarbakır Salnamesi'ne (yıllık) göre Diyarbakır'ın idari teşkilatı şöyledir Amid Sancağı'na bağlı ilçeler; Siverek, Lice, Silvan, Resulyn, Ergani Madeni ilçeleridir. Çermik, Ergani Madeni ilçesine bağlı bir bucak merkezi olmuştur. 1883 tarihli Diyarbakır Salnamesi'nde Diyarbakır'ın idari teşkilatında önemli değişmeler olmuştur. Elazığ il olduğundan Diyarbakır'dan ayrılmıştır. Ergani Madeni, sancak olmuş. Çermik'te ilçe teşkilatı kurulmuş ve Ergani Sancağı'na bağlanmıştır. Bu durum 20 Nisan 1924 yılına kadar devam etmiştir. 20 Nisan 1924 yılında çıkarılan Mülga Teşkilat-ı Esasi'ye Kanunu'nun (Anayasa) 89'ncu maddesi gereği sancaklar kaldırılmış ve idari teşkilatlanma vilayet, kaza, nahiye, kasaba ve köy şeklinde tespit edilmiştir. Bu değişiklikle Çermik, Diyarbakır'ın ilçesi durumuna gelmiştir.