Şah Haydar Seyyid Mahmud-i Hayrani’nin oğludur. Zeve yakınlarında bulunan Zargovit tepesinde hayvanlarını otlatmak için bir ev yapar. Burada hayvanlarıyla meşgul olur.
Kışın zemherisinde keçilerinin gayet güzel beslendiklerini gören Seyyid Mahmud-i Hayrani “Acaba Şah Haydar bu kışın ortasında bu hayvanlara ne yediriyor ki hayvanlar bu kadar güzel besleniyorlar.” Diye merak eder ve Şah Haydar ile hayvanların bulunduğu yere gider. Bir de bakar ki Şah Haydar elindeki çubuğu hangi meşe ağacına değdiriyorsa o ağaç hemen yeşeriyor. Taze filizlerle süsleniyor, keçiler de bu filizlerden yiyerek besleniyorlar.
Seyyid Mahmud-i Hayrani bu durumu görünce sesini çıkarmadan geri dönmek ister. Ancak o sırada bir keçi, birkaç kez üst üste hapşırır. Şah Haydar ne oldu babam Derviş Mahmud’umu gördün ki bu kadar hapşırırsın, der ve arkasına baktığında babasının kendisine görünmeden gitmek istediğini görür.
Babasına bizzat ismi ile hitap ettiği için mahcup olur. Mahcubiyetinden kaçıp halen Düzgün Baba Dağı olarak söylenen bir tepeye çıkar ve burada mekan tutar. Rivayet olunur ki Şah Haydar babasına ismen hitap ettiği için mahcubiyetinden ötürü kaçtığı zaman ayağında kışın karda giyilen hedik veya leken varmış. Bu hediklerle Zargovit’ten Düzgün Baba tepesine kadar (Takriben 5 Km.) üç adım atmış, bastığı her yerde hedikler taşa iz bırakmıştır. Bu izler hala durmaktadır.
Şah Haydar bir iki gün eve gelmeyince annesi endişelenir. Durumunu öğrenmesi için Şah Haydar’ın babasına rica eder. O da yanındaki müritlerine “Gidin bakın bakalım bizim Şah Haydar ne alemde?” der.
Müritlerden birkaç kişi 2500 metre yükseklikteki dağın tepesine çıkıp Şah Haydar ile görüşürler. Durumunun iyi olduğunu ve herhangi bir sorununun olmadığını öğrenerek tekrar Zeve’ye dönerler. Seyyid Mahmud-i Hayrani’ye, Şah Haydar’ın durumu düzgündü, merak edilecek herhangi bir şey yoktur. Selam ve hürmet eder ellerinizden öper derler.
Bu işi düzgündür sözü dilden dile dolaşır ve asıl adı Şah Haydar olan bu zata artık bir süre sonra Düzgün Baba olarak bir isim atfedilir. O günden, bugüne Düzgün Baba olarak söylenir.