1922 yılında Rize'den İzmit'e göç eden eski Karamürsel Müftüsü Ali Efendi'nin oğlu Şevki Yılmaz; 1955`de İzmit`te doğdu. İlkokulu 1967`de İzmit`te bitirdi. 1973 yılında İzmit İmam-Hatip Lisesi'nden mezun olduktan sonra, Derince Lisesi`ni de dışardan bitirdi. 1974 yılında MSP-CHP koalisyonunda, Adalet Bakanlığı Özel kalemi olarak görev yaptı.

Şevki Yılmaz, İstanbul Yüksek İslam Enstitüsü'nden 1980 yılında mezun oldu. Fakülte yıllarında Kartal Müftülüğünde Murakıp olarak memuriyet hayatına devam etti. 1982 yılında Avrupa Milli Görüş Teşkilatları Avusturya Bölge Başkanlığı görevine getirildi. Daha sonra 1984 yılında, Avrupa Milli Görüş Teşkilatları`nda 10 yıl sürecek olan tanıtmadan sorumlu Genel Başkan Yardımcılığı görevini yürüttü.İlk defa, siyasete resmi olarak 1987 yılında Rize milletvekili parti 2.sıra adayı olarak adım attı ancak kazanamadı. 1989 yılında belediye seçimlerinde tekrar aday gösterildi. Refah Partisi bu seçimde ikinci parti oldu.

1991 yılında yapılan milletvekilliği seçimlerinde, Rize`den tekrar aday gösterildi ve % 19.8 oranında oy aldı. 1994 yılında mahalli idareler seçimlerde Rize Belediye Başkanı seçildi.

1995 Milletvekili seçimlerinde, tekrar Rize`den milletvekili adayı oldu. Rize milletvekili olarak mecliste yerini aldı.

1996 yılında kurulan Refahyol Hükümeti sırasında meydana gelen "28 Şubat" 1997 sürecinde Refah Partisi`nden istifa etti.

RP, 17 Ocak 1998 tarihinde kapatıldı. İddianamede adı geçen Şevki Yılmaz da verilen karar neticesi, Prof. Dr. Necmettin Erbakan ve Şevket Kazan, Ahmet Tekdal, İbrahim Halil Çelik, Hasan Hüseyin Ceylan, Şükrü Karatepe, Bekir Yıldız, Zeki Başaran, Selahaddin Aydar, Hasan Celal Güzel ve Recep Tayyip Erdoğan'la birlikte siyasi yasaklılar arasına sokuldu ve bu süreçte Avrupa'ya giderek çalışmalarını orada sürdürdü.

Şevki Yılmaz, 7 yıl sonra 19 Eylül 2004 tarihinde yurda döndü. Evli ve üç çocuk babasıdır.