İlk ve ortaokulu Cizre'de, liseyi Mardin'de okudu.
Yüksek öğrenimini, Ankara Üniversitesi Hukuk Fakültesi'nde tamamladıktan sonra, Diyarbakır'da avukatlık stajı yaptı.
Talebeliği döneminde, 49'lar Davası diye bilinen "Kürtçülük Davası"ndan yargılandı.
Cizre'de bir süre avukatlık mesleğini icra etti. 12 Mart 1971 Muhtırası döneminde, Türkiye Kürdistan Demokrat Partisi sanıkları arasında Diyarbakır Askeri Mahkemesi'nde yargılandı. Sekiz ay kadar Askeri Cezaevi'nde tutuklu kaldı.
1977 Türkiye genel seçimlerinde Mardin milletvekili olarak, parlamentoya girdi. 22 Aralık 1977'de Bülent Ecevit, İstanbul Florya semtinde bulunan Güneş Moteli'nde daha sonra 11'ler olarak anılacak Adalet Partisi'nden ayrılan bağımsız milletvekillerden Enver Akova, Ali Rıza Septioğlu, Mustafa Kılıç, Mete Tan, Tuncay Mataracı, Güneş Öngüt, Orhan Alp, Ahmet Karaaslan, Hilmi İşgüzar, Oğuz Atalay ve Şerafettin Elçi ile görüşmüş ve yeni kurulacak hükûmetteki bakanlık koltuğu karşılığıyla Demirel hükûmeti aleyhindeki gensorunu desteklemesi konusunda anlaşmıştı.
Şerafettin Elçi kurulan hükümette 1978–1979 yılları arasında, Bayındırlık Bakanı olarak görev yaptı.
12 Eylül Darbesi'nden sonra tutuklandı. Bakan bulunduğu dönemde "Türkiye'de Kürtler var, ben de Kürdüm" şeklindeki açıklamalarından dolayı, Ankara Sıkıyönetim Mahkemesince 2 yıl 3 ay cezaya çarptırıldı.
Yine Bakanlığı döneminde, "bazı Kürtleri işe aldı" diye Yüce Divan'da yargılandı ve 2 yıl 4 aya mahkûm oldu. Bu cezalardan dolayı, otuz ayı aşkın bir süre cezaevinde kaldı.
Bu cezaların bir sonucu olarak, 10 yıl kadar siyasi haklardan mahrum bırakıldı ve avukatlık mesleğini yapmaktan alıkonuldu.
1992'de, doksan sekiz Kürt aydını ile birlikte Kürt Hak ve Özgürlükler Vakfı'nı kurdu. Vakfın Kurucu Başkanlığı'nı yürüttü. Uzun bir hukuki mücadelenin sonucunda, söz konusu vakıf, 1995'te Kürt Kültür ve Araştırma Vakfı olarak tescil edildi.
Bu sayede, Cumhuriyet tarihinde ilk olarak, "Kürt" adı ile bir kurum resmiyet kazanmış oldu. 1994'te bir grup arkadaşıyla birlikte, Kürt Demokratik Platformu'nun kuruluşuna öncülük etti.
Bu platformun sözcülüğünü yürüttü. Kürt Demokratik Platformu, 3 Ocak 1997'de kurulan Demokratik Kitle Partisi'nin oluşum faaliyetlerini yürüttü. Demokratik Kitle Partisi'nin kuruluşu ile birlikte, Parti'nin Genel Başkanlığı'na getirildi.
Demokratik Kitle Partisi, 26 Şubat 1999 tarihinde Anayasa Mahkemesi tarafından kapatıldı. Daha sonra 19 Aralık 2006 tarihinde kurulan Katılımcı Demokrasi Partisi'nin Genel Başkanlığına getirildi.
12 Haziran 2011 seçimlerinde Diyarbakır ilinden bağımsız milletvekili seçilmiştir. Şerafettin Elçi, milletvekili yemini için, "Parlamentoda edilecek yemini kabul etmemiz mümkün değil.
Bu yemin faşizan bir anlayışla, sadece Türk şoven anlayışıyla hazırlanmış bir yemindir. Hiçbir zaman bu yemin bizim kabulleneceğimiz, benimseyeceğimiz, siyasi mücadele olarak bağlı kalacağımız bir yemin değil." diye açıklamada bulunmuştur.
Kanser tedavisi gören Elçi, 25 Aralık 2012 tarihinde Ankara'da vefat etti.
