4 Eylül 1927'de İrlanda göçmeni olan John Patrick ve Ida Glatt McCarthy'nin çocuğu olarak Boston'da dünyaya geldi. Ekonomik durumu iyi olmayan; hatta ekonomik kriz sebebiyle birçok kez taşınmak zorunda kalan bir ailenin çocuğuydu.
Eğitim alanındaki planları daha 10 yaşlarında iken belliydi. Kaliforniya Teknik Üniversitesi'nde matematik üzerine okumak istiyordu. Boş vakitlerinde matematik kitaplarına çalıştığından üniversiteyi kazandığında ilk 2 yılın derslerini atlayabilecek düzeye gelmişti.
1948 yılında Kaliforniya Üniversitesi'nden matematik lisansını aldı. 1951 yılında da Princeton Üniversitesi'nden yine matematik alanında Solomon Leftchetz'in öğrencisi olarak doktorasını tamamladı.
Princeton, Stanford, Dartmouth ve MIT'de kısa süre çalıştıktan sonra 1962 yılında Stanford'da profesör olup 2000 yılında emekli olana kadar orada kaldı.
Yapay zekâ yüzyıllardır mitolojide, hikayelerde, tiyatro oyunlarında hep insan gibi düşünen hatta insandan daha üstün bir varlık yaratma hayalinden doğdu. 1943 yılında Turing'in “Makineler düşünebilir mi?” sorusunu ortaya atmasıyla bu hayal bilim alanında da gelişme fırsatı buldu.
Bunun ardından bilim adamları bu konuda çalışmaya başladılar. 1956'da Darthmouth Konferansı'nda McCarthy “yapay zekâ” adını koydu ve bu alanda çalışmalarına devam etti. Günümüzde halen kullanılan “LISP” dilini de yapay zekâ uygulamalarının programlarında kullanmak için yazdı. Bu dil onlarca yıl sürekli geliştirilerek kullanılmaya devam etti.
Bu sırada da bir dil ailesinin temeli haline geldi; çünkü Lisp'ten ANSI Common Lisp, Emacs Lisp(elisp), Scheme ve Autocad'in Autolisp'i gibi birçok lehçe türedi. Bunlardan Common Lisp ve Scheme kendilerini yaygın olarak kullanılan iki ana lehçe olarak kabul ettirdi.
Yapay zekâ çalışmaları ve Lisp dili ile bilgisayar bilimine yaptığı katkıların yanı sıra bilgisayarlarda zaman paylaşımı üzerine de çalıştı.1961'de IBM tarafından tanıtılan ve 1973'e kadar aynen kullanılan Uyumlu Zaman Paylaşımı Sistemleri(CTSS-Compatible Time-Sharing System) onun çalıştığı projenin bir sonucuydu.
Bilgisayar bilimine katkılarından ötürü 1971'de bu alandaki en önemli ödül olarak kabul edilen Turing Ödülü'nü almaya hak kazandı.