Nachdem Jack Riley sein Studium beendet hatte, diente er in der US Army. Später begann seine Karriere im Radio, wo er zusammen mit Jeff Baxter eine eigene Show hatte. Mitte der 1960er zog er nach Los Angeles, wo sich bald erste Gelegenheiten vor der Kamera ergaben.
Nach zahlreichen Gastrollen in Serien wie „Bezaubernde Jeannie“ oder „Ein Käfig voller Helden“ und „M*A*S*H“ ergatterte er die Rolle in der erfolgreichen Comedy „The Bob Newhart Show“ als neurotischer Patient Elliot Carlin, die er sechs Jahre spielte. Währenddessen und danach folgten weitere Gast- und wiederkehrende Engagements in Comedys wie „Mary Tyler Moore Show“ und „Happy Days“ oder Krimiserien wie „Cannon“, „Columbo“ und „Hart aber herzlich “.
1976 spielte er einen Hollywood-Boss in Mel Brooks „Silent Movie“ und war danach in drei weiteren seiner Filme zu sehen, darunter „Höhenkoller“ (1977), „Die verrückte Geschichte der Welt“ (1981) und „Spaceballs“ (1987).
Bis in die Nullerjahre war Riley fleißig und erschien regelmäßig auf dem Fernsehbildschirm, darunter längerfristig in „Noch Fragen Arnold?“, „Harrys wundersames Strafgericht“ oder „Son of the Beach“. Von 1991 bis 2007 lieh er zudem Stu Pickles in dem Film „Rugrats“ seine Stimme und zog sich dann 2009 in den Ruhestand zurück.
Seit 1975 war der Darsteller mit Ginger Lawrence verheiratet, die beiden haben zwei Kinder. Im August 2016 ist er im Alter von 80 Jahren verstorben.