Kelsey Karen Grammer ist die älteste Tochter der lebenden Schauspiellegende Kelsey Grammer. Sie stammt aus der ersten Ehe des fünfachen Emmy-Preisträgers mit Tanzlehrerin Doreen Alderman. Die Ehe hielt knapp acht Jahre und wurde 1990 geschieden.
Danach war Grammer noch zwei weitere mal verheiratet. Neben zwei Kindern (ein Mädchen, ein Junge) aus seiner Ehe mit Camille Grammer (The Real Housewives of Beverly Hills) hat Spencer durch ihn noch eine außerhalb einer Ehe geborene zweite Halbschwester. Derzeit befindet sich Kelsesy Grammer im Scheidungskampf gegen Camille und hat sich vor sechs Wochen bereits erneut verlobt.
Spencers Mittelname, Karen, stammt von Kelseys jüngerer Schwester. Diese wurde 13 Jahre vor Spencers Geburt Opfer eines brutalen Sexualmordes. Kelsey Grammer kämpft immer noch verbissen darum, dass dem verurteilten Täter die Freilassung auf Bewährung verwehrt bleibt.