Das heutige Alterszentrum wurde 1301 als Kloster im gotischen Stil neu erbaut, das rote Hauptgebäude ist in seinem heutigen Umfang die ehemalige Kirche. Aufzeichnungen zeigen, dass die Frau des Stadtgründers Ita von Nellenburg das Kloster St. Agnes für Benediktinerinnen bereits ums Jahr 1092 gründete.

Nach der Reformation und der anschliessenden Aufhebung des Klosters Sankt Agnes beschloss der Rat, das Spital im heutigen Posthof in die Gebäude des Nonnenklosters zu verlegen. Nach wenigen baulichen Anpassungen wurde die Übersiedlung des Spitals in das Kloster im Jahr 1542 vollzogen. Die umfunktionierten Gebäude dienten nun in Folge als Armenhaus, Pfrundhaus, Waisenhaus, Zuchthaus und als Versorgungsanstalt für Geisteskranke, bis 1936 die Stadt das Spital übernahm und es zum Altersheim umbaute.

2015 wurde das Altersheim am Kirchhofplatz in Alterszentrum Kirchhofplatz umbenannt.