Der 1928 in Pforzheim geborene, seit 1934 in Nürnberg aufgewachsene Walter Schirmer wurde am 1954 im Dom zu Bamberg zum Priester geweiht. Seit 1958 Sekretär von Erzbischof Dr. Josef Schneider, berief ihn dieser 1962 zum Diözesan-Caritasdirektor.
Schirmers Amtsantritt fiel zusammen mit einer neuen Phase deutscher Sozialpolitik. 1961 wurden das Bundessozialhilfegesetz und das Jugendwohlfahrtsgesetz verabschiedet. Sie verpflichteten die Kommunen zur Zusammenarbeit mit freien Trägern, denen sogar Vorrang vor kommunalen Institutionen eingeräumt wurde. Die Rat- und Hilfesuchenden erhielten ein Recht auf freie Auswahl unter den Anbietern sozialer Dienste.
Schirmer betrieb die Regionalisierung des Diözesan-Caritasverbandes. Er besetzte die – bis dahin ehrenamtlich versehenen – Caritasstellen in den Landkreisen und in den kreisfreien Städten mit hauptamtlichem Personal. In den 1970er Jahren trieb er die Gründung rechtlich selbständiger Stadt- und Kreis-Caritasverbände voran. Damit verbunden war die Einrichtung von Caritas-Sozialstationen (ambulante Pflege) und spezialisierter Beratungsstellen. In Schirmers Amtszeit entstanden außerdem moderne Alten- und Pflegeheime und das Heilpädagogische Zentrum in Lichtenfels für Menschen mit Behinderung.
Schirmer erlebte aber auch die Jahre, in denen der Staat Errungenschaften der sozialen Sicherung wieder abbaute und die Wohlfahrtspflege privaten Anbietern öffnete und in einen Sozialmarkt umbaute. Schirmer war ein Kritiker von Bürokratisierung, Gesetzes- und Vorschriftenflut, staatlicher Sparmaßnahmen und als Gängelung empfundener Kontrolle.
Zugleich leitete er die Neuorientierung des Diözesan-Caritasverbandes ein. Ab 1997 entwickelte der Verband ein Leitbild und ein eigenes Qualitätsmanagementsystem.
Nach seiner Emeritierung als Diözesan-Caritasdirektor 1999 übernahm Schirmer den Vorsitz des Vereins Haus St. Elisabeth e.V. 2003 sorgte er dafür, dass der Diözesan-Caritasverband die Jugendhilfe-Einrichtung übernahm, die auch die Bamberger Fachakademie für Sozialpädagogik umfasste. 2007 gründete er die „Prälat Walter Schirmer-Stiftung“, die die Ausbildung von Fachkräften in der Altenpflege finanziell unterstützt.