Nach 1948 forderte das kommunistische Regime die Erziehung vom sozialistischen Mensch, nicht jedoch Erziehung im humanistischen Geist von P. Pitter. Im Milíč-Haus wurde ein üblicher Schulhort eingerichtet, die Tätigkeiten wurden zunehmend eingeschränkt, da P. Pitter und seine Mitarbeiter das Recht verloren, über Erziehung oder personelle Fragen zu entscheiden. P. Pitter bekam gesundheitliche Probleme und wurde 1951 unter Androhung von Gefängnis gezwungen aus der kommunistischen Tschechoslowakei zu emigrieren. Seine engste Mitarbeiterin O. Fierz hatte das Land schon 1950 verlassen.
1952 wurde P. Pitter Sozialarbeiter im Flüchtlingslager Valka bei Nürnberg, wo er sich auch um das religiöse Leben kümmerte. In hölzernen Baracken drängten sich hier hunderte von Flüchtlingen aus kommunistischen Ländern und warteten auf notwendige Dokumente für die Weiterreise in andere Länder. Ihr langer Zwangsaufenthalt, die Verhöre, das Nichtstun und das depressive Milieu führten oft zu Desillusionierung und Alkoholismus. Ein privates Leben existierte hier praktisch nicht. Die wichtigste Aufgabe war moralische Unterstützung und Aufmunterung zu vermitteln. In der bescheidenen Kapelle wurde eine Bibliothek und ein Gemeinderaum eingerichtet.
Nach der Auflösung des Lagers 1960 kümmerten sich P. Pitter und O. Fierz noch weitere zwei Jahre um die verbliebenen Flüchtlinge und um jene, die im Gefängnis waren. 1962 bekam das Paar ein ruhiges Heim im Städtchen Affoltern am Albis unweit von Zürich. Hier konnten sie sich in Ruhe weiter ihrer Arbeit, der Herausgabe der wichtigen Exilzeitschrift „Hovory s pisateli“ (Gespräche mit Schreibern), widmen. 1968 gründete P. Pitter in Zürich die Jan Hus-Gemeinde und eine tschechische Ergänzungsschule. Er wirkte in verschiedenen Institutionen. Mitte der sechziger Jahre begannen sich seine Kontakte mit der Heimat zu beleben.
Pitters Träume von einer Rückkehr der Tschechoslowakei zur Demokratie vereitelte jedoch die sowjetische Invasion im August 1968. Gesundheitliche Beschwerden und eine folgende Operation untergruben die Lebenskraft von P. Pitter, der am 15. Februar 1976 in einem Züricher Krankenhaus starb.