Il ne fallut que quelques mois pour que le parti nazi ne se ravise à ce sujet. A l’été 1939, les juifs d’Ostrava sont envoyés par «transport» -ce mot tant redouté- à Nisko sur le San, région marécageuse de Pologne pour y construire un camp. Edmund Saborski, frère de Frida Saborska, un des oncles de Sigmund y est déporté. Sigmund et ses parents décident alors de fuir vers l’Ouest, à 468 kilomètres de là, à Prague.
Le 15 mars 1938, quelques jours après l’Anschluss, Eva Rubesova (future épouse de Sigmund Jachzel Toman) accompagnée de ses parents: l’avocat viennois Fritz Rosenfeld et son épouse Margareth Fischer, quitte Vienne pour s’installer à Brno, alors capitale de la Moravie. Eva Agnès a 15 ans. Fuyant l’armée allemande la famille va s’installer à Prague en 1939. Sigmund continue sa scolarité dans un lycée technique à Prague. Après l’invasion des Sudètes, l’entreprise d’Elias est aryanisée et il perd son emploi. Il en trouve rapidement un autre à Prague, selon le témoignage de son fils.
Elias est représentant en parfumerie. Frida quant à elle, est la seule femme du café Cerna Ruze (la rose noire) à pouvoir jouer au poker avec les hommes. Sigmund a alors 17 ans, il pleut des décrets anti-juifs et son père tombe malade, il part en séjour dans un sanatorium et Sigmund reprend la place de son père pour la maison Kalivoda.
Au printemps 1941, le port de l’étoile jaune devient obligatoire dans le Protectorat de Bohême–Moravie, et Sigmund ne peut plus travailler pour son employeur. Il trouve tout de même un emploi à la réfection d’un barrage sur la Moldau. C'est un travail pénible, mais lorsque Sigmund fait partie de l'équipe de nuit, il bénéficie d’un supplément de ration alimentaire. Plus tard il travaille pour la «municipalité juive» du ghetto, il démonte les installations électriques dans les appartements vides des juifs déjà déportés.
A l’hiver 1941, il se porte volontaire pour faire partie du kommando de construction du ghetto de Terezin.