Après trois jours de quarantaine, les premiers 1.362 hommes de l’Aufbau Kommando (commando de construction), arrivent à Terezin à soixante kilomètres de Prague, à la caserne des Sudètes. 5 à 6.000 personnes résident alors à Theresienstadt, elles sont chassées de leurs maisons afin que la construction du ghetto puisse commencer. Terezin commence à se remplir dès l’hiver 1941. Sigmund travaille alors comme ordonnance à la Kommandantur du camp. En janvier 1942, il réussit à trouver un travail dans les cuisines. Au printemps de cette même année, il travaille dans une cuisine attenante à l’hôpital et c’est en servant la nourriture qu’il attrape la scarlatine. C’est à l’hôpital qu’il rencontre un membre du Judenrat, (municipalité juive), contact qui s’avère précieux dans la dureté des conditions de vie du ghetto.
C’est avec le transport « Aar » du 16 juillet 1942 que ses parents arrivent à leur tour à Terezin, Elias est logé dans la même chambre que lui, Frida à la caserne Hamburger. Son oncle Edmund arrive à la même période. Il est nommé directeur du crématoire civil de Terezin, que son ex-entreprise avait construit avant sa déportation à Nisko. Il engage Sigmund, pensant pouvoir le protéger lui et ses parents d’éventuels transports. Mais Sigmund supporte très mal le travail au crématorium et retourne rapidement aux cuisines.
En Allemagne le parti Nazi fait croire aux juifs que Terezin est une ville de luxe construite pour eux, où ils pourraient vivre en paix. La population de Terezin atteint rapidement les 70.000 personnes, soit 10 fois plus que sa capacité d’accueil initiale.
Terezin devient une étape dans les itinéraires des transports vers les camps de l’Est. Ils sont organisés par le conseil juif, qui a l’obligation de fournir les listes. Sigmund reste relativement protégé, ainsi que ses parents, en tant que membre le l’Aufbau Kommando. Selon Sigmund, il y avait différents moyens d’être protégé: faire partie du Kommando de construction en était un, les «vitamines P et B» (protection et relation) en était un autre. Sigmund a pu se servir de ces vitamines pour obtenir du conseil des anciens la permission d’emménager dans une mansarde avec deux de ses amis (dont l’un était un policier juif). Ni son statut ni ses relations ne lui permirent d’éviter la déportation de ses parents.
A l’automne 1943, Sigmund travaille à la cuisine de la caserne Magdeburg. Alors qu’il distribue les pommes de terres il fait tomber le récipient, à la suite de quoi, un membre de la municipalité juive l’accuse de favoriser son père lors de la distribution. Après une altercation avec celui-ci, Sigmund est emprisonné quelques semaines dans «la petite forteresse», la prison de Terezin. Le tribunal juif le trouve coupable de sabotage économique et sa peine est de voir ses parents inscrits sur les listes de transports. Sigmund décide alors d’accompagner ses parents à Auschwitz.