Elie Wieselin vanhemmat sisaret Hilda ja Beatrice selvisivät internaatiostaan Auschwitzin keskitysleirillä tapasivat Wieselin sen jälkeen, kun leirit vapautettiin ja muuttivat lopulta Pohjois-Amerikkaan. Wieselin nuorempi sisar Tzipora kuoli Auschwitzissa.
6. toukokuuta 1944, kun Wiesel oli 15, natsit karkottivat koko Sighet-Unkarin juutalaisen yhteisön Auschwitz-Birkenaun keskitysleirille. Wiesel hänen vanhempansa ja kolme sisartaan pidätettiin. Äidistään ja sisaruksistaan erotettuna Wiesel seurasi isäänsä Bunan työleirille. He työskentelivät useiden kuukausien ajan epäinhimillisissä olosuhteissa ja kuljetettiin leiristä toiseen. Vuoden 1945 alussa juuri ennen kuin amerikkalaiset vapauttivat leirin, Wieselin isä kuoli Buchenwaldissa. Wiesel etsi sisarustensa nimiä Buchenwaldin eloonjääneiden luettelosta, mutta ei löytänyt niitä. Muutettuaan orpokotiin Pariisissa hän kuuli, että hänen sisarensa Hilda oli elossa ja etsii häntä. Kun hän tapasi tämän, hän kertoi hänelle, että hän oli mennyt kihloihin ja muuttanut Ranskaan, koska hän luuli hänen kuolleen. Melkein vuotta myöhemmin hän tapasi Beatricen Belgian Antwerpenissä.
Wieselin äiti kuoli nuoremman sisarensa kanssa Auschwitzissa. Haastattelussa Wiesel sanoi, että hänellä oli valokuva Tziporasta ja että ainoa kerta, kun hän koskaan itki, oli puhuessaan hänestä. Hän oli vain 7-vuotias, kun hänet vietiin kuolemaan.
