Denne avgjørelsen ble gjort som en innrømmelse til den aggressive holdningen til familiemedlemmene til de drepte i løpet av terrorangrepet 11. september 2001. Etter deres mening burde det ikke være institusjoner som kunne distrahere oppmerksomheten fra denne tragedien, der tvillingtårnene sto. Tidligere ble det kunngjort at bare de kulturinstitusjonene som forplikter seg til aldri å holde utstillinger og andre arrangementer som kan fornærme amerikanernes patriotiske følelser, kan få adgang til WTCs territorium. Som et resultat har Drawing Center, som skulle dele med Freedom Center en kritikerrost bygning tegnet av det norske byrået Snohetta, kansellert leieavtalen og ser etter en annen plass.
Dermed var Libeskinds plan igjen truet: det var i følge prosjektet hans at kulturinstitusjoner skulle plasseres ved siden av minnesmerket over ofrene for terrorangrepet i "trykk" av fundamentet til ødelagte skyskrapere. Nå er den eneste garanterte "eieren" av bygningen besøkssenteret.
Det snakker også om endringer i myndighetenes posisjon: Freedom Center, som falt i vanære, ble oppfattet tilbake i 2002 som en institusjon dedikert til historien om kampen for personlig frihet rundt om i verden.
Etter guvernør George Patakis kunngjøring om sensur på WTC-nettstedet i juli 2005, har mange fremtredende offentlige personer forlatt rådet som leder utformingen og konstruksjonen av det nye komplekset. Etter Patakis siste avgjørelse dro flere flere derfra, inkludert Agnes Gund, æresdirektør for Museum of Modern Art og en fremtredende filantrop. Nå, ifølge analytikere, vil det være spesielt vanskelig å samle inn penger til byggingen av Snohetta-bygningen og Michael Arad-minnesmerket. Dermed var bygningens skjebne i fare. Fremtiden for teaterbygningen designet av Frank Gehry er også usikker: arkitekten klaget til journalister over den totale mangelen på kontakter med kunder, og gjennomføringen av prosjektet var planlagt for den "andre fasen" av restaureringen av World Trade Center - det vil si i en fjern fremtid.
