Ideen om en ny bygning ble født for sytten år siden, da Storhertugdømmet ble et av de seks grunnleggende landene i EU, og myndighetene bestemte seg for å støtte bildet av Luxembourg ikke bare som en økonomisk velstående stat, men også som et viktig kulturelt senter på kontinentet. Imidlertid er selve ideen om å lage en samling av samtidskunst, og dens arkitektoniske utførelse i form av et prosjekt av J. M. Pei møtte motstand i forskjellige kretser av det konservativt innstilte samfunnet. Som et resultat ble konseptet hans revidert flere ganger, design og til og med konstruksjon ble suspendert. Først i 1997 ble stedet for museet bestemt: ruinene av Tungen festning (1732), som ble inkludert i den nye bygningen. I 1999 begynte byggingen, men da ble den avbrutt i fire år fordi Pei bare ville bruke gylden kalkstein fra Frankrike til sin konstruksjon, og dette ga mange nye problemer.
Det oppstod også vanskeligheter med samlingen: siden det aldri var en samling av kunst fra det 20. århundre i Luxembourg, måtte den opprettes. På grunn av begrensede midler var det ikke snakk om å kjøpe verk av Dali og Picasso: de aller fleste utstillinger fra de 230 gjenstandene som tilhører museet tilhører perioden etter 1980. Men ifølge museets direktør, Marie-Claude Beaux, er det designet for å utvide samlingen ytterligere, for å samle fremtidens kunst, kunsten fra det XXI århundre.
Komplekset ligger midt i en park, mellom to forretningsstrøk i byen. Den viktigste funksjonen er det grønne glastårnet over hovedatriet, som minner om festningen det ble bygget over. Nesten alle etasjene i hovednivået er laget av glass, så de fleste salene har naturlig lys. I første etasje er det to små gallerier og en forelesningssal. Utenfor står museets vegger overfor honningfarget kalkstein, hovedinngangen til museet er en kompleks romlig sammensetning i form av en nisje. Det totale arealet av bygningen er 10.000 kvm. m, hvorav 4800 kvm. m - utstillingsområder. Museet bærer navnet til storhertugen Jean, som nå har overført landets ledelse til sønnen Henri.
