Na místě dnešní budovy Českého muzea hudby byl patrně svobodný dvorec s románským kostelíkem doloženým roku 1329. Původní románský kostelík zanikl během husitských nepokojů v roce 1420.
Až v roce 1574 byl pozemek odkoupen pražskou metropolitní kapitulou a roku 1627 postoupen dominikánům ze Starého Města. S podporou bohatého donátora, kterým se stal Michna z Vacínova, jehož velký rodinný erb zdobí dodnes průčelí kupole budovy, se jim podařilo vybudovat nový chrám. Jeho autorem je přední italský architekt Francesco Caratti, který se rovněž podílel na přestavbě nedalekého Machnova paláce (Tyršova domu). Základní kámen barokního kostela byl položen v roce 1654, stavba se však protahovala a hotový chrám byl slavnostně vysvěcen až roku 1709.
Dominikánský klášter včetně kostela byl zrušen v rámci církevních reforem císaře Josefa II. v roce 1783 a kostel byl postoupen do majetku českého gubernia, které zde vybudovalo vrchní poštovní úřad. V roce 1848 byla budova přeměněna na četnické kasárny, o tři roky později započala úprava v klasicistním stylu, budova byla zvýšena na tři patra, po jejichž vnitřních obvodech byly vybudovány ochozy. V místě původního kněžiště bylo vybudováno monumentální schodiště, které četníkům zajišťovalo dostatečnou mobilitu po budově. Tyto změny utvořily základ dnešní podoby Českého muzea hudby.
V roce 2004 bylo do tzv. Karmelitského paláce přesunuto České muzeum hudby včetně depozitářů a vědeckého zázemí. V listopadu téhož roku bylo muzeum zpřístupněno návštěvníkům, kteří zde mohou navštěvovat stálou expozici Člověk – nástroj – hudba i krátkodobé výstavy. Bývalá hlavní loď kostela dnes tvoří monumentální dvoranu, ve které se konají koncerty a další doprovodné programy ke stálé expozici a výstavě.