V první polovině osmnáctého století si jej nechal vedle kostela svaté Maří Magdalény v dnešní Masarykově ulici vystavět moravský zemský hejtman – kníže Ferdinand z Dietrichsteina.

Dietrichsteinové už v Brně jeden palác měli, a to na Zelném trhu. Dům v dnešní Masarykově ulici měl původně obývat syn knížete Ferdinanda, hrabě Walter František Xaverský, který byl církevním hodnostářem. Protože ale Diechtrichsteinům hrozilo vymření, tak se svolením papeže duchovní dráhu opustil a oženil se.

Palác sporů

O budově píše ve své knize o Brněnských palácích historik umění Jiří Kroupa. „Stavební dějiny tohoto paláce, který přiléhal ke klášteru františkánů při kostele svaté Maří Magdalény, se odráží v několika sporech, které řeholníci vedli s Dietrichsteiny,“ píše Kroupa. První konflikt vypukl v devadesátých letech sedmnáctého století. Františkáni donutili hraběte Dietrichsteina snížit střechu stáje v zadní části parcely a nestavět žádný objekt, který by zasahoval výš než do prvního patra kláštera.

Další spor začal v roce 1739. V té době vlastnil palác Leopold z Dietrichsteina. Jeho bratr Karel Maxmilián získal budovu na Zelném trhu. Oba bratři se rozhodli paláce přestavět. Leopold přikoupil ještě jeden dům, který nechal rozšířit. A řeholníci si opět začali stěžovat, že jim nová stavba stíní knihovnu a sakristii a že kvůli tomu vlhnou knihy a věci v místnostech uložené. Spor se dostal dokonce až k císaři. Ten jim vzkázal, aby ho vyřešili pokojnou cestou. Neshody se podařilo urovnat až v roce 1748, kdy pravděpodobně Dietrichstein přispěl řeholníkům na novou knihovnu a cely.

Nový palác se stal centrem společenského života v tehdejším Brně. Leopold však měl kvůli životnímu stylu problémy s penězi, a musel palác prodat.

Poslední Salm

Novým majitelem se stal hrabě Karel Josef ze Salm-Reifferscheidtu. „Byl to muž nesmírně vzdělaný a energický. Upravil některé místnosti paláce snad kvůli tomu, že se stal místem setkání nejstarší brněnské lóže svobodných zednářů,“ napsal Kroupa. I hrabě Salm-Reifferscheidt se dostal postupně do finančních problémů a prodal palác na počátku devatenáctého století státu.

Osud paláce se naplnil v roce 1906, kdy jej brněnští radní nařídili zbořit. Zasahoval totiž do nově zregulované ulice. „Jako určitý alibismus byl nově postavený dům vybudován jako nápodoba barokního paláce,“ uvedl historik umění Tomáš Jeřábek. Některé lidi to mate. „Myslela jsem si, že tato stavba je mnohem starší,“ řekla Zuzana Gebauerová.

Z barokní stavby se zachoval pouze portál ve dvoře a balkonová mříž s hraběcí korunkou Leopolda z Diechtrichsteina.