Roku 1763 koupil rájecké panství Antonín Karel Josef
hrabě Salm-Reifferscheid od příbuzných své ženy Rafaely z Roggendorfu a hned se
pustil do budování nového sídla. Roku 1811 Rájec zdědil Hugo František Salm, který
byl skvělým hospodářem, vědcem a podnikatelem. Založil například první přádelnu
vlny, cukrovar, a také zřídil výrobnu umělecké litiny. Rájecký zámek patřil
výhradně rodu Salmů, který zde žil až do roku 1945, kdy byl zámek zestátněn.