Pierwszym znanym właścicielem Międzyrzeca był rycerz małopolski, Abraham Chamiec Jaxa z Rudna (1350-1427) herbu Gryf, który wieś tę otrzymał za wierną służbę od Władysława Jagiełły w 1390 roku. Jak długo ją posiadał i w jaki sposób ją utracił czy pozbył się jej, tego nie wiemy. Wiadomo natomiast, że w 1430 roku została ona znowu nadana, ale nie przez króla, lecz przez Wielkiego Księcia Litewskiego - Witolda. Tym razem otrzymał ją Mikołaj Nassuta (1370-1450), herbu Rawicz, starosta drohicki, który upamiętnił się budową pierwszego w Międzyrzecu kościoła pod wezwaniem swojego patrona, św. Mikołaja. Zbudował też w pobliżu drewniany dwór, który przez wiele lat był siedzibą kolejnych posesorów międzyrzeckich włości. Jego syn, Jan (ok.1400-1486), starosta brzeski, ożeniony z córką pana na Korczewie, Pretora Korczewskiego, był następnym właścicielem Międzyrzeca, mającego już wówczas prawa miejskie. W 1477 roku wzniósł murowany kościół w stylu gotyckim, z powodu "zestarzałości" kościoła drewnianego, zbudowanego przez jego ojca. 

Jan Nassuta nie dochował się męskiego potomka. A jego jedyna córka, Anna, wychodząc za mąż za wojewodę trockiego, Jana Zabrzezińskiego (1437-1508) herbu Leliwa, wniosła mu w wianie dobra międzyrzeckie. Jan Zabrzeziński, marszałek wielki litewski w latach 1498-1505, zasłużył się wielce mieszkańcom Międzyrzeca, bowiem w 1486 roku wystarał się o przywilej urządzania jarmarków i targów. A gdy Tatarzy najechali miasto i poczęli je łupić, przybył natychmiast z odsieczą i rozbił hordę tatarską przy moście na rzece Piszczance. Dlatego nawet dzisiaj międzyrzeczanie nazywają ten most Hordowym Mostem. Prawdopodobnie to za jego sprawą zbudowano w widłach rzeki Krzny Północnej i Południowej drewniany dwór obronny, który służył za siedzibę następnym właścicielom Międzyrzeca.

Jan Zabrzeziński miał dwóch synów: Jerzego i Jana. Młodszy z nich, Jan (1470-1547), wojewoda nowogródzki, odziedziczył międzyrzeckie dobra. Ożenił się po raz pierwszy z księżną Zofią Radziwiłłówną, a po raz drugi z Barbarą Kieżgajło (1500-1532) herbu Zadora. Córka z tego pierwszego małżeństwa, Anna Zabrzezińska (1518-1556) otrzymała Międzyrzec jako posag, wychodząc w 1542 roku za mąż za Fryderyka Jana Sapiehę (1480-1548), a następnie, w 1547 roku, za księcia Stefana Zbaraskiego. Stefan ks. Zbaraski (1522-1585) herbu Korybut, kasztelan trocki został zatem właścicielem międzyrzeckich włości. Po śmierci swojej pierwszej żony ożenił się jeszcze trzykrotnie. Po raz ostatni, w 1581 roku, z Dorotą Firlej (1565-1591) herbu Lewart i miał z nią córkę Barbarę (1582-1602), która wychodząc za mąż za stolnika wielkiego koronnego, a w późniejszym okresie wojewodę lubelskiego, Gabriela hr. Tęczyńskiego (1574-1617) herbu Topór, wniosła mu w wianie Międzyrzec. 

Dla hrabiego Tęczyńskiego drewniany dwór obronny nie był zbyt wyszukaną rezydencją. Postanowił więc wybudować pałac, wprawdzie również drewniany, ale znacznie większy i wzniesiony w innym miejscu, oddalonym o kilkaset metrów na wschód od poprzedniej siedziby.

Gabriel Tęczyński po śmierci żony Barbary ożenił się w 1603 roku po raz wtóry, również z księżniczką, Elżbietą Radziwiłłówną (1585-1618) herbu Trąby i miał z nią córkę, Zofię (1614-1654). Wkrótce po śmierci Gabriela Tęczyńskiego jego żona Elżbieta z Radziwiłłów wyszła za mąż za Krzysztofa Kiszkę z Ciechanowca i po kilku miesiącach od ślubu zmarła. Krzysztof Kiszka (1590-1646) herbu Dąbrowa , wojewoda witebski i mścisławski oraz marszałek Trybunału Głównego Wielkiego Księstwa Litewskiego, zarządzał przez kilka lat dobrami międzyrzeckimi, dopóki Zofia Tęczyńska nie uzyskała pełnoletności. A gdy ją osiągnęła, wyszła za mąż i jako posag otrzymała te dobra, by je wnieść jako wiano Janowi Mikołajowi Daniłowiczowi (1607-1649) herbu Sas, podskarbiemu wielkiemu koronnemu.

Jakieś prawa do włości międzyrzeckich musiał mieć brat Gabriela Tęczyńskiego, Jan Magnus Tęczyński (1579-1637), wojewoda krakowski, bowiem jego zięć, Łukasz Opaliński (1612-1662) herbu Łodzia, marszałek nadworny koronny, żonaty od 1639 roku z Izabelą Tęczyńską (1618-1667), córką Jana Magnusa, wpisał się na listę XVII-wiecznych właścicieli Międzyrzecza. Podobnie syn Łukasza Opalińskiego, Stanisław Łukasz (1640-1704) starosta nowokorczyński oraz zięć, Stanisław Herakliusz ks. Lubomirski (1642-1702) herbu Drużyna, marszałek wielki koronny, ożeniony w 1669 roku z Zofią Izabelą Opalińską (1642-1676) również byli wymieniani jako właściciele tych dóbr. 

Śledząc XVII-wieczne dzieje Międzyrzeca, widzimy, że stawał się on własnością coraz to innej rodziny nie na zasadzie sprzedaży i kupna, lecz jako wiano wnoszone przez wychodzące za mąż córki kolejnych właścicieli. Tak było i w następnym stuleciu. Hrabia Adam Mikołaj Sieniawski (1666-1726) herbu Leliwa, wojewoda bełski i kasztelan krakowski, a następnie hetman wielki koronny, stał się na przełomie wieków dziedzicem dóbr międzyrzeckich, gdyż wniosła mu je w wianie córka Stanisława Herakliusza ks. Lubomirskiego, Elżbieta Helena Izabela (1669-1729),  którą pojął za żonę w 1687 roku. Z kolei jego córka, Maria Zofia Sieniawska (1698-1771) wniosła te dobra do hrabiowskiej rodziny Dönhoffów, wychodząc w lipcu 1724 roku za Stanisława Ernesta hr. Dönhoffa (1679-1728) herbu Dzik, wojewodę połockiego i hetmana polnego litewskiego. A gdy po czterech latach hrabia Dönhoff zmarł, Maria Zofia z Sieniawskich wyszła w 1731 roku po raz drugi za mąż, tym razem za księcia, Augusta Aleksandra Czartoryskiego (1697-1782) herbu Pogoń Litewska, wojewodę ruskiego, generała lejtnanta wojsk koronnych, twórcę rodowej potęgi Familii Czartoryskich. Poślubienie pięknej wdowy po hrabim Dönhoffie nie przyszło Czartoryskiemu łatwo. Miał bowiem takich konkurentów do jej ręki jak Feliks Potocki, Jan Klemens Branicki czy Karol Tarło. Z tym ostatnim pojedynkował się nawet w 1728 roku i pozwolił mu strzelić do siebie dwa razy, a potem zapytał go, czym jeszcze może mu służyć. Takim postępowaniem zaimponował bardzo swojej wybrance, ale mimo to musiał jeszcze przez trzy lata zabiegać o jej rękę, nim oddała mu ją 11 lipca 1731 roku. 

August Aleksander zaimponował również swoim pobratymcom z rodu Czartoryskich, bowiem założył ordynację międzyrzecką, drugą co do wielkości w Królestwie Polskim, która objęła nie tylko Międzyrzec, będący wówczas największym miastem w województwie podlaskim, ale także 11 wsi bojarskich, 38 pańszczyźnianych, 3 wsie czynszowe, 4 osady młynarskie, 18 folwarków i 8 awulsów, czyli małych, oddzielnych folwarczków bez wsi włościańskich. A poza tym stał się właścicielem wielkich majętności rozrzuconych po całej Polsce oraz wykwintnych rezydencji w Sieniawie, Puławach, Brzeżanach.

August Aleksander Czartoryski okazał się ostatnim panem na Międzyrzecu, który otrzymał ten majątek jako wiano. Następni dwaj właściciele międzyrzeckich dóbr odziedziczyli je po ojcach. I tak po Auguście Aleksandrze nastał w Międzyrzecu jego najstarszy syn, Adam Kazimierz Joachim ks. Czartoryski (1734-1823), generał lejtnant wojsk litewskich, marszałek Trybunału Głównego Wielkiego Księstwa Litewskiego, feldmarszałek austriacki, członek Komisji Edukacji Narodowej, przywódca Stronnictwa Demokratycznego, ożeniony w listopadzie 1761 roku z Izabelą Elżbietą Flemmingówną (1745-1835) herbu własnego. Po nim natomiast dziedzicem międzyrzeckim został najmłodszy jego syn - Konstanty Adam Aleksander (1773-1860), pułkownik wojska polskiego w Księstwie Warszawskim, mianowany na generała brygady w Królestwie Polskim, żonaty od 1802 roku z Anielą ks. Radziwiłł  (1781-1808), a po jej śmierci - z Marią Dzierżanowską (1790-1842) herbu Grzymała. W 1802 roku rozpoczął on budowę, trwającą trzy lata, murowanego, dwukondygnacyjnego pałacu w stylu klasycystycznym według projektu Piotra Aignera. Nie wiemy, jak on wyglądał. Został kompletnie rozebrany w 1888 roku. 

W 1844 roku Konstanty Adam Czartoryski sprzedał ordynację międzyrzecką hrabinie Aleksandrze Julii Potockiej (1818-1892) herbu Pilawa (Srebrna), zamężnej za Augustem Aleksandrem hr. Potockim (1805-1867), właścicielce wraz z mężem Wilanowa. Nie tyle hrabia Potocki, ile jego żona wzięła się za budowę odpowiedniej rezydencji w Międzyrzecu. Zaangażowała do tego znanego architekta, Franciszka Marię Lanciego, który zaprojektował pałac, zbudowany w 1852 roku. 

Pałac w Międzyrzecu widziany z bramy wjazdowej

Korpus główny, dwukondygnacyjny, postawiony został na planie prostokąta i przykryty wysokim dachem czterospadowym. Jedenastoosiowy fronton, skierowany na północ, otrzymał na osi trzykondygnacyjny ryzalit, o pokrytych boniami narożach. Znalazły się w nim główne drzwi wejściowe, oflankowane boniami, podobnie jak duże okna na drugiej i trzeciej kondygnacji ryzalitu. Boniami obłożono też wszystkie narożniki korpusu głównego.

Elewacja ogrodowa pałacu podczas prac renowacyjnych

Na zachodnim i wschodnim krańcu jedenastoosiowej elewacji ogrodowej, na jej dwóch skrajnych osiach wykonano dwa parterowe, mocno wysunięte, pięcioboczne ryzality. Każda ich ścianka zaczynała się i kończyła boniami, między którymi znalazły się cztery duże, prostokątne okna i jedne drzwi prowadzące na podłużny taras, biegnący wzdłuż budynku i ograniczony niewysokim murkiem. Na obu ryzalitach wykonano tarasy otoczone żeliwną balustradą, na które można było wyjść z pomieszczeń na piętrze przez porte-fenêtre. Od wschodu do korpusu głównego dostawiono na planie litery L skrzydło kuchenne, również dwukondygnacyjne, ale nieco niższe od korpusu głównego, bez boni, ryzalitów i jakichkolwiek architektonicznych ozdób.

Fronton korpusu głównego i skrzydło kuchenne

Pałac otaczał rozległy park, założony przez poprzednich właścicieli Międzyrzeca. Pierwszy wzmiankowany ogród pałacowy, powstały za czasów Gabriela Tęczyńskiego, składał się z kompleksu ozdobnych kwater, części warzywnej oraz stawów i kanałów otaczających pałac i zabudowania zgrupowane wokół dziedzińca. Gdy właścicielką została Elżbieta Sieniawska, modernizacją parku zajął się Jan Babtysta Kendl i stworzył do 1723 roku ogród barokowy, z licznymi boskietami i siecią kanałów, do których doprowadzono wodę z Krzny i Zny. Z kolei Adam Kazimierz Czartoryski spowodował, że w miejscu dawnym kanałów urządzono dwa wielkie stawy, między którymi powstała grobla wiodąca do "dzikiej promenady", na którą złożyły się trzy małe stawy oraz szereg zakątków z różnorodną roślinnością, połączonych plątaniną ścieżek. Wytyczono też kilka parkowych alei i obsadzono je grabami, kasztanowcami i lipami.

Jedna z zachowanych alei parkowych

Kolejnym właścicielem Międzyrzeca został Andrzej Kazimierz hr. Potocki (1861-1908), ożeniony w październiku 1889 roku z hrabianką Krystyną Tyszkiewicz-Łohojską (1866-1952) herbu Leliwa, z którą miał sześć córek i trzech synów. Oprócz Międzyrzeca posiadał olbrzymie włości na Ukrainie i Galicji, ale nie bardzo miał czas zajmować się nimi, był bowiem wybitnym politykiem i dyplomatą w służbie cesarza Franciszka Józefa, został marszałkiem galicyjskiego Sejmu Krajowego i namiestnikiem Galicji. Podczas pełnienia tego urzędu został zastrzelony przez nacjonalistę ukraińskiego w 1908 roku. Gdy go zabrakło, majątkiem międzyrzeckim przez pewien czas zajmowała się jego żona Krystyna, dopóki nie przejął go jej najmłodszy syn, Andrzej Maria Franciszek hr. Potocki (1900-1939), żonaty od 1926 roku z Zofią hr. Tarnowską (1901-1963) herbu Leliwa. 

Wieżyczka zwana "basztą" - pozostałość prawdopodobnie po pałacu Czartoryskich

Po wybuchu I wojny światowej żołnierze rosyjscy zniszczyli część zabudowań gospodarczych, a uciekinierzy z leżących po sąsiedzku wiosek i miasteczek zdewastowali park, który stał się dla nich miejscem azylu. Po Rosjanach nastali Niemcy i zajęli pałac na siedzibę władz wojskowych. W listopadzie 1918 roku oddział POW (Polskiej Organizacji Wojskowej) rozbroił stacjonujących w budynku pałacowym żołnierzy niemieckich, a ci wezwali pomoc, która przybyła z Białej Podlaskiej nocą, wymordowała peowiaków i podpaliła pałac. Hrabia Andrzej Maria Potocki zamieszkał wówczas w oficynie i rozpoczął odbudowę pałacu według projektu nieznanego architekta włoskiego, za pieniądze uzyskane z odszkodowań wojennych. Budowa trwała w latach dwudziestych okresu międzywojennego, a powstały w jej efekcie budynek pałacowy przetrwał do naszych czasów. 

Dawna stajnia i wozownia - dzisiaj szkoła muzyczna

W 1939 roku, podczas kampanii wrześniowej hrabia Andrzej Maria Franciszek Potocki zginął we wsi Wielkie Oczy z rąk - podobnie jak jego ojciec -  Ukraińców. Jego najstarszy syn, Andrzej Jerzy Maria (1927-2004), odziedziczył międzyrzecki majątek i formalnie był jego właścicielem do 1944 roku, ale po 17 września 1939 roku zjawili się w nim żołnierze sowieccy i rozgrabili wszystko, co się dało, a po 28 września pałac przeszedł w ręce okupantów niemieckich, którzy przeznaczyli go na wojskową komendanturę miasta.

Fronton dawnej stajni i wozowni

W latach 1944-1946 zespół pałacowo-parkowy zamieniony został na koszary dla stacjonującej w Międzyrzecu jednostki wojsk sowieckich, co spowodowało dalszą jego dewastację. 1 września 1946 roku ulokowano w pałacu, po przeprowadzeniu prowizorycznego remontu, Państwowy Dom Dziecka, który w 1980 roku zmienił nazwę na Państwowy Dom Opiekuńczy. W tym czasie zachowane budynki gospodarcze użytkowane były przez PGR Międzyrzec oraz placówkę Technicznej Obsługi Rolnictwa. W późniejszych latach pałac był siedzibą Zamiejscowego Ośrodka Dydaktycznego Katolickiego Uniwersytetu Lubelskiego, filii łódzkiej Wyższej Szkoły Humanistyczno-Ekonomicznej, działał w nim Uniwersytet III Wieku oraz kilka sekcji Miejskiego Ośrodka Kultury. Obecnie trwa remont kapitalny pałacu, prowadzone są też prace renowacyjne w pałacowym parku, obejmującym obszar ponad 18 hektarów. Po zakończeniu remontu zagospodarowaniem pałacu ma zająć się Miejski Ośrodek Kultury.