Borečská tvrz mohla vzniknout již na konci 14. století, avšak první písemná zmínka pochází z roku 1483, kdy ji Jan Skřek z Borče prodal Václavovi z Vliněvsi. V následujících dvou staletích se majitelé střídali – patřili mezi ně Kryštof z Berbisdorfu, Jindřích Berka z Dubé, Zdeslav Kaplíř ze Sulevic a od roku 1588 Anna Kaplířová se Sulevic s manželem Bohuslavem Růtem z Dírného. Právě mezi Růty z Dírného došlo k přestavbě gotické tvrze do renesančního stylu.

Renesanční přestavba přinesla trojkřídlou budovu se rytířským sálem zdobeným freskami. Areál obklopovaly tři malé rybníky, přístup vedl po mostě přes vodní příkop a součástí nemovitosti byl poplužní dvůr s pivovarem. Tato podoba vydržela až do 17. století, kdy postihla Bohuslava z Dírného politická ztráta – jako účastník stavovského povstání mu byl majetek v roce 1623 zkonfiskován. Vrácen mu byl o šest let později, avšak roku 1630 jej prodal a odešel do Pirny.

Následující desítky let přinesly borečskému panství neustálé střídání majitelů a právní spory. Stabilnější se stalo od roku 1668, kdy jej převzal Jan Kryštof Rajský z Dubnice. Jeho rodina vlastnila statek až do roku 1802. Právě František Václav Rajský (1737–1770) dal Borči jeho současnou podobu – nechal starou budovu barokně přestavět na jednopatrovou trojkřídlou stavbu s otevřenými arkádami na nádvoří. Byla zde vybudována kaple v západním křídle a panské pokoje umístěny v severním.

V roce 1802 jej za dvě stě tisíc zlatých koupil kníže Josef ze Schwarzenbergu a připojil jej k Lovosicím. Zámek již neslužil jako panské sídlo – stal se správní centrem tehdejších statků. V 19. století se jeho funkce postupně měnily. Zanikly středověké prvky – rytířský sál i kaple – a západní křídlo bylo přestavěno na sladovnu, později zbořeno. Zbylé prostory sloužily jako bydlení zaměstnanců, kanceláře a výrobní provozy.

Nejlépe se dochoval právě severní křídlo, kde lze stále pozorovat barokní řemeslo. Vstupní portál s volutovými pilastry vede do průjezdu se sklenutím valennou klenbou. Třináct oken prvního patra má štukové rámy zdobené v horní části úponami mušlí nebo rozetami. Spodní okraje všech oken nese plastické diamantové pole – typickou barokní ozdobu. V 19. století byla část arkád zazděna.

Po roce 1945 přešel zámek na Státní statek Lovosice, později na okresní národní výbor. V sedmdesátých letech 20. století byla zahájena oprava, ale údržba brzy selhala. Po roce 1989 se zbylé budovy částečně zřítily. Nový majitel zahájil pokusy o obnovu. Od roku 1964 je Boreč chráněn jako kulturní památka.