Pfannschmidtova vila byla postavena Vincenzem Pfannschmidtem. Stavba byla zahájena v roce 1881 a dokončena kolem roku 1887. Pfannschmidt byl významnou osobností Lovosic – předsedou místní spořitelny, majitelem vinic, ovocnářské školky a obchodníkem. V období druhé světové války byla majitelem vily rodina Antona Karla Pfannschmidta.

Během války musela rodina prostory opustit, vila byla nejprve obsazena nacisty a po osvobození krátce sloužila jako sídlo Rudé armády. V roce 1948 byla přeměněna na sídlo Okresního ústavu národního zdraví, kterému sloužila až do roku 2009. Historická budova byla zrekonstruována v letech 2013–2014, přičemž rekonstrukce citlivě obnovila původní architektonické prvky i dekorace.

Vila zaujme bohatou výzdobou interiérů – restaurovanými štukovými stropy, bohatými stropními malbami, dřevěnými obklady a také dochovaným exemplářem původních kachlových kamen, které se nachází ve velkém sále. Tyto prostory, dnes využívané pro obřady a kulturní akce, nabízejí atmosféru přelomu 19. a 20. století. Historická budova žije pestrým kulturním životem – pravidelně se zde konají přednášky, besedy, výstavy i koncerty, které přibližují historii i současný život města.

V současnosti vila slouží veřejnosti – najdete zde turistické informační centrum, pracoviště Czech POINT, matriku a městskou knihovnu.