En el siglo XV fue construida la Casa Castellarnau y a partir de este momento hasta el siglo XIX esa fue el hábitat de alguna de las familias más influyentes de la ciudad. La casa conserva en su interior estructuras arquitectónicas de diversas épocas y, en la planta baja, se pueden observar una serie de arcos apuntados datados entre los siglos XIV y XV.
El espacio más emblemático es el salón del baile, que presenta un techo decorado con pinturas de temática mitológica realizadas por el pintor provenzal Josep Bernat Flaugier a finales del siglo XVIII.
En la planta baja se ha recuperado la antigua cocina. Además, se pueden ver de forma permanente una muestra de la colección Molas y Agramunt, un conjunto heterogéneo de piezas arqueológicas y etnográficas de un amplio abanico cronológico.