C’est à l’emplacement d’une bergerie de Calas, datant probablement du 11e siècle, que le comte de Provence et la famille de Villeneuve firent construire, deux cents ans après, un pavillon de chasse opportunément situé à proximité de terres giboyeuses. Bien plus tard, au 18e siècle, les propriétaires successifs (Cipriani, Boyer, Dauphin) en firent un château, par l’adjonction d’un donjon crénelé, d’imposantes tours d’angles, d’une grande allée cavalière et d’un jardin à la française. Louise Garavaque, héritière du domaine, poursuivit les transformations au 19e siècle puis légua le bien à la famille de Villeneuve-Esclapon. Celle-ci, devant quitter son château d’Avignon détruit par le feu, fit de celui de Calas sa résidence principale à partir de 1960. Mais la nécessaire restauration du bâtiment principal l’obligea à vendre une grande partie des terres. L’urbanisation moderne recouvrit celles-ci et ceintura progressivement le château dont le crénelage caractéristique continue cependant à dominer le paysage.
Actuellement le château connaît une activité qui permet au public de le découvrir. Ses propriétaires y font donner des spectacles de théâtre, de musique et de danse. Le vaste parc, agrémenté de jardins à la française, sert de lieu de rassemblement pour des manifestations telles que le festival des vieilles voitures.