Castellar tiene su origen, igual que Jimena, en la frontera castellano-nazarí levantada por los nazaríes granadinos a partir del siglo XIII, cuyo extremo sudoccidental la constituían los Castillos de Jimena, Castellar y Tarifa. Fue conquistada por los castellanos en 1434. Juan II concedió a Juan de Saavedra la alcaldía de Castellar y, en 1445, su señorío. Iniciaba así este pueblo campo gibraltareño una etapa histórica anormalmente dilatada de señorío y latifundio que se prolongó hasta la segunda mitad del siglo XX.
Carlos V concedió a otro Juan de Saavedra en 1539 el título de Conde de Castellar, Título que pasó a la casa de Santisteban en 1659 por casamiento de Teresa María Arias de Saavedra con Beltrán de la Cueva y por no haber varones en el tronco de los Saavedra. Posteriormente se unió el título a los de Medinaceli, hasta que por pleito promovido por los Mocosos a principios del siglo XIX obtuvieron el título de Condes de Castellar y la posesión de la villa. El Duque de Medinaceli entabló demanda de propiedad, pasando de nuevo el -Estado-” (sic) de Castellar y el título de Conde del mismo nombre a la Casa Ducal de Medinaceli. Este título y la propiedad de lo que siguió llamándose -Estado- de Castellar, de unas 17.000 hectáreas de superficie, continuaron en poder de la casa de Medinaceli hasta los años setenta del siglo pasado.