До настоящего времени сохранились дворцы графа-герцога Оливареса в городах Эль-Альхарафе (провинция Севилья) и Лоэчесе (провинция Мадрид). После смерти графа-герцога Оливареса его имущество было разделено между его законной дочерью Марией де Гусман и Суньига и внебрачным сыном Фелипе Энрике де Гусман. Затем владения и титулы графов-герцогов де Оливарес перешли к герцогам Санлукар-ла-Майор и графам Альтамира, а от после них к маркизам дель Карпио и герцогам де Альба. В 1688 году Каталина де Аро и Гусман, 5-я герцогиня Оливарес, вышла замуж за Франсиско де Толедо и Сильву, 10-го герцога Альба-де-Тормес.
В 1539 годукороль ИспанииКарлос I пожаловал титул графа де Оливареса (исп.conde de Olivares) Педро Пересу де Гусману (ум. 1569), сыну Хуана Алонсо Переса де Гусмана, 3-го герцога Медина-Сидония (1464—1507).
В 1625 году испанский король Филипп IV предоставил Гаспару де Гусману, 3-му графу де Оливаресу, титул герцога Санлукар-ла-Майор. С этого момента последний принял титул графа-герцога Оливаресе (исп.conde-duque de Olivares).
1648—1661: Луис Мендес де Аро Сотомайор и Гусман, 1-й герцог де Монторо (1598 — 26 ноября 1661), старший сын Диего Лопеса де Аро Сотомайора, 5-го маркиза дель Карпио, и Франсиски де Гусман и Пиментель, дочери Энрике де Гусмана, 2-го графа Оливареса