García Álvarez de Toledo y Zúñiga contrajo matrimonio en Alba de Tormes, el 30 de enero de 1503 con Beatriz Pimentel y Pacheco, hija de Rodrigo Alonso Pimentel, IV conde de Benavente y de María Pacheco y Portocarrero. De este matrimonio nacieron seis hijos:
Fernando Álvarez de Toledo y Pimentel, III duque de Alba de Tormes.
Catalina Álvarez de Toledo y Pimentel, casada con Diego Enríquez de Velasco, III conde de Alba de Liste, viudo de su tía Aldonza.
María Álvarez de Toledo y Pimentel, casada con su primo Enrique Enríquez de Toledo, IV conde de Alba de Liste, primogénito del marido de su hermana Catalina tenido de su primer matrimonio.
Ana Álvarez de Toledo, casada con Luis de Guzmán y Córdoba, II conde de Teba.
Isabel Álvarez de Toledo, esposa de Pedro de Cárdenas.
Bernardino de Toledo, fraile en la orden de San Juan.