A comienzos del siglo XVI, cuando Valladolid se consolidaba como uno de los principales centros políticos de Castilla, la familia Pimentel, titulares del condado-ducal de Benavente, decidió levantar aquí una residencia que reflejara su influencia dentro del reino.
La construcción comenzó en torno a 1515 y desde sus primeros años el edificio dejó claro que no iba a ser una simple casa señorial. Sus dimensiones, su localización y su diseño hicieron que muchos contemporáneos lo consideraran uno de los conjuntos civiles más ambiciosos de la ciudad.
Pero lo realmente excepcional ocurrió dentro. El palacio fue sede de Cortes Generales y de consejos reales, algo que lo convirtió durante décadas en un espacio directamente conectado con la política de la monarquía. También sirvió de residencia temporal a miembros de la familia real, incluyendo estancias documentadas de Felipe II y Felipe III.
Bajo Juan Francisco Alonso Pimentel, el edificio alcanzó uno de sus momentos de mayor esplendor cultural. En sus salas llegó a reunirse una colección privada con obras atribuidas a maestros europeos que hicieron del palacio una referencia artística de primer nivel en la ciudad.
La historia, sin embargo, no fue lineal. El conjunto sufrió graves incendios en 1667 y 1716, episodios que alteraron profundamente parte de su estructura. Más adelante tuvo usos asistenciales y administrativos, hasta que en el siglo XX fue rehabilitado para convertirse en espacio cultural y biblioteca pública.
