La Casita del Pescador fue mandada construir por el rey Fernando VII en lo que fueron los Reales Jardines del Buen Retiro, cuando pertenecían a la Corona, en un intento de devolver a los jardines el esplendor que tuvieron antes de que fueran bombardeados en la guerra de 1808.
En una zona a la que llamaban "Reservado" y situada sobre un lago donde la realeza acudía a pescar, se levanta esta pequeña construcción de estilo pompeyano, con disposición de cruz griega y rematada por chapitel de plomo, muy característico en los jardines ingleses y franceses del siglo XVIII y XIX, con el destino de ser un lugar de descanso y reposo real.
Estas construcciones que adornaban los jardines, se les llamaban "Caprichos", entre los que existieron el Salón Oriental, Salón Persa, La Casa del Pobre, La Casa de Vacas, La Casa del Contrabandista y esta Casita del Príncipe.
El exterior estaba Adornado con hornacinas con bustos y motivos renacentista pintados al fresco. El interior estaba decorado con mobiliario y ricas telas.
La Casita del Pescador es una de las escasas muestras que han llegado hasta nosotros.