Z původních zámeckých knihoven se bohužel do dnešní doby nezachovalo na zámku zhola nic. V době Pernštejnů se zde nacházela rozsáhlá knihovna Vratislava a Manrie Manrique, která obsahovala vzácný soubor starých španělských tisků. Celá pernštejnská knižní sbírka však byla spolu s rozsáhlou portrétní galerií rodinných příslušníků Pernštejnů od významných španělských, renesančních mistrů, převezena Polyxenou z Pernštejna do jejího zámku v Roudnici nad Labem a celá tak následně přešla do držení rodu Lobkoviců, v němž se pernštejnské sbírky nacházejí do dnes (shromážděné jsou zejména na lobkovickém zámku v Nelahozevsi). Knihovna Trauttmansdorffů a Valdštejn-Vartenberků byla rozprodána v osudné dražbě roku 1855. Poslední majitelé Thurn-Taxisové, protože už na zámku nepobývali, neobdařili ani zdejší knihovnu novými přírůstky.

Současná knižní sbírka pochází z větší části z hradu Pecka a z části ze zrušené knihovny piaristického kláštera. Je zde uložena zejména přírodovědná literatura, spisy o fyzice, matematice, biologii, ale nechybí ani beletrie. V policích lze najít Shakespearovy hry nebo souborné dílo Julia Zeyera.

Malá bednička zdobená imitací knih mohla sloužit, jako odkládací skříňka na papíry nebo jako odpadkový koš.

Vedle oken visí dva portréty, které znovu odkazují k úzkým vazbám litomyšlských Pernštejnů ke Španělsku. Na prvním z nich je španělský král Filip II. a na druhém jeho manželka Isabela z Valois. Na přelomu 16. a 17. století, tedy v době života posledních Pernštejnů, to bylo právě Španělsko, které udávalo jak politický tak kulturní tón zbytku Evropy. Španělština byla běžnou dorozumívací řečí, kterou každý politik a diplomat musel znát, u habsburského dvora se pěstovala španělská móda, významní šlechtic sbírali díla španělských mistrů. Dokonce v Čechách se utvořila v rámci politického spektra počátku 17. století tzv. španělská, katolická strana jejíž hlavou byla právě Polyxena z Pernštejna a její druhý manžel Zdeněk Popel z Lobkovic.