Areál dnešního litomyšlského zámku má pradávnou tradici osídlení sahající až do doby kamenné. V písemných pramenech se první zmínka o hradišti rodu Slavníkovců situovaném přibližně do prostoru dnešního zámeckého návrší objevuje v kronice Kosmově k roku 981.

Po vyvraždění Slavníkovců připadl z rozkazu knížete Boleslava II. v roce 995 celý jejich majetek spolu s Litomyšlským hradem do přímého držení Přemyslovců.

K novému rozmachu litomyšlského sídliště dochází za vlády Vladislava II., který povolává do Litomyšle řád premonstrátů. Premonstráti jako noví uživatelé hradu vybudovali na hradním návrší (nazývaném Olivetská hora) klášter a chrám zasvěcený Panně Marii.

V roce 1259 bylo litomyšlské podhradí povýšeno privilegiem Přemysla Otakara II. na město. S tím byla spojena celá řada královských výsad, jimiž bylo nové město obdařeno, jako bylo právo soudní, hrdelní, hradební, várečné (vaření piva)...

Největšího rozmachu ve svých středověkých dějinách dosáhla Litomyšl před polovinou 14. století na sklonku vlády Jana Lucemburského, kdy se z iniciativy Janova syna a následníka trůnu Karla (později Karel IV.) Litomyšl stala roku 1344 sídlem biskupa. Druhým biskupem v Litomyšli se stal Jan II. ze Středy (1353-1364), kancléř císaře a krále Karla IV. a jedna z nejvýznamnějších osobností na Karlově dvoře.

Založení biskupství mělo dalekosáhlý vliv na zástavbu kolem teď již bývalého kláštera na Olivetské hoře, začal se budovat nový, honosný biskupský palác, který byl situován přibližně v místech dnešního východního křídla zámku a pokračoval dále k severozápadu.

Až roku 1388 stanul na biskupské stolici Jan IV. Železný, muž který se na počátku 15. století stal významným oponentem Mistra Jana Husa. Ani biskupská Litomyšl se nemohla vyhnout náporu husitských vojsk. Poprvé přitáhl k městu se svým vojskem samotný Jan Žižka v dubnu 1421. Žižka se ovšem spokojil s pouhým obsazením města a biskupských hrad ušetřil. Městu se stalo osudným až druhé husitské obléhání roku 1425, kdy vojsko sirotků vyplenilo všechny městské kostely a biskupovu rezidenci téměř srovnalo se zemí. Vyplenění města sirotky znamenalo i faktický zánik biskupství, které už nebylo nikdy obnoveno

Po letech neklidu a drancování přišel do Litomyšle na počátku 30. let spolu s vládou Kostků z Postupic klid a hospodářský i kulturní rozmach města. Prvnímu ze šlechtických držitelů panství Vilému Kostkovi z Postupic udělil litomyšlské panství v dědičný majetek císař Zikmund Lucemburský. V držení litomyšlského panství se pak postupně vystřídaly další čtyři generace Kostků z Postupic. V době jejich více jak stoleté vlády získala Litomyšl svůj typický ráz v podobě domů s podsíněmi tvořícími dlouhá podloubí.

Konec panování Kostků z Postupic nad Litomyšlí byl neslavný. Poslednímu členu rodu Bohušovi III. byl ve prospěch panovníka Ferdinanda I. zkonfiskován majetek.

V roce 1567 obdržel zámek Vratislav z Pernštejna, se kterým přišla do Litomyšle snad nejslavnější éra dějin města i zámku. Zámek byl zcela zpustlý a poničený požárem, který ve městě vypukl roku 1560. Přesto se Pernštejn rozhodl zvolit si právě Litomyšl za své nové rodové sídlo.

Vratislav inspirován svými cestami po Itálii rozhodl se vystavět své sídlo v renesančním stylu. Základní kámen renesanční stavby byl položen v březnu 1568 a celá stavba probíhala ve dvou etapách (1568-71/73 a 1574-82). Hlavními architekty celé stavby se stali Italové Giovanni Battista Aostalli a Ulrico Aostalli. Podoba stavby vychází z typu římské venkovské vily s uzavřeným arkádovým dvorem. Zcela svébytným českým prvkem, který není závislý na renesančních vzorech jsou bohatě zdobené střešní štíty.

Po smrti Vratislava se Litomyšle na krátký čas ujal jeho nejstarší syn Jan III, a pak jeho syn Vratislav Eusebia. Jeho smrtí v roce 1631 vymírá Pernštejnský rod po meči.

Poslední paní z rodu Pernštejnů, která vládla na Litomyšli byla sestra Vratislava Eusebia jménem Eusebie Frebonie. Působení Eusebie Frebonie se do dějin města i zámku nesmazatelně zapsalo, tím že do Litomyšle povolala tehdy nový řád piaristů, který zde až do 19. století formoval kulturní a intelektuální ovzduší města.

Eusebie Frebonie odkázala ve své závěti celé panství svému příbuznému Maxmiliánovi z Trauttmansdorfu a spolu s ním přichází na zámek závan nového uměleckého stylu baroka. Maxmilián a zejména jeho syn Jan Fridrich se pustili do rozsáhlých úprav zámku. Do jeho podoby se rod zapsal na počátku 18. století, kdy František Václav z Trauttmnasdorfu povolal na své panství věhlasného vrcholně barokního architekta Františka Maxmiliána Kaňku. Ten se soustředil na úpravy zámeckých interiérů, staré, renesanční, kazetové stropy byly nahrazeny štukovou nástropní výzdobou. Zároveň byly z jeho popudu přepříčkovány některé velké renesanční sály, aby tak mohly vzniknout menší, intimnější pokoje. Dnešní rozvržení jednotlivých pokojů zejména prvního patra vychází právě z této trauttmansdorfské úpravy.

Sňatkem dcery posledního litomyšlského Trauttmansdorfa Františka Václava, přešel zámek do majetku rodu Valdštejn-Vartemberků, v jejichž držení zůstal až do poloviny 19. století. Za jejich vlády byl upravován zámecký park a pro Litomyšl typická sgrafitová výzdoba fasád byla zabílena vápnem.

Odvrácenou stránkou zdánlivě idylického života Valdštejnů na Litomyšli byl jejich nezadržitelný hospodářský úpadek. Antonín II. byl donucen zámek nabídnout ve veřejné dražbě. Zámek vydražil kníže Maxmilián Karel z Thurn-Taxis.

Thurn-Taxisové už v Litomyšli nikdy nesídlili a zámek navštívili jen několikrát. Rod Thurn-Taxis vlastnil Litomyšl až do konce druhé světové války, kdy se na jeho členy, jakožto německé státní příslušníky vztáhly dekrety prezidenta republiky a celý zámek byl roku 1948 zestátněn.

Dvacáté století pak zámek proměnilo nejprve v centrální úložiště svozového mobiliáře ze zámků, které neměly být zpřístupněny veřejnosti a později zde vzniklo muzeum české hudby. V roce 1999 byl zámek pro svoji architektonickou jedinečnost zapsán na seznam Světového kulturního dědictví UNESCO.

Sgrafitová výzdoba zámku byla zahájena už roku 1580 a na zámeckých fasádách ji nacházíme ve dvou variantách. Tzv. psaníčkové sgrafito, které se nachází převážně na vnějších fasádách a na třetím nádvoří a sgrafito figurální.

Psaníček je na celém zámku přes osm tisíc a už při jejich vzniku se dodržovala zásada, že jednotlivé motivy se na žádném z psaníček nesmí opakovat. Větší část z nich vytvořil umělec Šimon Vlach.

Většina psaníčkových sgrafit je bohužel nepůvodních. Část psaníček zanikla pod barokní omítkou, kterou byla za Valdštejn-Vartenberků překryta. Další část byla následně zničena necitlivými restaurátorskými zásahy na začátku 20. století. Při generální rekonstrukci omítek v 70. letech pak byly chybějící části doplněny podle volné fantazie tehdejších restaurátorů pod vedením sochaře Olbrama Zoubka. Přes tento zásah se z původní renesanční vrstvy psaníčkového sgrafita zachovalo méně než 40 procent.