Hrad Velhartice byl založen na přelomu 13. a 14. století na skalním ostrohu, obtékaném říčkou Pstružnou. Tento hrad si jako rodové sídlo pánů z Velhartic počal stavět Bušek z Velhartic - komorník Karla IV.. Hrad byl stavěn jako dvoupalácová stavba propojená hradbami, Rajský dům, který byl předním palácem stojí na nejvyšším místě hradní skály. Rajský dům byl z ochraných důvodů postaven o půdorysu ve tvaru písmene D. Druhý palác na jižní staně skalního ostrohu splynul při přestavbách v 17. století se zámeckou částí Velhartic tzv. Huertovým křídlem. V tomto jižním paláci byly svého času uschovány Menhartem, synem Jana z Hradce, korunovační klenoty Království českého, aby nemohlo dojít ke korunovaci Jiřího z Poděbrad na krále. Pro lepší vykrytí severozápadní strany hradu byla vybudována hranolová obytná věž, kterou s Rajským palácem spojuje kamený most. Takto řešený kamený most, jako spojení obranných systémů hradu, je ve střední Evropě ojedinělý. Most je dlouhý 32 m, široký 3 m a vysoký necelých 10 m. Nesou jej čtyři masívní pilíře s lomenými oblouky. Z mostu vedly jak do Rajského paláce, tak do hranolovité věže, od minulého století zvané "Putna", padací můstky. Při přestavbách v 15. století byla zvýšena obranyschopnost Velhartic vystavením hradby na severovýchodní straně hradu, která přechází do hlubokého, suchého hradního příkopu tesaného ve skále. V 17. století provedl Martin de Hoeff Huerta rozsáhlou přestavbu hradu za účelem jeho zpohodlnění. Takto vznikl pozdně renesanční palác mezi původním hradním Rajským palácem a jižním palácem. Při této přestavbě bylo mnoho vnitřních hradních zdí pobořeno a vzniklo mnoho zásypů, které změnily původní hradní komunikace. Jméno Martina de Hoeff Huerty je spojeno s násilnou rekatolizací zdejšího kraje, přesto je také znám i z kladné stránky - zrušením roboty na velhartickém panství. Ke konci 18. století začíná hrad postupně upadat. Poslední majitelé - Windischgrätzové hrad musí opustit v roce 1945 a hrad přechází do státních rukou.
