Zakladatel hradu Pihel není přesně známý. Obecně se za něj považuje Hynek Zajíc z Hazmburka. Hrad byl založen ve 14. století a první zmínka o hradu pochází z roku 1396.
Dalším důležitým rokem je rok 1421, kdy hrad získal Jan z Chlumu, pocházející ze Svojkova. Tento muž je významný hlavně tím, že doprovázel roku 1415 Jana Husa na koncil do Kostnice. Na této cestě se s ním spřátelil a po návratu do Čech pokračoval jako jeden z mála Husových přívrženců v Litoměřickém kraji. Hrad za svou dobu utrpěl mnoha ranám. Zříceniny hradu se dochovaly až do 17. století, ale později byly rozebrány na stavební materiál.