První písemné zmínky o obci Podhradí, na jejímž okraji se zřícenina hradu nachází, pocházejí z r.1288.

Císař Rudolf I. Habsbuský tehdy Neuberg propůjčil jako léno pánům z Plavna, kteří jej však obratem převedli zpět na Neubergy (Neippergy) příbuzné se zemřelým původním majitelem Albrechtem z Neubergu.

Jelikož hrad stával nedaleko od obchodních cest do Saska, býval využíván jako základna k loupežím.

Za vlády Karla IV byl proto hrad pobořen a v roce 1395 jej sňatkem s Hedvikou z Neubergu získal Konrad von Zedwitz. Zedwitzové pocházející z bavorského Vogtlandu tehdy postupně skupovali majetky v Krásné, Podhradí, Kopanině, Doubravách a Aši.

V roce 1422 Zedwitzové získali za svou loajalitu k Zikmundovi Lucemburkému nezávislost na Chebu a z hradu Neuberg vládli celému Ašskému výběžku.

V roce 1647 hrad vyhořel (některé prameny uvádějí rok 1610) a navíc během třicetileté války dramaticky poklesl počet obyvatel žijících na zdejším panství na polovinu (mimo jiné i zásluhou morové epidemie, která vypukla v roce 1633).

Materiál ze zničeného hradu, jehož přesná podoba není známa (vyjma dochované věže), byl později využit pro stavbu zámku a snad i pivovaru.

Zámek postavený Adamem Erdmannem Zedwitzem v roce 1752 ovšem v roce 1902 taktéž vyhořel.