De veertiende-eeuwse burcht van Sümeg ligt op de top van de burchtberg (270 m.). De burcht is nog in zeer goede staat en wat oppervlakte betreft is het een van de grootste van Hongarije. In de burcht is een expositie ingericht over de geschiedenis van het kasteel, ook kunnen de folterkamer en het panopticum worden bekeken.

Op de binnenplaats worden regelmatig ridderspelen gehouden. Sümeg was in de achttiende eeuw een geestelijk centrum van de katholieke kerk.