Auf der nach drei Seiten hin verhältnismäßig steil abfallenden, dem Schlossberg vorgelagerten Kuppe wurde Schloss Bruck von den Grafen von Görz zwischen 1252 und 1277 als Residenzburg erbaut. Urkundlich wird Schloss Bruck als „Pruck apud Luenz" (Bruck bei Lienz) erstmals am 10. August 1277 erwähnt.
In den ursprünglichen Bauteilen von Schloss Bruck haben sich Zeugnisse der romanischen Kunst erhalten: ein Biforienfenster mit Mittelsäule und Knospenkapitell im Bergfried, die Bemalung der Balkendecke mit stilisierten Blattformen und Rosetten im „Rittersaal" sowie Heiligendarstellungen in der Laibung eines (zugemauerten) Fensters in der Kapelle.
Als 1500 der letzte Görzer, Graf Leonhard, kinderlos verstarb, fiel das Schloss Bruck mittels Erbvertrag König Maximilian I., dem späteren Kaiser zu. Bereits nach einem Jahr übergab Maximilian die Herrschaft Lienz einschließlich des Schlosses für 22.000 Gulden auf „ewige Rücklösung" an den Freiherrn Michael von Wolkenstein-Rodenegg. Der Lienzer Stadtbrand 1609 trug wesentlich zum wirtschaftlichen Abstieg der Familie bei, der 1642 in einem Konkurs endete. Die Übergabe der Herrschaft Lienz und damit auch Schloss Bruck an den Tiroler Landesfürsten Erzherzog Ferdinand Karl war die Folge.