Die Burg blieb immer nur ein fester Wehrbau, der zur Verteidigung, aber nie für eine Hofhaltung bestimmt war. Unter den Habsburgern ging Pflindsberg in landesfürstlichen Besitz über. Mit der Verleihung der Gerichtsbarkeit an den Markt Aussee im Jahre 1400 erhielt die Burg eine neue Aufgabe; sie wurde Kerker und Hinrichtungsstätte für Verbrecher. 1516 wurde hier auch ein Ausseer, der Mitglied einer Mörder-? und Räuberbande war, mit dem Strang hingerichtet.

1574 und 1575 wurde die Burg gründlich renoviert und auch eine Wohnung für einen Bergmeister der zugleich Kerkermeister war, eingerichtet. Im Jahre 1750 ging Pflindsberg in die Staatsverwaltung über und 1755 verließ der letzte Bewohner, der Bergmeister Preßl, die Burg, um in den Ort zu ziehen. Dem Volksmunde nach sollen ihn nächtliche Geister vertrieben haben - angeblich soll ein schwarzer Reiter ohne Kopf sein Unwesen treiben. Die Burg Pflindsberg wurde dem Verfall preisgegeben und war um 1780 bereits Ruine.

Bei einer Wanderung von Altaussee, vorbei am romantischen Wasserfall, zur Ruine Pflindsberg, wird man mit einem atemberaubender Ausblick über das Ausseerland belohnt.