Sie dürfte ein ähnliches Schicksal wie viele ihresgleichen erlitten haben, die alte Burg Wollerau: Das Mauerwerk wurde wohl zum Bau neuer Häuser verwendet. Um 1508 erscheint sie letztmals urkundlich mit der Ortsangabe "ennethalb dem Bach". Gemeint ist der Krebsbach, im Gebiet des heutigen Alters- und Pflegeheimes Turm-Matt, auf der Turmmatte, unweit des gemeindeeigenen Restaurants Verenahof. Noch zu Beginn dieses Jahrhunderts war die Wiese zwischen Letzterem und dem Dorf als "Schlosswiese" bekannt. Der Turm selbst, dessen Fundation beim Bau der Turm-Matt gesichtet wurde, soll von einem Graben umgeben gewesen sein, über den eine Fallbrücke führte. In nächster Nähe befand sich die Richtstätte mit dem Galgen. Noch um die Jahrhundertwende stand dort ein Haus mit einem "Helgenhüsli", das an die ehemalige Richtstätte und das "Galgenkappeli" erinnerte, und in dem 1785 viele Gebeine gefunden worden sein sollen. - Das Geschlecht der Ritter oder Edelknechte von Wollerau, ihres Zeichens Unterhofmeister des Abtes von Einsiedeln, tritt urkundlich um 1210 erstmals auf. Dabei muss angenommen werden, dass sowohl die Geschichte des Turms als auch die Besiedlung des Gebietes um Wollerau Jahrhunderte weiter zurückreichen.

Seit 1985 steht das Alterszentrum Turm-Matt im Bereich der einstigen Burg Wollerau. Den Heimbewohnern stehen 15 Altersheim- und 31 Pflegeplätze zur Verfügung. Im Rahmen des Gesundheitswesens besonders erwähnenswert sind auch die Angebote der spitalexternen Krankenpflege (Spitex: Krankenpflege, Haushalt- und Familienhilfe) sowie das Krankenmobilienmagazin des Samaritervereins.