Die Burg Sternberg wurde um 1250 das erste mal erwähnt. Sie gehörte den Edelleuten zu Lippe. Die Lage war strategisch gut gewählt. Zum einen war sie aufgrund der Topographie schwer einzunehmen und zum anderen liegt sie an dem Wegepass zwischen dem Extertal und dem Begatal.