Die erste Erwähnung der Schwarzenburg erfolgte schon zwischen den Jahren 1048 und 1060 mit „Heinricus de Swarcenburg“. Seine Nennung im Schenkungsbuch des Klosters St. Emmeram als Vogt des Klosters und der Kirche von Regensburg dokumentiert die gehobene gesellschaftliche Stellung der Familie von Edelfreien. Aus dieser frühen Zeit der Burg sind allerdings keine Reste mehr erhalten, so dass angenommen wird, dass damals eine Vorgängeranlage auf dem AltenSchwarzwihrberg wenig nördlich existierte, oder dass es sich bei der ersten Burg um eine hölzerne Anlage des 10. Jahrhunderts handelte. Beide Annahmen sind allerdings bis heute unbewiesen.Die ältesten Teile der Stammburg der Schwarzenburger, die Reste der Burgkapelle, der vermutlich turmförmige Wohnbau unmittelbar südlich der Kapelle, die Ringmauer und die Reste eines Turmes mit anschließendem Wohnbau in der Ostecke der Unterburg an der Ostbastion, stammen aus der Zeit um das Jahr 1100.

Der bekannteste Schwarzenburger von reichsweiter Bedeutung war der Kölner Erzbischof Friedrich I. (Sedenzzeit 1100–1131). Der Bericht der Annales Rodenses zu Erzbischof Friedrich von Schwarzenburg könnte ebenfalls auf eine hölzerne Vorgängeranlage odereine etwas frühere Datierung der ältesten Teile der jetzigen Ruine hinweisen: Nach diesem fast zeitgenössisch (um 1160) verfassten Bericht hat Graf Adolf (von Saffenberg) um 1122 Margarete von Schwarzenburg, eine Nichte von Friedrich I., geheiratet. „… Sie war geboren auf der Burg Schwarzenburg in Bayern, die an der Grenze zu Böhmen liegt. Von dieser Burgstammte bekanntlich auch Friedrich [geb. um 1075/78] selbst…“. Zu dieser Ehe liegt auch eine Originalurkunde vom 18. Juli 1134 im Archiv der Stadt Köln vor.

Das letzte Mitglied der Schwarzenburger Edelfreien ist der von ca. 1122 bis 1147/48 nachgewiesene „Bertholdus de Swarcinburch“, also Berthold II. von Schwarzenburg, ein Neffe des Kölner Erzbischofs Friedrich von Schwarzenburg. Er kehrte vom Zweiten Kreuzzug mit König Konrad III. nicht wieder zurück. Er oder sein Vater dürften als Erbauer der ältesten Teile der Anlage infrage kommen.