Bevor das Sägewerk durch A.W. Faber (Bleistiftfabrikant) vergrößert wurde, befanden sich dort die Mehrzahl der Schwarzenbrucker Bauernhöfe. Deren Felder lagen weiter südlich Richtung alten Kanal - und in einem breiten Streifen die Schwarzach entlang bis zum Unterfeld. Auch eine der beiden Schwarzenbrucker Wolfsgruben, die auch heute noch erhalten ist, befindet sich in diesem oberen Bereich (hinter dem Wanderparkplatz).

Auf dem Bild des Kalenderblattes Juni ist einer dieser alten Bauernhöfe zu sehen. Vermutlich der Stoffelbauer. Um 1834 befand sich auch auf der Insel ein Gebäude, das links am Rand zu sehen ist. Auch der Wasserzulauf zur Mühle war damals noch deutlich schmaler. Vom Stoffelbauer ist heute nichts mehr zu sehen, lediglich die wieder ausgegrabene Quelle (der kleine Brunnen), weist noch auf die Stelle hin. Am Brunnen ist zu erkennen, wie tief damals der Boden dort war. Nach Abbruch der Säge wurde der Platz großflächig aufgeschüttet und begradigt.

Neben dem Stoffelbauer gab es auf der südlichen Seite der Schwarzach noch den Gaafer Michael (Gütlein Köbler) , den Ulabauer (Nikolaus Böhm) und Georg Meier (Müller). Deren Gebäude wurden allesamt mit ihren Ländereien von Faber Castell kurz vor 1900 aufgekauft und größtenteils abgerissen. Heute noch schön erhalten sind der Neubauer (Haas) und der Fri(e)tzenbauer. Letzterer Hof ist ein besonderes Kleinod, da fast unverändert und durch den letzten Besitzer liebevoll gepflegt. Er ließ sogar einen alten Backofen wieder aufbauen.

Der Frietzenbauer Johann Michael Meyer nutzte das Geld aus dem Verkauf und ließ sich in Ochenbruck nieder, wo er den jetzigen Gasthof „Schwarzer Adler“ von der Witwe Böhm kaufte.

Kaum zu glauben, dass Faber auf dem Hügel über dem Kirchweihplatz einen Pavillon errichten ließ. Die von den Bauern erworbenen Ländereien und Wälder nutzte er für ausgedehnte Kutschfahrten.