Die Bermatinger Höhle am Nahehard (auf dem Anwesen "Weiherstraße 5") fand durch die Veröffentlichung des Altertumforschers, Dekan und Schulvisitator Eitenbenz, 1842 großes Interesse. Eitenbenz entdeckte Einritzungen in der Höhlenwand und deutete sie als „griechisches Kreuz“ – andere Einritzungen als Monogramm des Namens Christi.
Daher vertrat er die Auffassung, dass es sich um eine „Zufluchtsstätte verfolgter Christen zur Feier der Gebräuche ihrer Religion“ handelte.
Der Bermatinger Vikar Deisler widersprach 1911 der Meinung von Eitenbenz und sah in den Höhlen lediglich Zufluchtstätten. Andere interpretieren sie als „Erdställe“. Neben den Einritzungen sind Reste versteinerter Baumstämme besonders sehenswert.