Sous le limon auquel la Hesbaye doit sa fertilité, les grottes de Folx-les-Caves ont été creusées dans du tuffeau, une roche poreuse qui durçit à l’air.

Plus fragile que ses voisins de Lincent et de Gobertange, le tuffeau sableux de Folx-les-Caves contient divers fossiles (coquillages, dents de requin, bélemnites) dont l’origine remonterait à l’ère secondaire (130 millions d’années).

La roche renferme aussi des blocs de grès silicieux. Au XIXe siècle, le bourgmestre de Jauche a fait tailler des pavés de la partie basse des grottes, mais le gisement n’était pas bien grand.

D’aucuns considèrent que l’on a d’abord creusé ces carrières souterraines pour en extraire de la marne. Mélange naturel d’argile et de calcaire, la marne contient de la chaux et du phosphate. Ce qui en fait un excellent engrais, surtout dans le limon hesbignon, riche en argile mais pauvre en chaux.

Fait rare, un ruisseau prend sa source dans les souterrains de Folx-les-Caves. En l’occurence un affluent de la Petite Gette.