Zur besseren Einschätzung verrate doch mal bitte das genaue Modell (FH-M7...).
Alte XT, wie auch alle anderen Shimanonaben mit Stahlachse sind eigentlich unproblematisch. Häufige Freilaufdefekte traten erst mit den vergrößerten Aluachsen und damit veränderten Freilauf der Modelle FH-M770/775 auf.

Und nein, deine Fahrweise sollte eigentlich kein Problem für einen Freilauf darstellen

Siehe auch:
Wie zuverlässig Shimano XT Freiläufe - 770 (Ausrüstung Reiserad)