Angenommen Du "deaktivierst" das touchmove im body, dann bekommen die Elemente innerhalb des bodys doch immer noch vorher das Ereignis. Und wenn Du es in dem Element direkt benötigst, dann füge Deine Aktionen doch einfach vor dem preventDefault() ein.

Oder habe ich das Problem falsch verstanden?

Grüße
Horst