Nach den Jahres des Erfolges kamen leider auch wieder Jahre, in denen eine gewisse Stagnation eintrat. Während sich die Damenmannschaft bis 1981 in der Landesliga achtbar halten konnte und 1982 den Abstieg in die Bezirksliga antreten musste, waren die Herren schon 1981 in die Bezirksliga wieder abgestiegen. Nach zwei Jahren Bezirksliga löste sich die Herrenmannschaft 1984 auf, weil einfach die Motivation und Nachdrängen von guten jungen Spielern fehlte.
Trotz dieser Stagnation gab es einige Höhepunkte in diesen Jahren:
- Die Herren verlieren in der 1. Runde des Bayernpokals gegen TSV Neuötting.
- Der TSV Ludwigstadt feiert 1983 sein 100-jähriges Bestehen.
Gerhard Traut, Heiner Pfeiffer, Rudolf Reinhardt, Rainer Beitzinger, Willy Froeb, Roland Kühnlenz, Klaus Wiefel, Wolf-Rüdiger Wiefel, Siegfried Zilliger, Günter Schwab und Peter Zilliger