Das dürfte so nicht passieren. Du brauchst nichts zusätzlich außer dem Taster.
Taster an den richtigen Pins? Zwischen den Pins A und B.
Es könnte Kontaktprellen sein aber das tritt eigentlich nur bei drücken auf, nicht beim Loslassen.
Eventuell mal 10 nF parallel zu Taster schalten.