So, habe es jetzt mal ausprobiert.
Zwischen VCC und GND am Player hat leider mit keinem Kondensator etwas gebracht (weder aufs Knacken noch aufs Rauschen).
Habe den 100uF Kondensator dann mal testweise direkt zw. + und - vom Lautsprecher gehängt, das reduziert die Knackgeräusche beim Ein- und Ausschalten um ca. 60-70%.