Ca ne changera pas grand chose. Comme le dit justement Fred08, sur une optique fixe, ça passe encore, sur un zoom comme le 100/400 a la formule optique complexe, mieux vaut éviter le filtre.

perso j'ai plus de filtres sur aucune optique, sauf en bord de mer (pour le sable et les embruns). Par contre les pare soleils sont montés systématiquement et je remets le bouchon dès que j'ai fait les photos.