Et moi j'ai fait le chemin inverse, il y a quelques années:
Je suis passé du 70-200 f/4 + 300mm f/4L + TC 1.4X vers le 100-400 et j'en suis ravi : je fais de la photo d'aviation.

Comme quoi, ce la dépends vraiment de ton utilisation