mui... moi personellement je ne renoncerais pas à une certaine polyvalence... même pour un gain de qualité, parfois réduit.
Pour l'animalier j'envisage l'achat de focales fixes comme le 500 ou le 300 2.8 mais le 100-400 restera dans le sac.
En voyage ou dans des conditions difficiles, tempête de nage, sable.... le fait de ne pas devoir changer en permanence d'objo est un atout de taille. De même en paysage, varier les focales est un plus et lorsque les conditions de lumières varient rapidement, je ne me vois pas perdre du temps à changer l'objectif, sous peine de rater le moment fatidique...
Comme le souligne Joss21 il faut également prévoir un sac volumineux.

Par contre, c'est vrai qu'au niveau piqué /qualité d'image tu devrais prendre beaucoup de plaisir.

En fait tout dépend de notre utilisation.