Ce n'est pas forcément une mauvaise idée, c'est une question de "finalité" et de budget.
Si je regarde un peu mon expérience, j'ai perdu de l'argent à passer d'un objectif à l'autre, et d'un boitier à l'autre. Je ne dis pas qu'il faut tout acheter d'entrée de jeu etc....Par exemple, j'ai choisi le 85mm f/1.8, dernier caillou acheté après une très longue réflexion. Je sais que je n'achèterais pas le L, car pas assez polyvalent, trop cher, et trop lourd. Malgré un rendu superbe, que j'aimerais bien avoir. Je réfléchis à un fixe en focale courte et là je me pose plus la question aussi. Je pourrais acheter un 35 f/2 sur un coup de tête, mais d'autres me font envie, et je préfère bien mûrir la réflexion comme le budget.

Si un budget pour le 100-400L peut se dégager dans un certain temps, ou pour un 400mm L par exemple, il faut en effet voir si c'est une pratique régulière que l'investissement en vaut la chandelle.
Dans ce cas là, il est clair qu'un détour fera perdre du temps, de l'argent, et va générer des discussions avec des gens qui comprennent moins nos pratiques (ma femme par exemple).

C'est vrai que du coup, maintenant j'ai tendance à regarder si j'ai une pratique occasionnelle et j'achète un objectif pas trop cher, ou si au contraire c'est une pratique que j'aime bien, et qu'il vaut mieux investir directement....ou attendre de réunir le budget.
Je me souviens avoir acheté le 17-55, meilleur objectif zoom aps-c que j'ai jamais eu, juste avant de réaliser que pour l'utilisation que je faisais, le passage au FF serait réellement bénéfique. quelques mois après, j'ai fini par vendre le 17-55 fraichement acquis, avec le reste du matos aps-c, il ne restait plus qu'un 70-200. C'était bête et peu réfléchi, j'aurais mieux fait de revendre le 50D au lieu d'acheter le 17-55 et d'acheter directement le mark 2. Depuis, je réfléchi vraiment un moment avant d'acheter un nouvel objectif.