Je ne vais pas commenter point par point les commentaires de ton ami, mais il a certaines visions très obtus qui l'empêchent de regarder un peu sur les côtés...
Avoir une bague rouge (un L) ne remplace pas la stabilisation !
La stabilisation permet de gagner en vitesse d'obturation. Habituellement, on essaie de ne pas descendre sous la vitesse équivalente à 1/f (sur un 17-40, si tu zoomes au maximum - 40mm - il serait déconseillé d'utiliser une vitesse d'obturation inférieure à 1/40s), usage qui date de l'argentique, certains conseillent même d'utiliser des vitesses plus élevées quand le boitier est au format APS-C (mettant en cause le grandissement lié au format du capteur). Un système IS permet de gagner en vitesse et par exemple de shooter en suivant l'exemple précédent à 1/20s voire moins selon les modèles - raccourci fait pour alléger mon discours, le 17-40 n'ayant pas l'IS.
Outre cet aspect (qui permet de photographier dans des conditions de lumière plus faible par exemple), l'IS assure justement de la netteté. Tu peux avoir le meilleur L du monde, si tu dois photographier à 1/6s et que tu n'as pas d'IS, pas de netteté ! D'ailleurs de nombreux L sont équipés de l'IS... Il existe par exemple 2 versions du 70-200 f/4 : non IS et IS.
Déjà excellent, le modèle non IS est un poil en-dessous de son grand-frère qui a l'IS.
Attention, je ne dis pas et n'ai pas dit que le 15-85 était meilleur que le 17-40 grâce à l'IS ! Il n'a pas la bague colorée par exemple.
Pour finir sur ce point, j'ai le 17-40 comme dit plus haut, je le considère comme excellent, mais ce n'est pas celui que j'achèterais aujourd'hui si je devais en faire l'acquisition. Je prendrais le 16-35 f/4 IS. C'est un L, qui a l'IS, considéré comme le remplaçant du 17-40, dont les qualités optiques sont supérieures au 17-40. L'IS y est pour quelque chose, la formule optique (lentilles, traitement des lentilles...) pour beaucoup. Preuve que dans les L aussi rien n'est immuable. Les capteurs sont plus exigeants aujourd'hui, les formules des optiques doivent s'y adapter...

Je suis d'accord cependant avec ton ami concernant la robustesse, mon 17-40 ayant connu une mésaventure proche du sien et fonctionne encore à merveille. Les séries L ont des constructions un cran au-dessus des modèles EF non L. Cependant il existe comme précisé précédemment d'excellentes optiques dans la gamme spécifique EF-S (adaptée aux petits capteurs) : les optiques à bague or sont les équivalent des L de la gamme EF. Pourquoi n'ont-ils pas le L ? Parce qu'ils ne s'adaptent pas à tous les boitiers (uniquement à ceux qui bénéficient de la monture EF-S). Ils sont d'une excellente fabrication et robustesse ! Citons par exemple le 17-55 cité précédemment
Ces optiques "haut de gamme" (L ou bague or) ont des lentilles traitées pour limiter les défauts optiques (déformation, aberration, flare...) que n'ont pas forcément d'autres optiques (qu'elles soient EF ou EF-S). Ceci explique aussi la différence de prix et donc certaines différences optiques observables sur des grands tirages (A2) ou en affichage 200% sur l'écran.

Grosse bêtise de ton ami : les possibilités de traitement d'une photo sur l'ordinateur n'ont rien à voir avec le processeur du boitier. Tu retireras les rides de mamie aussi bien avec une photo issue d'un 300D (2004) ou d'un 1DX² (le boitier le plus cher de la gamme actuelle). C'est le logiciel que tu utiliseras et la manière dont tu t'en sers qui feront la différence. Mais aussi le fait de prendre tes photos en RAW (le négatif du numérique) là tu auras plus de possibilités de traitement qu'avec un jpg !!! quelque soit le boitier !!!

Je suis d'accord avec lui pour la prise en main qui peut différer, pour le confort d'un viseur 100%, quant à tester, la plupart des grandes enseignes proposent d'essayer les boitiers en libre service. Par contre il n'y aura pas forcément l'optique que tu veux dessus. Le reste (joint, étanchéité...) n'est que blabla. Si on veut une vraie différence avec les boitiers cités il faut augmenter l'addition, taper sur du 7D², du 5D3 ou 4 voire du 1Dx²....
Par contre, la prise en main d'une optique baguée (rouge ou or) est effectivement plus agréable : ça tient bien dans la main, et s'équilibre parfois très bien avec un boitier. D'autres fois, par contre, l'équilibre n'est pas bon. D'où ce besoin de tester le couple boitier-objo. Peut-être pourras tu investir l'un après l'autre

Bref, je ne solutionne pas ton dilemme mais te mets juste en garde car tout n'est pas aussi simple qu'une affirmation balancée comme ça...