Je te conseillerais également le 24, tu as le modèle à F2.8 qui a été cité dans le post mais également celui à F 1.8, qui en outre un moteur USM.
J'ai eu l'occasion de tester les 2 et j'avais bien aimé pour leur discrétion par rapport au zoom.
Je suis un peu comme toi en train de réfléchir a avoir une partie du parc en focale fixe, bientôt je vais avoir le 85 1.8 ainsi que le 35 mm 2.0 qui fonctionnent très bien avec le 5D Mark 2.
Concernant le 17-40 L 4.0, c'est un zoom très bien mais qui a une ouverture pas assez lumineuse dans certains cas mais il se défend bien et surtout il reste dans un rapport prix/performance assez correcte. Après il en faut pour tout le monde et c'est sûr que le 16-35, c'est un autre monde...