Dans Photoshop CS4 et versions précédentes (je suppose qu'il en est de même avec la CS5 et ne connais pas Element 10), tu crées un nouveau élément de tracé dans la palette de tracés et tu choisis l'outil "Outil rectangle arrondi" qui va te permettre de créer un rectangle arrondi selon le rayon que tu choisiras et qui apparaîtra dans la palette "tracés".
Ensuite, tu sélectionnes ton tracé en cliquant dessus et en tenant appuyée la touche command (sur Mac) ou control (sous Windows). Normalement, tu dois avoir la sélection de ton rectangle à bords arrondis. Tu retournes sur ta palette "calques", tu fais un double clic sur le calque "arrière plan" pour le transformer en calque et tu appliques un masque.