J'ai failli répondre que c'était déjà fait, et pris d'une soudaine inspiration, j'ai vérifié : les 4 ports sur lesquels j'ai testé venaient du même contrôleur. J'ai testé sur un port USB d'un autre contrôleur, et ca a marché, effectivement.
Donc à défaut de comprendre le pourquoi du problème, j'arrive à le contourner.

Morale : il ne faut pas se contenter de tester quelques autres ports, il faut tous les tester !
Et merci Silver_dot pour m'avoir correctement aiguillé !