Важно, но не настолько, да. Я думаю, что именно принятое по умолчанию представление собеседника, что система его приоритетов более правильная - это может раздражать. Как и в других случаях, когда твой собеседник все лучше тебя знает. Но сама формулировка: "У каждого свои приоритеты" - казалось бы признает право другого человека иметь собственный порядок. Однако, реально - получается наоборот.
Впрочем, мне кажется, я с таким редко сталкиваюсь. И, думаю, каким бы тоном это не было сказано, все равно лучше, чем: "Ну и дурак!"