専門業務型裁量労働制の労使協定　「労働者」は制度対象者以外も？

専門業務型裁量労働制の労使協定を締結したいと考えています。しかし、従業員には専門業務型裁量労働制の対象とならない労働者が多く、労使協定を締結する過半数代表者を選ぶ場合、裁量労働制の対象となる労働者だけで、過半数代表者を選ぶ選挙をするのかどうか疑問に思いました。（群馬・Нプランニング）