考研物理专业人数较少的原因主要有以下几点：
学科难度较大：
物理学作为理工科中相对难度较大的专业之一，需要掌握较高的数学和物理基础知识，对考生的综合能力要求较高。许多学生认为物理学习内容抽象，难以掌握和吃透，导致报考人数较少。
就业前景不佳：
有观点认为，物理专业的学生找工作越来越难，基础科学被抛弃，很多工作缺乏技术含量，导致学生更倾向于选择其他实用性更强的专业。
赋分规则不合理：
部分省份的赋分规则可能使得选择物理专业的学生在考研中处于不利地位，分数集中，竞争激烈，从而影响了物理专业的报考吸引力。
研究方向众多，竞争激烈：
物理专业研究方向众多，考研生往往会选择较热门的研究方向，如量子物理、凝聚态物理等，这些方向的招生竞争非常激烈。
本科阶段选择物理专业的学生数量较少：
物理专业的本科生在本科阶段选择物理的比例相对较低，这也导致了考研物理专业的生源不足。
综上所述，考研物理专业人数较少主要是由于学科难度大、就业前景不佳、赋分规则不合理、研究方向众多竞争激烈以及本科阶段选择物理专业的学生数量较少等多方面因素共同作用的结果。