公务员考试的负责单位主要分为中央和地方两个层面：
中央层面
中央公务员主管部门：负责全国公务员录用的综合管理工作，包括制定政策法规、指导协调录用工作、统一组织中央国家机关公务员的考试录用等。
国家公务员局：作为公务员考试的最大机构，负责组织和实施全国公务员招考、录用、培训和管理工作。
地方层面
省级公务员主管部门：负责本辖区公务员录用的综合管理工作，包括制定相关规定、贯彻执行国家方针政策、指导和监督市县级以下公务员录用的管理工作，以及组织省级政府各工作部门的录用考试和审批工作。
设区的市级公务员主管部门：在必要时，省级公务员主管部门可以授权其组织本辖区内公务员的录用工作。
市人力资源和社会保障局：负责地方各级机关公务员的录用考试的具体组织工作，包括发布招考公告、命题制卷、考务组织以及阅卷等。
此外，公务员考试的具体组织和管理还可能涉及其他相关部门的配合，如市委组织部、市人力资源和社会保障局等。
综上所述，公务员考试的负责单位包括中央公务员主管部门、国家公务员局、省级公务员主管部门、设区的市级公务员主管部门以及市人力资源和社会保障局等。具体职责和权限在不同层级和部门之间有所分工和协调。