公务员考试的负责单位主要有：
国家公务员局：
它是中央人事部的直属机构，负责管理全国各级机关事业单位（不包括军队）的招考和录用工作，统一协调全国公务员考试的组织实施以及监督考试过程和考试内容。国家公务员局下设有考试中心，具体职责包括组织实施公务员招考工作，如招聘人员、编写考试大纲、编写试题、安排考场、考试监考等。
中央公务员主管部门：
负责中央机关及其直属机构公务员的录用工作。
省级公务员主管部门：
负责地方各级机关公务员的录用工作，必要时可以授权设区的市级公务员主管部门组织。
市委组织部和市人力资源和社会保障局：
市委组织部负责管理党群系统、人大系统、政协系统、法院系统、检察院系统、民主党派系统（也称六大机关）公务员，而市人力资源和社会保障局则负责具体考录工作。
综上所述，公务员考试的负责单位包括国家公务员局、中央公务员主管部门、省级公务员主管部门、市委组织部和市人力资源和社会保障局。具体职责如下：
国家公务员局：全国范围内的招考和录用工作的统一管理、监督。
中央公务员主管部门：中央机关及其直属机构公务员的录用工作。
省级公务员主管部门：地方各级机关公务员的录用工作，可授权市级部门组织。
市委组织部：管理特定系统公务员的录用。
市人力资源和社会保障局：具体负责公务员招聘考试的组织工作。