公务员考试的组织和管理工作主要由人力资源和社会保障部门负责。具体来说：
1. 中央机关及其直属机构公务员的录用，由中央公务员主管部门负责组织。
2. 地方各级机关公务员的录用，由省级公务员主管部门负责组织，必要时省级公务员主管部门可以授权设区的市级公务员主管部门组织。
3. 国家公务员局是国务院直属机构，负责全国公务员的招录、培训、管理和考核等工作，并指导监督地方各级公务员主管部门的工作。
4. 人力资源和社会保障部门具体负责公务员招聘考试的组织工作，包括制定考试大纲、试题以及组织实施考试等。
5. 各级公务员考试的具体实施，如资格审查、面试、体检、考察等，通常由省级公务员主管部门统一安排，并由各省级机关和各市级公务员主管部门具体实施。