公务员考试的组织工作主要由 中央公务员主管部门和省级公务员主管部门负责。
中央机关及其直属机构公务员的录用，由中央公务员主管部门负责组织。
地方各级机关公务员的录用，由省级公务员主管部门负责组织，必要时省级公务员主管部门可以授权设区的市级公务员主管部门组织。
具体来说，中央公务员主管部门负责制定录用计划、审定试题、规定时间、发布公告、报名、考试、评卷等各个环节的工作。而省级公务员主管部门则负责根据国家的公务员录用法规，制定本行政辖区内国家公务员录用的有关规定，指导和监督市（地）级以下国家行政机关公务员录用的管理工作，并组织省级政府各工作部门录用国家公务员的考试和审批工作。
此外，各级的公务员考试一般都是由组织部来负责管理和举办的。例如，国家公务员考试就是由中央组织部统一进行管理和谋划的，而地方公务员考试则是由各个省的省委组织部来负责统筹开展的。
综上所述，公务员考试的组织工作涉及多个层级和部门，但主要由中央公务员主管部门和省级公务员主管部门负责。