公务员考试面试的管理主要 由报考单位或其上级机关负责，具体安排如下：
中央机关及其直属机构公务员的录用：
由中央公务员主管部门负责组织。
地方各级机关公务员的录用：
由省级公务员主管部门负责组织，必要时省级公务员主管部门可以授权设区的市级公务员主管部门组织。
省、市公务员主管部门：
负责组织实施省考公务员的面试工作，并在省委组织部、省人力资源和社会保障厅、省公务员局的统一领导下进行。
报考单位：
如果考生报考的是中央机关或副省级单位的职位，则该中央机关或副省级单位会直接负责面试。
市县级单位：
报考市县级单位的考生，其面试由市县级的上级机关负责，例如报考某省县级国税，那么负责面试的是省级国税部门。
综上所述，公务员考试面试的组织和管理涉及多个层级和部门，具体责任根据考生的报考单位而定。中央机关及其直属机构的面试由中央公务员主管部门负责，地方各级机关的面试则由省级公务员主管部门或其授权的市级公务员主管部门负责，而报考单位本身或相应的上级机关则负责具体的面试实施工作。