安全工程师的管理主要涉及以下部门：
人力资源社会保障部：
负责注册安全工程师职业资格制度的制定、指导、监督和检查实施，同时统筹规划注册安全工程师专业分类。
国家安全监管总局 （现应急管理部门）：负责注册安全工程师职业资格的实施与监管，包括制定和实施安全生产政策法规、组织安全生产监督检查、开展事故调查处理、推动安全生产技术进步等。
各省、自治区、直辖市应急管理、人力资源社会保障部门：
根据《注册安全工程师职业资格制度规定》，这些部门负责注册安全工程师职业资格的实施与监管。
国务院有关行业主管部门：
对于需要另行增设的专业类别，需提出意见，并由人力资源社会保障部和国家安全监管总局共同确定。
省级煤矿安全监察机构：
对所辖区域内煤矿安全注册安全工程师的注册、执业活动实施监督管理。
综合以上信息，可以得出结论：安全工程师的管理主要归应急管理部门负责，具体实施与监管则由国家及地方的人力资源社会保障部门和安全生产监督管理部门协同进行。