安全工程师扣证单位主要涉及以下几类：
国家安全生产监督管理局：
作为全国安全生产监管的主要部门，负责制定安全生产政策和标准，并监督实施。国家安全生产监督管理局是注册安全工程师证书的签发单位之一。
各省、自治区、直辖市安全生产监督管理部门：
这些部门在国家安全生产监督管理局的指导下，负责本地区内的安全生产监管工作，并颁发注册安全工程师证书。
行业协会或机构：
虽然一些行业协会或机构也可以颁发安全工程师证书，但这些证书需要得到国家安全生产监管部门的认可。
人事部：
在早期的安全工程师制度中，人事部参与证书的颁发工作。例如，职称安全工程师的主管单位是本省安全生产监督管理局，颁证单位是本省人事厅。
综上所述，安全工程师扣证单位主要是国家安全生产监督管理局和各省、自治区、直辖市安全生产监督管理部门。这些部门负责证书的颁发、审核和管理工作，确保证书的权威性和合法性。