处理工厂噪音扰民问题，可以采取以下措施：
向环境保护行政主管部门投诉
公民可以向当地的环境保护行政主管部门投诉，要求其对工厂噪音扰民行为进行责令改正，并可能处以罚款。
报警处理
若投诉无法解决问题，可以选择报警处理。警方会对制造噪声干扰他人正常生活的行为给予警告；警告后不改正的，处200元以上500元以下罚款。
联系城乡环境综合治理办公室
可以向当地的城乡环境综合治理办公室反映情况，该办公室负责处理环境污染、噪音污染等问题，可能协助环保局进行声音监测，并与工商局合作处理此事。
物业或居委会协调
若工厂噪音扰民问题涉及到居民区，可以寻求物业或居委会的帮助进行协调解决。
收集证据
在投诉或报警前，应收集相关证据，如噪音监测数据、邻居投诉记录、现场录音等，以便在需要时提供。
源头控制
工厂可以采取源头控制措施，如设备选型与更新、噪声源隔离、设备维护与管理等，以减少噪声产生。
传播途径阻断
通过建设声屏障、绿化降噪、厂房布局优化等措施，阻断噪声的传播途径。
个人防护
为员工提供耳塞、耳罩等个人防护用品，减少噪声对听力的损害，并定期进行听力检查。
环境改善
改善工作环境，如提高通风效果、降低温度，降低员工因环境不适而产生的噪声敏感度。
加强噪声监测与评估
建立噪声监测与评估体系，定期监测和评估工厂噪声，及时发现和解决问题。
通过以上措施，可以有效地解决工厂噪音扰民问题，保障居民的正常生活环境和健康。