在离婚时，男方借的钱的处理方式取决于债务的性质：
夫妻共同债务
如果债务用于家庭开支，或者得到另一方的追认，则属于夫妻共同债务。
根据《民法典》第一千零六十四条，夫妻双方共同签名或一方事后追认的债务，以及一方为家庭日常生活需要所负的债务，属于夫妻共同债务。
共同债务需要由双方的共同财产进行偿还。
个人债务
如果债务是男方个人使用，且没有得到另一方的追认，则属于个人债务。
个人债务需要由男方个人财产进行偿还。
协商解决
夫妻双方可以协商债务的清偿问题，根据各自的能力和经济来源，达成清偿协议。
如果协商不成，可以提交法院进行判决。
法院判决
如果协商不成，法院将根据实际情况判决债务的清偿责任。
法院判决时，会考虑双方的清偿能力，并允许双方对共同债务协议清偿。
债权人权利
即使双方离婚，债权人仍有权向双方主张夫妻共同债务的权利。
如果一方承担连带清偿责任后，可以根据离婚协议或法院判决向另一方追偿。
请根据具体情况，考虑上述因素，并咨询专业律师获取具体的法律建议。