软科大学排名的爬虫可以通过以下步骤进行：
确定目标网址
软科中国大学排名的网址是 `https://www.shanghairanking.cn/rankings/bc…`。
分析网页结构
页面可能包含动态加载的内容，需要使用开发者工具查看网络请求。
排名信息可能通过Javascript动态生成，并保存在如`payload.js`等文件中。
获取排名数据
对于动态网页，可能需要分析Javascript代码来找到排名数据。
可以通过浏览器的开发者工具查看网络请求，找到排名数据加载的接口。
编写爬虫代码
使用`requests`库获取网页内容。
使用`BeautifulSoup`解析HTML或Javascript代码获取排名数据。
对于不规则格式的数据，可以使用正则表达式提取有用信息。
处理数据
将提取的数据保存到合适的数据结构中，如字典或列表。
对数据进行处理，如排序、筛选等。
输出结果
将处理后的数据以表格形式输出，包括排名、大学名称、总分等信息。
注意事项
遵守网站的`robots.txt`文件规定，尊重网站的爬取规则。
注意处理编码问题，确保数据正确显示。
考虑网站访问频率限制，避免被封禁IP。
以上步骤基于软科大学排名的常见结构，实际操作时可能需要根据网站的具体情况进行调整。