在进行大学排名爬虫的 前期准备时，你需要关注以下几个关键步骤：
需求分析
明确你要爬取的网站和数据类型。例如，软科中国最好大学排名2019的数据包括名次、学校名称、省份、总分、指标得分。
页面分析
打开目标网页，分析页面结构，确定哪些信息是直接写在HTML中的，哪些是由Javascript生成的。这将决定你爬取的方式。
使用浏览器的开发者工具（如Chrome的DevTools）来查看页面元素，了解数据的布局和标签结构。
环境搭建
安装一个适合编写爬虫的IDE，例如Jupyter Notebook或PyCharm。
安装必要的Python库，如`requests`用于发送HTTP请求，`BeautifulSoup`用于解析HTML内容。
编写代码框架
设计程序结构，包括获取网页内容、解析内容、保存数据等步骤。
定义函数来实现这些步骤，例如`getHTMLText（url）`用于获取网页内容，`fillUnivList（uinfo, html）`用于提取信息到数据结构中，`printUnivList（uinfo）`用于展示和输出结果。
处理反爬策略
检查目标网站是否有反爬虫机制，如IP限制、验证码等。
根据需要设置请求头（如User-Agent），模拟浏览器访问。
考虑使用代理IP、设置请求间隔时间等方法来避免被封禁。
测试和优化
在实际环境中测试爬虫，确保其能够正确获取和解析数据。
对输出结果进行格式化，确保数据的清晰易读，特别是对于中文字符的对齐问题。
通过以上步骤，你可以为大学排名爬虫的顺利实施打下坚实的基础。