要求：完成作业内容相关的Python程序编写、撰写作业报告 一、作业目的 1、了解利用Python语言爬取网络数据并提取关键信息的技术和方法 2、学习和掌握定向网络数据爬取和网页解析的基本能力。 3、了解Python计算生态中最优秀的网络数据爬取和解析技术。 二、作业内容 1、中国大学排名爬虫：从网页中获取中国大学排名信息，并保存为文本文件。 2、搜索关键词自动提交：像百度提交一个关键词，自动获取返回结果，保存为文本文件

作业目的概述

本作业旨在通过实践加深对Python网络爬虫技术的理解，掌握定向网络数据爬取和网页解析的基本技能，并熟悉Python在网络数据爬取和解析领域的应用。具体来说，作业目的包括：

1. 学习使用Python语言爬取网络数据并提取关键信息的技术与方法。
2. 掌握定向网络数据爬取和网页解析的基本能力。
3. 了解Python计算生态中优秀的网络数据爬取和解析技术。

作业内容指导

中国大学排名爬虫

1. 目标：从指定网页中获取中国大学排名信息。
2. 技术路线：使用requests和BeautifulSoup库进行定向爬取，不进行拓展爬取。
3. 步骤：
   • 利用getHTMLText()函数从网络上获取大学排名内容。
   • 使用fillUnivList()函数将内容中信息提取到合适的数据结构。
   • 通过printUnivList()函数展示并输出结果。
4. 结果：将爬取到的大学排名信息保存为文本文件。

搜索关键词自动提交

1. 目标：向搜索引擎（如百度）自动提交关键词，并获取返回结果。
2. 技术路线：使用自动化工具（如selenium）模拟用户搜索行为。
3. 步骤：
   • 确定目标搜索引擎的URL。
   • 使用自动化工具定位搜索框并提交关键词。
   • 获取搜索结果并保存为文本文件。

作业报告撰写

作业报告应包括以下几个部分：

1. 引言：简要介绍网络爬虫的概念及其在数据获取中的重要性。
2. 作业目的：明确作业的学习目标和实践意义。
3. 作业内容：
   • 详细描述中国大学排名爬虫的实现过程，包括技术选型、代码实现和结果展示。
   • 描述搜索关键词自动提交的过程，包括自动化工具的使用和结果获取。
4. 技术分析：分析所采用技术的优缺点，以及在实际应用中的注意事项。
5. 结论：总结作业完成情况，反思学习过程中的问题和收获。
6. 参考文献：列出在作业过程中参考的资料和代码来源。

注意事项

• 在编写爬虫程序时，注意遵守目标网站的robots.txt协议，合法合规地进行数据爬取。
• 在进行搜索关键词自动提交时，避免频繁请求，以免对目标搜索引擎造成不必要的负担。
• 在作业报告中，确保代码的准确性和报告的逻辑性，清晰展示作业的完成过程和结果。

通过完成本作业，你将加深对Python网络爬虫技术的理解，并提升定向网络数据爬取和解析的能力。同时，你也将了解到Python在网络数据爬取和解析领域的应用现状和发展趋势。1567891011121314151617181920212223