5分钟教你从爬虫到数据处理到图形化一个界面实现山西理科分数查学校-Python

引言

在高考结束后，学生们面临的一大挑战是如何根据自己的分数找到合适的大学。这是一个挑战性的任务，因为它涉及大量的数据和复杂的决策过程。大量的信息需要被过滤和解析，以便学生们能对可能的大学选择有一个清晰的认识。这个过程可以通过计算机程序来大大简化，给学生带来便利。本实验报告将详细描述如何使用Python，一种强大而灵活的编程语言，来实现一个服务，该服务可以根据学生的分数，从网站上爬取数据，然后分析这些数据，最后提供一个用户友好的界面，使学生能够方便地查询分数对应的可能学校。

Python是一种强大的编程语言，因其丰富的第三方库和易用性，被广大数据科学家和程序员所喜欢。Python丰富的第三方库，如requests、BeautifulSoup、pandas和Tkinter，使得我们能顺利完成从数据获取到用户界面设计的整个过程。本报告将以“山西省2023年普通高校招生第一批本科A类院校投档最低分”网站为例，详细介绍整个实现过程。

数据获取

注：山西招生考试网使用js禁用了网页端的复制以及右键菜单，无法直接复制表格，所以我们先保存html源码再做分析。

在本项目中，我们的数据来自山西省的招生网站。首先，我们需要通过Python的requests库向目标网站发送GET请求，获得网页的HTML内容。requests库是Python中最常用的HTTP请求库，它的API设计的简单易用，可以轻松完成各种复杂的HTTP请求。

在发送GET请求时，我们需要提供目标网站的URL。在收到请求后，服务器将返回包含网页内容的HTML文本。这个过程可能会遇到网络延迟、服务器错误等问题，我们需要使用try/except语句来处理这些可能的错误，确保程序的稳定运行。

数据解析

获取到网页数据后，下一步是解析这些数据，提取出我们需要的信息。解析HTML并不是一件容易的事，因为HTML的结构通常很复杂，有许多嵌套的标签。幸运的是，我们有BeautifulSoup库，它可以帮助我们轻松地解析HTML。

在本项目中，我们需要提取表格中的数据。表格数据通常包含在<tr>和<td>标签中。我们首先使用BeautifulSoup的find_all方法找到所有的<tr>元素，然后对每个<tr>元素，我们提取其所有<td>子元素的文本。这些文本是我们需要的数据，我们将它们组合成一个列表，然后将这个列表添加到一个大的列表中，这个大列表将包含所有的数据。

数据处理

得到原始数据后，我们需要进行一些处理，以便后续的分析。数据处理是数据科学的一个重要部分，它包括清洗数据、整理数据和过滤数据等。

在本项目中，我们使用pandas库来处理数据。pandas是Python中最常用的数据处理库，它提供了许多强大的功能，如数据过滤、排序和聚合等。我们首先使用pandas的read_csv函数读取CSV文件，然后使用布尔索引方法过滤出我们需要的数据。具体来说，我们需要找出所有最低分低于输入分数的学校。这可以通过创建一个布尔索引实现，该索引对应于最低分低于输入分数的行。我们还需要对数据进行排序，以便用户能够更容易地查看数据。

GUI编程

有了处理好的数据，我们接下来需要创建一个图形用户界面(GUI)，让用户能够方便地输入分数并查看对应的学校。Python的Tkinter库提供了一种简单而强大的方式来创建GUI。

我们首先创建一个窗口，然后在窗口中添加一些控件，如文本框、按钮和列表框。用户可以在文本框中输入分数，然后点击按钮进行查询。查询结果将显示在列表框中。

为了使GUI更加友好，我们还需要处理一些细节，如输入验证、错误提示和结果显示格式等。这些细节虽小，但却对用户体验有着重要的影响。

打包应用

最后，我们使用PyInstaller库将Python脚本打包成一个独立的可执行文件。这样，用户就可以在没有Python环境的电脑上运行这个程序。PyInstaller是一个强大的打包工具，它可以将Python脚本及其依赖的库打包成一个单一的可执行文件，使得分发和使用变得非常方便。

结论

这个过程涵盖了数据获取、解析、处理和GUI编程等多个步骤，展示了Python在处理实际问题中的强大能力。

通过这个实验，我们可以看到Python在数据获取、处理和GUI编程方面的强大能力。Python的丰富的第三方库使得这些任务变得简单而直接。这个实验也展示了Python在实际问题中的应用，如何从网页获取数据，然后处理这些数据，并创建一个用户友好的接口供用户查询数据。

总的来说，Python是一种强大的工具，不仅可以用于科学计算和数据分析，也可以用于创建实用的应用程序。本实验只是展示了Python的一小部分能力，Python的真正潜力远不止于此。

附：pyqt源码：

import sys

import pandas as pd

from PyQt5.QtGui import QIcon

from PyQt5.QtWidgets import QApplication, QWidget, QLabel, QLineEdit, QPushButton, QVBoxLayout, QScrollArea

class MainWindow(QWidget):

    def __init__(self):

        super().__init__()

        # 设置窗口图标

        self.setWindowIcon(QIcon('favicon.ico'))

        # 创建界面元素

        self.score_label = QLabel('请输入分数：')

        self.score_input = QLineEdit()

        self.result_label = QLabel('查询结果：')

        self.result_output = QLabel()

        self.search_button = QPushButton('查询')

        # 创建滚动区域

        self.scroll_area = QScrollArea()

        self.scroll_area.setWidgetResizable(True)

        self.scroll_area_content = QWidget(self.scroll_area)

        self.scroll_area_layout = QVBoxLayout(self.scroll_area_content)

        self.scroll_area.setWidget(self.scroll_area_content)

        # 设置界面布局

        layout = QVBoxLayout()

        layout.addWidget(self.score_label)

        layout.addWidget(self.score_input)

        layout.addWidget(self.search_button)

        layout.addWidget(self.result_label)

        layout.addWidget(self.scroll_area)

        self.setLayout(layout)

        # 绑定按钮点击事件

        self.search_button.clicked.connect(self.search)

        # 设置窗口大小

        self.setFixedSize(300, 700)

    def search(self):

        # 读取CSV文件

        df = pd.read_csv('理工.csv')

        # 过滤数据

        score = float(self.score_input.text())

        filtered_df = df[df['最低分'] < score]

        # 显示结果

        # result = '\n'.join(filtered_df['院校名称'].tolist())

        result = '\n'.join(filtered_df.apply(lambda row: '{}: {}'.format(row['院校名称'], row['最低分']), axis=1).tolist())

        self.result_output.setText(result)

        self.scroll_area_content.setMinimumWidth(self.result_output.width())

        self.scroll_area_layout.addWidget(self.result_output)

if __name__ == '__main__':

    # 创建应用程序和主窗口

    app = QApplication(sys.argv)

    window = MainWindow()

    # 显示主窗口

    window.show()

    # 运行应用程序

    sys.exit(app.exec_())

运行界面：

源码以及数据下载地址：

https://github.com/zzbcode/gaokao-score-college