网络中的资源非常丰富，如何有效地搜索信息却是一件极其困难的事。特别是大量的求职信息，找到一种有效的途径并对其进行分析和挖掘具有重要的现实意义。本课题针对目前互联网中计算机类求职信息采用了Socket套接字、正则表达式、HTTP协议、Windows网络编程等相关技术，以python语言为工具，在Visnal Studio code下设计和开发了一个计算机类求职信息挖掘与数据分析的软件系统。该系统实现了信息筛选、信息收集、信息存储、信息查询功能，具有一定的实用性。通过对51Job求职网站计算机类求职信息的挖掘与分析，统计出计算机类求职的热门专业和热点地区，该信息对计算机类毕业生的就业具有一定的指导作用。
本文主要讨论的是数据挖掘在求职网站中关于计算机类求职信息的提取的应用，运用数据挖掘的相关技术完成所要求的功能。研究搜索引擎的搜索器（Spider程序）的设计与实现，详细介绍该程序的概念和特点，介绍相关的算法并实现简单的可在后台自动运行的爬虫程序。用于查找大量的Web页面。该程序从一个简单的Web页面开始执行，然后通过超链接再访问其他页面，如此反复，理论上可以扫描互联网上的所有页面。但由于时间和存储空间的限制，该程序设定有限制条件来禁止程序的无限运行。基于因特网的搜索引擎是Spider最早的应用，然而Internet是建立在很多相关协议基础上的，而更复杂的协议又建立在系统层协议之上Web就是建立在HTTP（Hypertext Transfer Protocol）协议基础上，而HTTP有是建立在TCP/IP协议之上，它同时也是一种Socket协议。所以网络爬虫本质上是一种基于Socket的网络程序。
开发语言：Python
python框架：django
软件版本：python3.7.7
数据库：mysql 5.7
数据库工具：Navicat11
开发软件：PyCharm/vscode
前端框架:vue.js
在整个系统设计中，我们首先要做的就是获取样本数据。整个数据采集系统的设计过程中我们必须要知道我们想要那些数据。因此首先我们利用爬虫程序在互联网上搜集到一些网页，包括列表页和详情页。页面中必定包含标准的HTML代码用以规范文本在页面的显示。我们将其提取出来，作为要处理的字符串内容，按照正则表达式的规则把无需存入数据库的字符过滤出去。然后把需要的字段存入数据库。
目前有很多开源的爬虫程序主要利用网页中的HTTP超文本传输协议通过超文本链接在互联网中寻找、发现和搜集信息，为下一阶段的信息抽取、组织管理提供丰富的数据来源。通常来讲，爬虫通常都是从种子文件启动的，也就是从一个初始URL集开始，顺着超文本链接的URL采用某种搜索策略，如广度优先、深度优先等，对Web网页进行遍历并发出链接请求，在目标站点允许的情况下下载各种数据资源。
在输入模块中，我们重点关注的是两个程序要读取的文件，一个是配置文件另一个是种子文件。配置文档主要是对种子文件是否使用代理，以及爬虫启动的一些基本配置操作。具体内容会在后面章节中具体叙述。而种子文件主要是为爬虫提供启动的URL。在种子文件中，利用XML格式封装了一个URL集合，这里要注意的是，所有URL集合都是我们要爬去网站的列表页。换句话说，我们是从每一个网站的列表页作为入口的。爬虫程序需要解析这个XML文件来获取其中的内容。种子文件中包括种子ID、URL、URL属性(列表页URL还是详情页URL)、爬取的网站名称、版面名称、页面的编码格式(是GB2312还是UTF—8)，这些信息对于爬虫程序后期处理都有作用。
上一篇：java_ssm网上图书征订系统vue
下一篇：java企业库存管理系统ssm