如何使用 Java 编写一个简单的网页爬取程序
更多资料：各种面试资源
关于如何用Java实现网页爬取程序，能够使用的框架挺多的，简单介绍一下：
Java 爬虫的框架有哪些？
Java中常用的爬虫框架主要包括以下几种：
1、Jsoup： Jsoup是一款Java的HTML解析器，可以直接解析某个URL地址、HTML文本内容。它提供了非常便利的API，用于提取和操作数据，适用于小规模的数据抓取。
2、HttpClient： Apache HttpClient是处理HTTP请求的工具库。它支持自定义各种HTTP通讯细节，如：连接超时、代理服务器配置、提交数据等，适合与其他工具配合使用实现复杂的爬虫功能。
3、WebMagic： WebMagic是一个简单灵活的Java爬虫框架，它提供了简洁的API，可以定义抓取规则，支持多线程爬取、Json解析等功能，适合中大规模数据抓取。
4、Crawler4j： Crawler4j是一个Java编写的开源网络爬虫工具，支持多线程爬取、分布式抓取，适合于数据挖掘和搜索引擎技术。
5、Heritrix： Heritrix是由互联网档案馆开发的一款开源的网页爬虫软件，适合进行大规模的网页抓取，被广泛应用于互联网档案存储。
这些框架各有特点，适用于不同规模和复杂度的爬虫项目，选用时需根据项目需求和技术背景进行选择。
如何使用？
这里以Jsoup简单的演示一下
1、创建项目
首先创建一个Java Spring 项目或者 Spring Boot 项目，构建工具为Maven。（这里以 Spring Boot 项目为例）
2、导入maven依赖
dependencies>
dependency>
groupId>org.jsoupgroupId>
artifactId>jsoupartifactId>
version>1.13.1version>
dependency>
dependency>
groupId>org.springframework.bootgroupId>
artifactId>spring-boot-starter-testartifactId>
scope>testscope>
dependency>
dependencies>
3、创建测试用例
在这里我就直接在测试方法里写了，当然你也可以单独写一个工具类，传入url参数，然后直接获取，方便测试
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;
import java.io.IOException;
@SpringBootTest
class SpringbootProjectTestApplicationTests {
服务器托管网 @Test
void contextLoads() {
// 这里以爬取CSDN文章为例
String url = "https://blog.csdn.net/Wyxl990/article/details/135156748?spm=1001.2014.3001.5502"; // 目标网址
try {
// 发送请求获取网页内容
Document document = Jsoup.connect(url).get();
// 提取文章内容
// 假设文章内容在一个特定的ID中，例如 "article_content"
Element article = document.getElementById("article_content");
if (article != null) {
System.out.println("Article Content:n" + article.text());
} else {
System.out.println("No article content found.");
}
// 提取所有图片链接
Elements images = article.select("img[src]");
System.out.println("Found " + images.size() + " images.");
// 遍历并打印每个图片的src属性
for (Element image : images) {
System.out.println("Image URL: " + image.attr("src"));
}
} catch (IOException e) {
// 异常处理
e.printStackTrace();
}
}
}
4、运行结果
运行结果如下图所示：
原网站如图所示：
地址：https://blog.csdn.net/Wyxl990/article/details/135156748?spm=1001.2014.3001.5502
图：
测试结果如下图：
上面如何获取文章内容和文章内的图片，我们爬取的时候还可以爬取整个页面，获取其中的所有的链接，代码如下：
@Test
void contextLoadsTest2() {
// 这里以爬取CSDN文章为例
String url = "https://blog.csdn.net/Wyxl990/article/details/135156748?spm=1001.2014.3001.5502"; // 目标网址
try {
// 发送请求获取网页内容
Document document = Jsoup.connect(url).get();
// 解析并提取链接
Elements links = document.select("a[href]");
服务器托管网 // 遍历每个链接
for (Element link : links) {
// 打印出链接的文本和URL
System.out.println("Link Text: " + link.text());
System.out.println("URL: " + link.attr("href"));
}
} catch (IOException e) {
// 异常处理
e.printStackTrace();
}
}
测试结果如下：
5、小结
在上面的示例中，使用了Jsoup来解析CSDN文章页面。首先，它通过getElementById(“article_content”)提取文章内容。这里的ID “article_content” 是基于CSDN页面的结构；你需要根据实际页面结构调整此ID。
然后，它会从这个文章元素中提取所有标签的src属性，以获取图片链接。
请注意，使用爬虫技术之前，需要确保：
1、替换URL为目标CSDN文章的实际地址。
2、仅用于合法目的，遵守CSDN网站的使用条款和爬虫政策。
3、尊重版权和知识产权，不要用于商业目的或侵犯作者权益。
另外，请注意，网页结构可能随时更改，所以这个代码可能需要根据CSDN网站的最新结构进行调整。
求一键三连：点赞、分享、收藏
点赞对我真的非常重要！在线求赞，加个关注我会非常感激！@小郑聊编程
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
