一、前言

把一篇图文并茂的优秀文章全部爬取下来,就少不了 Java 爬虫里边的 图片爬取
技术了。很多人都用来爬取美女图片,但是笔者觉得这有伤大雅。下面笔者使用它来爬取 CSDN 【今日推荐】文章附带的图片



二、代码、依赖

笔者对本代码经过多次修订,逻辑可以说是最简单的了,但性能上可能就算不上是最优的了,基本用法都注释在代码里边,该注意的地方都打 ✔ 了

①目录

(使用 SpringBoot 创建的工程,当然也可以使用 Java Project、web Project、Maven Project)



② 代码
package com.cun.test; import java.io.File; import java.io.IOException; import
java.io.InputStream;import org.apache.commons.io.FileUtils; import
org.apache.http.HttpEntity;import
org.apache.http.client.ClientProtocolException;import
org.apache.http.client.methods.CloseableHttpResponse;import
org.apache.http.client.methods.HttpGet;import
org.apache.http.impl.client.CloseableHttpClient;import
org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import
org.jsoup.nodes.Element;import org.jsoup.select.Elements; /** * 1、使用 HttpClient
获取网页文档对象 * 2、使用 Jsoup 获取所需的信息 * 3、不足:没有判断图片类型,但是没什么影响 * @author linhongcun * */
public class JsoupHttpClient { public static void main(String[] args) throws
ClientProtocolException, IOException {// 创建httpclient实例 CloseableHttpClient
httpclient = HttpClients.createDefault();// 创建httpget实例 HttpGet httpget = new
HttpGet("https://www.csdn.net/"); // 执行get请求 CloseableHttpResponse response =
httpclient.execute(httpget); HttpEntity entity = response.getEntity();// 获取返回实体
String content = EntityUtils.toString(entity,"utf-8"); // 解析网页 得到文档对象 Document
doc = Jsoup.parse(content);// 获取指定的 <img /> Elements elements = doc.select(
".img_box img"); for (int i = 0; i < 15; i++) { Element element =
elements.get(i);// 获取 <img /> 的 src String url = element.attr("src"); //
再发请求最简单了,并由于该链接是没有 https:开头的,得人工补全 ✔ HttpGet PicturehttpGet = new HttpGet(
"https:" + url); CloseableHttpResponse pictureResponse =
httpclient.execute(PicturehttpGet); HttpEntity pictureEntity =
pictureResponse.getEntity(); InputStream inputStream =
pictureEntity.getContent();// 使用 common-io 下载图片到本地,注意图片名不能重复 ✔
FileUtils.copyToFile(inputStream,new File(
"C://LLLLLLLLLLLLLLLLLLL//imagesTest//" + i + ".jpg")); pictureResponse.close();
// pictureResponse关闭 } response.close(); // response关闭 httpclient.close(); //
httpClient关闭 } }
③ pom 依赖
<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient
--> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>
httpclient</artifactId> <version>4.5.5</version> </dependency> <!--
https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dependency> <groupId>
org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.2</version> </
dependency> <!-- 文件下载 --> <dependency> <groupId>commons-io</groupId> <artifactId
>commons-io</artifactId> <version>2.5</version> </dependency>
三、效果



四、小结

1、优化:

可以根据图片的后缀 .jpg、.png、.gif 保存相应格式的图片到本地,不要一味 .jpg 结尾保存

2、附上 CSDN 主页部分源码



3、爬虫资源先放到本地,再放到服务器,否则对服务器 CPU 消耗巨大,服务器成本高