当前位置：首页 > news >正文

基于Java爬取微博数据(四) 获取图片 or 视频

news 来源：原创 2024/9/20 17:37:50

基于Java爬取微博数据四获取图片 or 视频

图片 or 视频
转存图片 or 视频
注意点

前面已经讲述了基于 Java 爬取微博正文列表内容，微博用户主页内容以及导出爬取到的微博数据等操作，那么下面讲述一下如何处理微博正文中的图片/视频等内容。

图片 or 视频

对于微博正文来说，图片和视频不能同时存在，也就是说你的微博只能选择发9张以内的图片或者发1个视频，那么在爬取微博正文数据时，想要获取微博中的图片/视频该怎么操作呢？我们首先来看一下微博正文中图片或者视频的一些特点，选择任意一篇微博正文，利用浏览器工具选取任意一张图片
在这里插入图片描述
这里可以看到图片的链接。这里需要说明的是微博正文中的图片链接是做过防盗处理的，你直接复制图片链接到浏览器是无法打开的，但是你可以通过 Java 代码来转存图片。

同样的方法，利用浏览器工具的抓取功能获取微博正文视频内容地址，视频内容是可以直接放在浏览器打开的，但是需要注意的是视频内容的链接地址有个有效期参数 Expires ，如果超过有效期再打开会提示 403 错误码
在这里插入图片描述
这里获取的视频链接地址通常是这样的

//locallimit.us.sinaimg.cn/o0/RSkMM0NElx08f30vCBPO01041200MgYx0E010.mp4?label=mp4_720p&template=1280x720.25.0&media_id=5036768815153197&tp=8x8A3El:YTkl0eM8&us=0&ori=1&bf=4&ot=h&lp=0000tfMx8&ps=mZ6WB&uid=66f6G2&ab=,8013-g0,3601-g27&Expires=1716360984&ssig=8XIVHnvPwu&KID=unistore,video

没有请求头 http 或者 https ，那么你可以直接将该链接放在浏览器，浏览器会自动适应请求头，视频内容是可以直接播放的。另外微博的默认请求头就是安全请求头 https
在这里插入图片描述
到这里关于微博正文中的图片 or 视频的大概情况介绍完了，下面可以转存图片 or 视频

转存图片 or 视频

如果你需要微博正文中的图片 or 视频的话，那么你可以通过 Java 的方式获取图片 or 视频内容，并转存到其他地方，这里我转存到本地电脑，整个 main 函数的代码如下 DemoWeiBoDown.java

package com.ruoyi.web.controller.demo.controller;import java.io.BufferedInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.URL;/*** dongao* 2024/5/20* 5月*/
public class DemoWeiBoDown {public static void main(String[] args) {String imageUrl = "https://wx4.sinaimg.cn/orj360/001Q8zQmly1hpy4e694vyj60j60can2r02.jpg";String mp4Url = "https://locallimit.us.sinaimg.cn/o0/fn1ZOcw6lx08f0fwPoH601041200BRMn0E010.mp4?label=mp4_720p&template=1280x720.25.0&media_id=5036142555496496&tp=8x8A3El:7fHprYw&us=0&ori=1&bf=4&ot=h&lp=0000tfMx8&ps=mZ6WB&uid=66f6G2&ab=,8013-g0,3601-g36,3601-g27,3601-g27&Expires=1716201414&ssig=B05wQvtmef&KID=unistore,video";String filename = imageUrl.substring(imageUrl.lastIndexOf("/") + 1);String filename2 = mp4Url.substring(mp4Url.lastIndexOf("/") + 1, mp4Url.indexOf("?"));downloadPicture(imageUrl, "E:\\2024weibo\\"+filename);downloadPicture(mp4Url, "E:\\2024weibo\\"+filename2);}/*** 下载图片到指定路径** @param imageUrl 图片的URL地址* @param savePath 图片保存的本地路径*/public static void downloadPicture(String imageUrl, String savePath){BufferedInputStream in = null;FileOutputStream out = null;HttpURLConnection connection = null;try {// 创建URL对象并打开连接URL url = new URL(imageUrl);connection = (HttpURLConnection) url.openConnection();// 设置请求方法为GETconnection.setRequestMethod("GET");// 建立连接connection.connect();// 获取响应码并判断是否下载成功int responseCode = connection.getResponseCode();if (responseCode == HttpURLConnection.HTTP_OK) {// 创建输入流和输出流，用于读取和保存图片in = new BufferedInputStream(connection.getInputStream());out = new FileOutputStream(savePath);// 缓冲区，用于一次读取和写入一定量的数据byte[] buffer = new byte[1024];int bytesRead;// 循环读取直到没有数据while ((bytesRead = in.read(buffer)) != -1) {out.write(buffer, 0, bytesRead);}System.out.println("图片/视频 下载成功，保存路径：" + savePath);} else {// 响应码不为HTTP_OK，下载失败System.out.println("无法下载图片/视频，响应码：" + responseCode);}}catch (Exception e) {// 捕获异常并打印堆栈信息e.printStackTrace();}finally {// 无论成功或失败，最后都关闭流和连接// 关闭输入流if (in != null) {try {in.close();} catch (IOException e) {// 将IO异常转为运行时异常抛出throw new RuntimeException(e);}}// 关闭输出流if (out != null) {try {out.close();} catch (IOException e) {// 将IO异常转为运行时异常抛出throw new RuntimeException(e);}}// 关闭连接if (connection != null) {connection.disconnect();}}}
}

执行当前 main 方法可以看到如下输出情况
在这里插入图片描述
这里的视频响应码 403 就是因为视频链接的有效期已经过了，更换视频链接地址尝试后如下

那么这时去到我们的本地文件夹就可以看到刚才转存成功的图片和视频了

到这里，关于转存微博正文内容中的图片 or 视频的操作就完成了，整个过程比较简单顺畅，当然如果你需要转存到云存储也是可以的，只是需要改造一下获取到图片流 or 视频流后的操作就可以了。