自己开发软件实现网站抓取m3u8链接
几天前一个同学说想下载一个网站的视频找不到连接，问我有没有什么办法,网站抓取m3u8链接 网页抓取m3u8链接。当时一听觉得应该简单，于是说我抽空看看。然后就分析目标网页，试图从网页源码里找出连接，有的源代码直接有,但是有的没有, F12调出开发者工具，进NetWrok看到网页是通过ajax发起xhr请求拿的视频连接，怪不得页面元素里没有下载地址，请求的是m3u8格式文件，查了一下这是一种分片的流媒体文件，然后到处找下载这种格式文件的工具，都不是很理想。很多都是直接下了分片后的ts文件，但是这个网站的是加了密的，不能直接播放，最后找到ffmpeg这个视频插件神器，视频转码、剪切、合并、播放都不在话下，还支持多平台。 ffmpeg FFmpeg介绍和入门 ffmpeg开 FFmpeg官方网站 有了神器何不自己写个工具来下载呢，准备动手时首先就被连接怎么获取这个问题给拦住了， 数据不在网页元素里， 拦截网页所有请求肯定就拿到了。筛选后得到三种方案： 首先试了WebBrowser,目标网站直接打不开网页，让换谷歌浏览器，修改了UserAgent可以打开，但是网页显示不全，放弃 。最后用C#Sharp测试达到了预期目标， 然后就是写代码了： 视频地址获取只要继承集成默认的抽象类 DefaultRequestHandler就可以了.
public class MyRequestHandler : DefaultRequestHandler{public override CefReturnValue OnBeforeResourceLoad(IWebBrowser browserControl, IBrowser browser, IFrame frame, IRequest request, IRequestCallback callback){//拿到url后再判断下是不是视频文件string url = request.Url;}
}
然后在初始化浏览器时指定下就行了。
chromeBrowser.RequestHandler = new MyRequestHandler(callback);
这里我是把url中的文件名提取出来，然后判断扩展名来判断是不是视频文件，不知道有没有更通用的方法。判断ResourceType == ResourceType.Media是不行的，很多时候这个值返回的是xhr。
FFmpeg部分就是直接命令行调用下，有时间再研究下这个神器的lib方式。
以下是折腾了几天出来的结果。
浏览器界面，解析m3u8链接后 可以看到需要下载的视频文件数量。 点击 开始下载按钮，来到如下界面。 可以在这里进行下载，播放等操作,界面美观，功能齐全 不管是网页解析m3u8链接, 还是网页批量下载等 如果需要下载一整部电视剧或者动漫,可以直接解放双手。 下载支持分片选择下载删除特定项目。 实时显示下载进度， 更新下载的数据大小。 一般情况下ts文件不用去下载，直接下m3u8就可以了，程序会自动分析ts分片文件全部下载完后自动合成一个mp4文件。
星尘库m3u8下载器下载地址:星尘库M3U8下载器编辑https://sky.lanzouv.com/b0kn8uhti
软件下载:链接：星尘库M3U8下载器 提取码：6666 如果运行不了，请下载并安装NET Framework 4.6.1