当前位置: 首页 > news >正文

Suomi NPP VIIRS夜间灯光遥感数据简介与下载(一)——数据介绍,FTP下载与hdf5读取

失踪人口回归+爷青回,本篇介绍下Suomi NPP VIIRS夜间灯光遥感数据下载。


文章目录

  • 1 夜间灯光遥感数据简介
  • 2 夜间灯光遥感数据下载
    • 1 年和月尺度产品下载
    • 2 日尺度产品下载
  • 3 NPP夜间灯光遥感数据读取与可视化
    • 1 Google Earth Engine
    • 2 日尺度hdf5数据读取与可视化(ENVI)
    • 3 日尺度hdf5数据读取与可视化(R语言)

1 夜间灯光遥感数据简介

夜间灯光遥感数据就是指利用遥感技术捕捉夜晚地球上的灯光分布状况,可以有效反映人类活动的空间分布,因此常用于各类社会经济数据方面的遥感反演。这方面应用的知名案例包括武汉大学李德仁院士与李熙老师利用夜间灯光监测叙利亚战争状况,斯坦福大学利用夜间灯光与机器学习算法识别全球贫困人群等。

当前常用的夜间灯光遥感数据主要是两个卫星,一个是DMSP(Defense Meteorological Sate-llite Program)是美国国防部的极轨卫星计划,传感器空间分辨率为3000 m,生产的夜光遥感产品空间分辨率通常为1000 m,同时DMPS夜光遥感数据是当前最长时间序列的夜光遥感数据(自1992-2013),可以提供长时间序列连续的夜光遥感监测。另一个则是2011年发射的新一代对地观测卫星Suomi NPP,该卫星搭载的可见光/红外辐射成像仪(Visible Infrared Imaging Radiometer Suit,VIIRS)能够获取新的夜间灯光遥感影像(Day/Night Band,DNB波段),空间分辨率也提高到750 m(以下简称NPP-DNB),生产的夜间灯光遥感产品空间分辨率通常为500 m。这两个卫星以外,还有一些其他相关的夜间灯光卫星,但是数据较少,且不易获取。值得注意的是,2018年中国也发射了自己的首颗专业夜间灯光卫星(由武汉大学设计与发射)——珞珈一号。

另外这里推荐几篇相关的夜间灯光遥感文章。第一篇是我参与的一篇RSE论文翻译。第二篇是RSE最新的夜间灯光遥感综述文章。

  • 有GIS有意思︱运用夜灯与社交数据一眼识破北上渝三城多中心结构

  • Remote sensing of night lights: A review and an outlook for the future

2 夜间灯光遥感数据下载

1 年和月尺度产品下载

DMSP夜间灯光遥感数据提供年尺度产品下载。由于该卫星存在过饱和效应,NOAA为此发布了多套去饱和的校正影像,关于DMSP夜间灯光遥感数据的详细介绍可以参考ENVI/IDL的博客:DMSP卫星介绍和数据下载。

DMSP夜间灯光遥感数据年尺度产品下载地址:https://ngdc.noaa.gov/eog/dmsp.html

NPP夜间灯光遥感数据提供了年,月和日尺度数据下载。其中年和月的数据为合成产品,经过一定校正处理和合成。当前NPP夜间灯光遥感数据的年产品和月产品合成工作由科罗拉多矿业大学承担。NPP夜间灯光遥感数据的年产品和月产品下载链接,其中月产品数据存在3个月滞后期。

科罗拉多矿业大学提供的NPP夜间灯光遥感数据年尺度和与尺度下载地址:https://eogdata.mines.edu/download_dnb_composites.html

此外,这里要介绍另一套夜间灯光遥感数据产品。约莫两年前我曾经收到一位当老师的同学提出的一个关于夜间灯光遥感问题:为什么印度的灯光比中国亮?之前我不是特别明白怎么回答,一直到看到我即将介绍的这套产品,终于有了答案,这套产品名为“火石(Flint)”,是由中国科学院中国遥感卫星地面站陈甫团队研制的地球夜光产品数据集。

这里引用该团队在科普中国发表的文章中的文字“之前说NASA公布的夜光图上印度比中国亮,主要原因那是图没做好,另外一个原因是印度农村密度大,所以灯光分布广,其实不怎么亮”来回答前面那个问题。

“火石(Flint)”产品主页:http://satsee.radi.ac.cn/cfimage/nightlight/

科普中国文章“ 5年夜光遥感监测合成,中科院版全球高清夜光数据集来了!”:http://www.kepuchina.cn/wiki/yzts/201805/t20180518_629897.shtml

2 日尺度产品下载

本篇博客主要介绍NPP夜间灯光遥感数据日尺度产品的下载。目前NOAA官网提供从当天起到60天前的日尺度夜间灯光产品,全球被分割为6块。

NOAA NPP夜间灯光遥感数据日尺度产品下载地址:https://ngdc.noaa.gov/eog/viirs/download_ut_mos.html

初次外,NOAA也提供了过往的历史日尺度数据下载,被集成在NOAA的综合大型数组数据管理系统(The Comprehensive Large Array-data Stewardship System,CLASS)中。

NOAA CLASS系统:https://www.bou.class.noaa.gov/saa/products/welcome

如果想下载需要先注册该网站的账户,接着选择传感器,NPP夜间灯光遥感数据请选择VIIRS_SDR的数据。

点击GO以后,跳转到如下的页面。

接着可以设置感兴趣研究区以及研究时间段。

选择所需的波段。

NPP夜间灯光遥感数据常用的波段文件为以下两个,一个是DNB数据。

另一个是对应的定位数据。

选择完毕以后,点击quick search % order。

接下来就会等收到NOAA CLASS的下载邮件(如下图)。

这个数据同样是采用FTP进行下载,对于FTP不了解的同学可以翻一下前面这篇博客:葵花8号卫星数据简介与下载(一)——数据介绍与FTP下载。

这里不赘述FileZilla软件的安装,只介绍如何配置FTP站点进行下载。

点击站点管理器。主机地址就是邮件最上面第一行FTP地址,用户为anonymous,密码为user@internet。设置完毕点击连接。

接下来会看到很多文件夹。根据你的订单号找到对应的文件夹下。

然后把选择的文件拖拽到左边的本地文件夹即可下载。

NPP夜间灯光遥感数据用户文档:https://ncc.nesdis.noaa.gov/documents/documentation/viirs-users-guide-tech-report-142a-v1.3.pdf

NPP夜间灯光遥感数据初学者slides。

http://rammb.cira.colostate.edu/projects/npp/Beginner_Guide_to_VIIRS_Imagery_Data.pdf"

数据命名规则。

除了以上数据,日尺度的产品数据还有NASA制作的一套校正产品——NASA Black Marble Product。

下载链接:https://viirsland.gsfc.nasa.gov/Products/NASA/BlackMarble.html

3 NPP夜间灯光遥感数据读取与可视化

1 Google Earth Engine

Google Earth Engine是Google推出的行星尺度的遥感云计算平台,提供了大量遥感数据的集成与运算工具。同时也包括DMSP和NPP夜间灯光遥感数据(月尺度和年尺度)。这里给出样例的可视化代码。

var dataset = ee.ImageCollection('NOAA/VIIRS/DNB/MONTHLY_V1/VCMSLCFG')
                  .filter(ee.Filter.date('2020-01-01', '2020-02-28'));
var nighttime = dataset.select('avg_rad');
var nighttimeVis = {min: 0.0, max: 60.0};
Map.setCenter(-77.1056, 38.8904, 8);
Map.addLayer(nighttime, nighttimeVis, 'Nighttime');

运行结果。

月尺度和年尺度产品提供的是tiff产品。可以在ArcGIS和ENVI里进行进一步处理。

2 日尺度hdf5数据读取与可视化(ENVI)

关于用ENVI读取日尺度hdf5数据的方式,详情参见以下ENVI/IDL博客与L3HARRIS。

夜光遥感数据处理

NPP VIIRS Datasets

3 日尺度hdf5数据读取与可视化(R语言)

这里也介绍下如何在R语言里读取hdf5以及转换格式。基础的两个包分别为raster和rhdf5。其中rhdf5必须通过BioManager包安装。这里是安装命令。

install.packages('raster')
install.packages('BioManager')
BioManager::install('rhdfr')

hdf5是一个在科学计算领域有广泛应用的数据格式,可以理解为多个文件夹压缩而成的格式。对于这类文件读取,首先需要先了解文件的结构才能读取。这里采用的命令就是h5ls。

h5ls(filename)

filename为hdf5文件名。如下图所示给出了NPP夜间灯光遥感数据hdf5文件的具体结构。

我们所需要用到的属性包括All_Data/VIIRS-DNB-GEO_All/下的Longitude和Latitude,以及All_Data/VIIRS-DNB-SDR_All/下的radiance,即夜间灯光DNB波段值。利用h5read函数读取这几个数据,命令行如下。

dnblat <- h5read(filename, 'All_Data/VIIRS-DNB-GEO_All/Latitude')
dnblon <- h5read(filename, 'All_Data/VIIRS-DNB-GEO_All/Longitude')
dnbrad <- h5read(filename, 'All_Data/VIIRS-DNB-SDR_All/Radiance')

这样即得到了夜间灯光遥感数据矩阵形式存储的经度,纬度以及波段值。接下来将三个矩阵组合成一个栅格即可。根据如下代码即可得到一个栅格数据。

radpts <- cbind(long = as.vector(dnblon), lat = as.vector(dnblat), rad = as.vector(dnbrad))
radpts <- data.frame(radpts)
colnames(radpts) <- c("x", "y", "radiance")
e <- extent(randpts[, (1:2)])
r <- raster(e, ncol = ncol(dnbrad), nrow = nrow(dnbrad), crs = "+proj=longlat + datum=WGS84")
radr <- rasterize(radpts[, (1:2), r, radpts[,3], fun = mean)

简单可视化结果如图。

另外可以看到这个DNB波段值数值较小,是经过缩放的,需要乘以10的9次方使得DNB波段值呈现正常范围。当然日尺度的数据由于云,月相等因素的影响,质量还有待提升。

这里也提供一些转换NASA的hdf5夜间灯光遥感相关数据的代码。

VIIRS_HDF5toGeoTIFF.R

Working with Daily NASA VIIRS Surface Reflectance Data

参考链接:

  • Unable to warp HDF5 files

  • Plotting and/or exporting VIIRS SDR DNB data as GeoTIFF in R?

  • Read VIIRS SDR and make a ratio sharpened true color RGB with I- and M-bands

相关文章:

  • Coding and Paper Letter(八十四)
  • Coding and Paper Letter(八十五)
  • Coding and Paper Letter(八十六)
  • Coding and Paper Letter(八十七)
  • 应用统计学与R语言实现笔记(番外篇四)——bookdown使用与OR值计算
  • 轨道力学
  • 深度学习第一讲(背景)
  • 几种概率分布(二项分布与泊松分布)
  • starlink卫星轨道预报
  • ubuntu-18.04.1安装tensorflow keras,和torch的GPU版本(上篇网络设置,适用于GPU机器没有网络)
  • linux 文件夹权限设置,群组权限管理,挂载盘管理
  • Golang语言入门-语言环境安装(linux)
  • linux 安装idl
  • linux centos7.3 安装python3.7
  • 关于windows 安装python 安装pyresample包
  • 【跃迁之路】【463天】刻意练习系列222(2018.05.14)
  • 2017前端实习生面试总结
  • 5、React组件事件详解
  • Eureka 2.0 开源流产,真的对你影响很大吗?
  • Java 多线程编程之:notify 和 wait 用法
  • Java多线程(4):使用线程池执行定时任务
  • React-生命周期杂记
  • TypeScript实现数据结构(一)栈,队列,链表
  • 高性能JavaScript阅读简记(三)
  • 线性表及其算法(java实现)
  • # MySQL server 层和存储引擎层是怎么交互数据的?
  • #### go map 底层结构 ####
  • #NOIP 2014# day.1 T2 联合权值
  • #在线报价接单​再坚持一下 明天是真的周六.出现货 实单来谈
  • (52)只出现一次的数字III
  • (阿里巴巴 dubbo,有数据库,可执行 )dubbo zookeeper spring demo
  • (办公)springboot配置aop处理请求.
  • (第二周)效能测试
  • (多级缓存)缓存同步
  • (附源码)springboot炼糖厂地磅全自动控制系统 毕业设计 341357
  • (一)eclipse Dynamic web project 工程目录以及文件路径问题
  • (转)C#调用WebService 基础
  • (转)如何上传第三方jar包至Maven私服让maven项目可以使用第三方jar包
  • (转载)(官方)UE4--图像编程----着色器开发
  • (最简单,详细,直接上手)uniapp/vue中英文多语言切换
  • .desktop 桌面快捷_Linux桌面环境那么多,这几款优秀的任你选
  • .mysql secret在哪_MYSQL基本操作(上)
  • .NET Framework 服务实现监控可观测性最佳实践
  • .net 设置默认首页
  • .Net(C#)常用转换byte转uint32、byte转float等
  • .NET和.COM和.CN域名区别
  • .Net转前端开发-启航篇,如何定制博客园主题
  • @DateTimeFormat 和 @JsonFormat 注解详解
  • @NestedConfigurationProperty 注解用法
  • @软考考生,这份软考高分攻略你须知道
  • [ai笔记4] 将AI工具场景化,应用于生活和工作
  • [Android]Android开发入门之HelloWorld
  • [BZOJ1008][HNOI2008]越狱
  • [C++]命名空间等——喵喵要吃C嘎嘎
  • [Codeforces1137D]Cooperative Game