当前位置: 首页 > news >正文

智能手机拍照进化论:从传感器到算法摄影

在智能手机时代,摄影已经发生了变化。不仅人们的拍照姿势变了,手机摄像机捕获的光线的整个过程也发生了翻天覆地的变化。

相机不再只是一个镜头和一个传感器,还是一系列算法的体现,它们可以以最快的速度处理图像以获得最好的摄影效果。手机摄影已经进化成为算法摄影。

人工智能机器学习的不断进步将带来更多不同的功能,技术更新迭代的速度之快,或许很快就会让今天的手机摄影效果看起来过时了。

比如谷歌Pixel 3和iPhone X的手机拍照功能发生的一些新变化。谷歌可以利用机器学习在弱光条件下捕捉更多细节,可以让夜景拍摄效果看起来像白天拍出来的效果一样。

从2017年推出iPhone X开始,苹果开始在手机中添加了“bokeh”,巧妙地模糊了焦点之外的元素。这种效果并不是像传统摄影那样依靠镜头本身,而是通过对捕捉到图像进行像素计算调整来实现的。

2019年到2020年,摄影的突破性进展很有可能来自于改善处理图像的视角。这很有可能会纠正智能手机摄影中固有的失真,这些失真使得智能手机在数码单反(DSLR)相机照片面前显得相形见绌。

\"image\"

卷积神经网络(CNN)是如何通过一张图片重建现实的。来自查尔默斯理工大学的Torsten Sattler,慕尼黑理工大学的Qunjie Zhou和Laura Leal-Taixe,苏黎世理工学院和微软的Marc Pollefeys所著的《理解基于卷积神经网络的绝对相机姿态回归的局限性》。

事实上,它们可以达到接近于“移轴摄影”相机的效果。在移轴摄影相机中,镜头的角度是为了弥补一个人站在相机前的角度,从而纠正由于个人与场景之间的角度造成的图像失真。数码单反用户可以很容易买到各种可拆卸镜头,实现移轴摄影功能。

一般的手机相机镜头筒非常小,捕捉到的所有图像都是扭曲的。对应现实世界,手机拍到的图像形状几乎都有偏差。大多数人可能不会注意到或在意这一点,因为他们已经习惯了Instagram上的自拍。但如果能改善这些畸变就好了。如果可以,这将成为谷歌、苹果等公司下一轮智能手机的卖点。

iPhone和其他相机将越来越多地搭载带有3D传感器的后置摄像头。这些传感器由鲁门特姆控股(Lumentum Holdings)和其他芯片供应商等公司制造,通过计算发出光束从物体上反射回来的时间来测量手机周围环境的深度。“飞行时间法”(time-of-flight)等技术可以让手机详细测量周围环境的三维结构。

这些传感器利用基于近年来为解二维图像和现实世界之间的关系而进行的大量统计工作。

\"image\"

谷歌Pixel 3智能手机上的“夜视”功能

人们做了大量的统计工作来实现移轴摄影镜头的物理特性,包括带有或没有特殊摄像装置的方案。例如,一项名为“随机样本一致性”(RANSAC)的技术可以追溯到1981年,专门用于寻找三维世界中的地标,这些地标可以映射到二维图像平面上的点,以了解二维图像与三维现实之间的关系。使用这种技术,我们可以更好地理解二维表示如何与现实世界相对应。

2015年,佛罗伦萨大学(University of Florence)的一组研究人员在RANSAC的基础上,通过对相机拍摄的照片进行逆向推理,推断出了平移变焦相机的结构。他们能够通过软件来分析不同位置的相机的失真程度,从而控制相机的制动器调整至最佳状态。他们可以用它来制作视频,而不仅是静止的图像。

2017年,德国埃尔兰根-纽伦堡大学(University of Erlangen-Nurnberg)和伍兹霍尔海洋学研究所(Woods Hole Oceanographic Institution)的研究人员公布了一个名为CameraTransform的Python库,它可以让人们通过对拍摄的图像进行逆向计算,来估算物体的真实尺寸。

\"image\"

四角观察:研究人员创建的一种神经网络,用于推断图片中被遮挡的物体,由编码-解码器和对抗性网络组成。由慕尼黑工业大学的Helisa Dhamo、Keisuke Tateno、Iro Laina、Nassir Navab和Federico Tombari提供,佳能公司提供支持。

去年,德国慕尼黑工业大学(Technical University of Munich)和佳能公司(Canon, Inc.)的研究人员表示,用一张图片就可以推断出被另一个物体遮挡的场景中有什么。它被称为“分层深度图像”,可以通过从照片中删除一个对象来创建新的场景,显示相机从未见过的背景,但这是通过图像计算得到的。该方法使用了许多神经网络应用中常见的编码-解码器方法来估计场景的深度,以及“生成对抗网络”(GAN)来构造场景中在拍摄照片时从未实际出现在视野中的部分。

各种新的研究在不断涌现,并将在下一代配备3D传感器的智能手机相机上呈现井喷之势。这些研究将会带来惊人的成果。在未来,至少用智能手机拍摄的人像不再会出现奇怪的面部扭曲。通过平衡镜头上的线条畸变创建出平行线,我们可能会得到超分辨率的建筑图片。智能手机行业将能够在与数码单反市场的对战中再次胜出,因为手机将生产出大量精确而逼真的照片。

当然,智能手机摄影的长期趋势是远离现实主义,达到在计算摄影之前不可能实现的更加惊艳的效果。因此,我们可能会看到3D传感技术的应用趋向于超现实主义。

未来,在推进机器学习技术之路,还会经历一个意义重大的阶段。我们有可能放弃使用三维传感器,仅用卷积神经网络(CNN)来推断物体在空间中的坐标。这将节省在手机中安装传感器的费用。

参考链接:

https://www.zdnet.com/article/artificial-intelligence-and-the-future-of-smartphone-photography/

相关文章:

  • 如何使用qperf来衡量网络带宽和延迟性能?
  • 织梦dedecms是什么?
  • 图片的缩放处理
  • CSS: The resize Property
  • vue中引入element ui中的css报错
  • MySQL学习【第九篇存储引擎】
  • 分布式监控-open-falcon
  • PV PVC - 每天5分钟玩转 Docker 容器技术(150)
  • 阿里九年架构师教你如何学会阅读源码
  • Viewpager+FragmentStatePagerAdapter动态添加,删除,移动位置,(局部)更新页面(Fragment)不闪屏,不错位解决方案...
  • Kubernetes日志分析利器:Elassandra部署使用指南
  • 可汗学院
  • 泛在电力物联网有项核心技术 你听过没有?
  • 2018华为ICT大赛企业网络方向初赛大纲(来源自华为官方)
  • 安卓应用安全指南 5.6.2 密码学 规则书
  • php的引用
  • JS 中的深拷贝与浅拷贝
  • (三)从jvm层面了解线程的启动和停止
  • 【笔记】你不知道的JS读书笔记——Promise
  • Dubbo 整合 Pinpoint 做分布式服务请求跟踪
  • flask接收请求并推入栈
  • jquery cookie
  • PyCharm搭建GO开发环境(GO语言学习第1课)
  • SpringCloud集成分布式事务LCN (一)
  • tensorflow学习笔记3——MNIST应用篇
  • 等保2.0 | 几维安全发布等保检测、等保加固专版 加速企业等保合规
  • 分享几个不错的工具
  • 汉诺塔算法
  • 利用jquery编写加法运算验证码
  • 前端_面试
  • 前端每日实战 2018 年 7 月份项目汇总(共 29 个项目)
  • 试着探索高并发下的系统架构面貌
  • 收藏好这篇,别再只说“数据劫持”了
  • 写代码的正确姿势
  • 正则表达式小结
  • 正则表达式-基础知识Review
  • # centos7下FFmpeg环境部署记录
  • (4)logging(日志模块)
  • (C语言)字符分类函数
  • (TipsTricks)用客户端模板精简JavaScript代码
  • (备忘)Java Map 遍历
  • (附源码)springboot课程在线考试系统 毕业设计 655127
  • (七)c52学习之旅-中断
  • (三十五)大数据实战——Superset可视化平台搭建
  • (十三)Maven插件解析运行机制
  • (转载)Linux网络编程入门
  • .360、.halo勒索病毒的最新威胁:如何恢复您的数据?
  • .dwp和.webpart的区别
  • .NET DevOps 接入指南 | 1. GitLab 安装
  • .NET/C# 使用 #if 和 Conditional 特性来按条件编译代码的不同原理和适用场景
  • .NET/C# 中设置当发生某个特定异常时进入断点(不借助 Visual Studio 的纯代码实现)
  • .NET4.0并行计算技术基础(1)
  • .Net组件程序设计之线程、并发管理(一)
  • @property python知乎_Python3基础之:property
  • [ vulhub漏洞复现篇 ] Apache Flink目录遍历(CVE-2020-17519)