当前位置: 首页 > news >正文

自己动手,实现“你的名字”滤镜

    我喜欢《你的名字》这个故事,前一段时间在微信上使用过它的滤镜,实现的效果很惊艳,应该类似于下面的这些结果
     508489-20170728192420805-1905831240.jpg 508489-20170728192421493-1551626904.jpg 508489-20170728192422102-1735838290.jpg
    这三幅图应该都是手机版本制作的,它们一个比较显著的特点是分辨率比较相似。如何实现类似的效果了?(注意后面两图天上的云是相同的)
    首先我想到的是Prisma的实现方法,这种实现方法,最后得到的是纹理的转换,效果应该说非常好,但是依赖于深度学习,目前这个方面掌握的不是很明确。而且显然上面三图不是纹理转换。
508489-20170728192423086-516581073.jpg
    继续寻找,主要参考《 实现<你的名字>同款滤镜,python+opencv》等相关资料。
一、问题分析
       508489-20170728192423836-1527179987.jpg
       对于这样一副图片,如果想变成《你的名字》这种效果,需要做以下事情
    (一)背景(天空)分割,替换后再融合
    在自然界的图片中,很难出现动漫中大多大多的云彩。首先需要将 背景(天空)分割出来,替换成动漫的天空,并且在很好地融合回去。
    需要实现的技术:1. 背景(天空)分割;2.再融合。需要准备的材料:1.大块的动漫云图
    (二)前景色调转换
    为了实现漫画中具有卡通意味的前景色调,需要对前面切割下来的前景图片进行色调转换。
    需要实现的技术:3.LUT和色块制作
  (三)程序框架
    需要实现的技术:基于GOMfcTemplate2,实现图像的输入输出、滤镜操作的参数选择等基础操作
二、材料准备
1.大朵的云。先找到一副自然界中的云。
508489-20170728192425227-63564588.jpg
再准备(制作)一幅动漫的云和一副星空的图片.
508489-20170728192426586-1808102420.jpg
508489-20170728192428680-1799374476.jpg
三、算法实验
1. 背景(天空)分割,采用材料中的方法,修改形态学部分
/************************************************************************/
/* 1.背景(天空)分割                                                                  */
/************************************************************************/
    cvtColor(matSrc,temp,COLOR_BGR2HSV);
    split(temp,planes);
    equalizeHist(planes[2],planes[2]);//对v通道进行equalizeHist
    merge(planes,temp);
    inRange(temp,Scalar(100,43,46),Scalar(124,255,255),temp);
    erode(temp,temp,Mat());//形态学变换,填补内部空洞
    dilate(temp,temp,Mat());
    imshow("原始图",matSrc);
对于这幅图来说,效果不错(右上角明显的是错误,而塔中间的一个很小的空洞,最后生成的效果应该可以忽略不计)
508489-20170728192429649-521370277.png

2.再融合
以此为mask,直接将云图拷贝过来(之前需要先做尺度变换,就是resize)  距离变换?
cvtColor(temp,mask,COLOR_BGR2GRAY);//将结果存入mask
resize(matCloud,matCloud,matSrc.size());
matCloud.copyTo(matSrc,mask);
508489-20170728192430555-1263694270.jpg
这个时候看图片,还是有很多瑕疵的,特别是下方护栏的边缘的地方。但是对于这样的图片,其前景和背景的分割,主要部分的效果还是非常不错的;
所以采用seamlessclone,得到以下结果
//seamless clone
    Point center(matSrc.cols/2,matSrc.rows/2);
    Mat normal_clone;
    Mat mixed_clone;
    Mat monochrome_clone;
    seamlessClone(matCloud, matSrc, mask, center, normal_clone, NORMAL_CLONE);
    seamlessClone(matCloud, matSrc, mask, center, mixed_clone, MIXED_CLONE);
    seamlessClone(matCloud, matSrc, mask, center, monochrome_clone, MONOCHROME_TRANSFER);
NORMAL_CLONE
508489-20170728192431477-1523247065.jpg
MIXED_CLONE
508489-20170728192432446-1900176855.jpg
MONOCHROME_TRANSFER
508489-20170728192433961-1454220429.jpg
相比较之下, MIXED_CLONE对原图纹理的保存更好一些,对有错误的地方的进行了很好地遮盖。
3.LUT和色卡制作
色调转换的意义,在于使得全图具有更多的“卡通”意味在厘米,毕竟我们想要实现的最终效果想要类似“你的名字”。那么什么是“动漫”的效果?这是一个见仁见智的问题。我找到一些做得较好的转换
巧用Photoshop滤镜将肖像照片变成卡通特效_天极软件 巧用Photoshop滤镜将肖像照片变成卡通特效_天极软件
103126cmxj9137zh5j7n1h.jpg 103130jjg4gy4upgiynxmj.jpg
总的来说,卡通的效果是“颜色更加鲜艳”“细节比较少”等,是一个比较主观的定义;对于”你的名字“这个效果来说,应该还有一个色调的变换
那么,就以表面模糊、彩色直方图均衡以及色相调整这些比较容易实现的方法来达到目的。
 step1.双边滤波
508489-20170728192504133-2005883270.jpg
step2.彩色直方图
508489-20170728192506399-247040602.jpg
step3.饱和度调整
508489-20170728192508055-632541117.jpg


    /************************************************************************/
    /* 3.卡通画处理                                                            */
    /************************************************************************/
    //双边滤波
    bilateralFilter(mixed_clone,temp,5,10.0,2.0);
    //彩色直方图均衡,将RGB图像转到YCbCr分量,然后对Y分量上的图像进行直方图均衡化
    cvtColor(temp,temp,COLOR_BGR2YCrCb);
    split(temp,planes);
    equalizeHist(planes[0],planes[0]);
    merge(planes,temp);
    cvtColor(temp,temp,COLOR_YCrCb2BGR);
    //提高饱和度
    Mat Img_out(temp.size(), CV_32FC3);  
    temp.convertTo(Img_out, CV_32FC3);  
    Mat Img_in(temp.size(), CV_32FC3);  
    temp.convertTo(Img_in, CV_32FC3);  
    // define the iterator of the input image  
    MatIterator_<Vec3f> inp_begin, inp_end;  
    inp_begin=Img_in.begin<Vec3f>();  
    inp_end =Img_in.end<Vec3f>();  
    // define the iterator of the output image  
    MatIterator_<Vec3f> out_begin, out_end;  
    out_begin=Img_out.begin<Vec3f>();  
    out_end =Img_out.end<Vec3f>();  
    // increment (-100.0, 100.0)  
    float Increment=50.0/100.0;   //饱和度参数调整
    float delta=0;  
    float minVal, maxVal;  
    float t1, t2, t3;  
    float L,S;  
    float alpha;  
    for(; inp_begin!=inp_end; inp_begin++, out_begin++)  
    {  
        t1=(*inp_begin)[0];  
        t2=(*inp_begin)[1];  
        t3=(*inp_begin)[2];  
        minVal=std::min(std::min(t1,t2),t3);  
        maxVal=std::max(std::max(t1,t2),t3);  
        delta=(maxVal-minVal)/255.0;  
        L=0.5*(maxVal+minVal)/255.0;  
        S=std::max(0.5*delta/L, 0.5*delta/(1-L));  
        if (Increment>0)  
        {  
            alpha=max(S, 1-Increment);  
            alpha=1.0/alpha-1;  
            (*out_begin)[0]=(*inp_begin)[0]+((*inp_begin)[0]-L*255.0)*alpha;  
            (*out_begin)[1]=(*inp_begin)[1]+((*inp_begin)[1]-L*255.0)*alpha;  
            (*out_begin)[2]=(*inp_begin)[2]+((*inp_begin)[2]-L*255.0)*alpha;  
        }  
        else  
        {  
            alpha=Increment;  
            (*out_begin)[0]=L*255.0+((*inp_begin)[0]-L*255.0)*(1+alpha);  
            (*out_begin)[1]=L*255.0+((*inp_begin)[1]-L*255.0)*(1+alpha);  
            (*out_begin)[2]=L*255.0+((*inp_begin)[2]-L*255.0)*(1+alpha);  
        }  
    }  
    Img_out /=255;
    Img_out.convertTo(matDst,CV_8UC3,255);
算法部分各种结果展现
508489-20170728192510711-1328806342.jpg
508489-20170728192514024-1930448928.jpg
508489-20170728192518446-1200249325.jpg
508489-20170728192521102-1847208481.jpg
508489-20170728192527665-1905598105.jpg
现在看来,结果还是不很想”你的名字“的效果,但是美化的效果是有的。存在比较大的硬伤就是天空算法中,会找到一些边界,比如。 508489-20170728192528915-1957220135.jpg
为什么会出现这种情况?因为seamlessClone只是clone算法,而不是融合算法,所以需要后续优化。
四、工程实现
基于GOMfcTemplate2,实现图像的输入输出、滤镜操作的参数选择等基础操作
下一步,还需要继续研究清楚各种算法的原理,得到更好的结果。
508489-20170728192532102-329247993.jpg

   2017年7月25日19:18:45 前面的问题没有解决完,耽搁了几天:
一个是最上面边缘的不和谐过渡问题,我重新学习了一下《实现<你的名字>同款滤镜》,他的解决方法更好,主要是在seamless的时候,不是全图融合,而是找出轮廓后再融合。
//2017年7月25日 添加寻找白色区域最大外接矩形的代码
    VP maxCountour = FindBigestContour(mask);
    Rect maxRect = boundingRect(maxCountour);
    if (maxRect.height == 0 || maxRect.width == 0)
       maxRect =  Rect(0,0,mask.cols,mask.rows);//特殊情况
    
    //暴力拷贝
    matDst = matSrc.clone();
    resize(matCloud,matCloud,matDst.size());
    matCloud.copyTo(matDst,mask);
    //为seamless准备材料
    resize(matCloud,matCloud,maxRect.size());
    //seamless clone
    Point center =  Point ((maxRect.x+maxRect.width)/2,(maxRect.y+maxRect.height)/2);//中间位置为蓝天的背景位置
    Mat normal_clone;
    Mat mixed_clone;
    Mat monochrome_clone;
    seamlessClone(matCloud, matSrc, mask, center, normal_clone, NORMAL_CLONE);
    seamlessClone(matCloud, matSrc, mask, center, mixed_clone, MIXED_CLONE);
    seamlessClone(matCloud, matSrc, mask, center, monochrome_clone, MONOCHROME_TRANSFER);
这个时候,结果就更是perfect了,和原文一样,我采用 NORMAL_CLONE  的方法,目前的结果为
508489-20170728192533274-155011562.jpg
而在曾经出现过问题的地方,有所收敛
508489-20170728192534461-1550995440.jpg
好看多了
508489-20170728192537040-134601212.jpg
修改代码的时候需要注意mask的修改,这点在代码里面说明了,自己看。
二个是,我感觉现在前景虽然对比度提高,颜色鲜艳,但明显不是动漫的感觉呀。漫画的效果肯定是有一些论文的,
依稀记得《master opencv with practical projects》第一章实现cartoon效果,
508489-20170728192538571-1477745885.jpg
但是这个效果也太随意了(这篇文章在作者一定是个爸爸,妈妈是不会放自己小孩这样的图片的)。找到它的代码进行修改
508489-20170728192539633-1861734411.jpg
应该还可以进一步提高,但是这个效果很有意思,开源之,大家可以一起来看。
2017年7月28日19:21:27
进一步思考,这种融合效果能否用于图像拼接?进行了一些常识
     Mat matreult  =  Mat(normal_clone.rows  +   30 ,matCloud.cols,CV_8UC3,Scalar( 0 ));
    Mat halfTop = matreult(Rect(0,0,maxRect.width,30));
    Mat halfDown= matreult(Rect(0,30,normal_clone.cols,normal_clone.rows));
    matTop.copyTo(halfTop);
    normal_clone.copyTo(halfDown);
    Mat matNormal = matreult.clone();
    mixed_clone.copyTo(halfDown);
    Mat matMixed = matreult.clone();
    monochrome_clone.copyTo(halfDown);
    Mat matMonochrome = matreult.clone();
508489-20170728192541383-303826703.jpg
可以看到,在边缘部分,由于meanlessclone进行了全局的处理,所以和原图的差距比较大,反而造成了新的误差,所以可能直接适用于图像拼接不适合。


来自为知笔记(Wiz)


相关文章:

  • 再谈ASP.NET第一 - ASP.NET2.0的回调机制
  • Yue Fei's Battle(组合计数递推)
  • apache地址限制和用户访问
  • Zigbee
  • 我谈通“下水道”(系列连载6)--新的征程
  • SpringBoot入门——应用devtools进行热部署
  • 对Action方法的参数进行双向转化
  • MATLAB中帮助的几种使用方法
  • 伪静态技术说明
  • Java中Model1和Model2
  • config jre for openoffice3.0
  • 2017敏捷沙滩大会概述:学习、心理安全和持续交付的重要性
  • 简洁的一键SSH脚本
  • Page-Enter、Page-Exit的使用
  • 很认真的聊一聊程序员的自我修养(转)
  • JS中 map, filter, some, every, forEach, for in, for of 用法总结
  • 【刷算法】求1+2+3+...+n
  • Centos6.8 使用rpm安装mysql5.7
  • extract-text-webpack-plugin用法
  • IDEA常用插件整理
  • Node + FFmpeg 实现Canvas动画导出视频
  • Redux 中间件分析
  • vue和cordova项目整合打包,并实现vue调用android的相机的demo
  • 如何用vue打造一个移动端音乐播放器
  • 问:在指定的JSON数据中(最外层是数组)根据指定条件拿到匹配到的结果
  • 移动端 h5开发相关内容总结(三)
  • 走向全栈之MongoDB的使用
  • 看到一个关于网页设计的文章分享过来!大家看看!
  • [Shell 脚本] 备份网站文件至OSS服务(纯shell脚本无sdk) ...
  • puppet连载22:define用法
  • 交换综合实验一
  • 没有任何编程基础可以直接学习python语言吗?学会后能够做什么? ...
  • # include “ “ 和 # include < >两者的区别
  • #git 撤消对文件的更改
  • $.ajax,axios,fetch三种ajax请求的区别
  • $分析了六十多年间100万字的政府工作报告,我看到了这样的变迁
  • (1)(1.13) SiK无线电高级配置(五)
  • (2009.11版)《网络管理员考试 考前冲刺预测卷及考点解析》复习重点
  • (26)4.7 字符函数和字符串函数
  • (3)STL算法之搜索
  • (8)Linux使用C语言读取proc/stat等cpu使用数据
  • (C++)八皇后问题
  • (带教程)商业版SEO关键词按天计费系统:关键词排名优化、代理服务、手机自适应及搭建教程
  • (附源码)spring boot网络空间安全实验教学示范中心网站 毕业设计 111454
  • (十五)Flask覆写wsgi_app函数实现自定义中间件
  • (心得)获取一个数二进制序列中所有的偶数位和奇数位, 分别输出二进制序列。
  • (转)我也是一只IT小小鸟
  • ****** 二 ******、软设笔记【数据结构】-KMP算法、树、二叉树
  • ./mysql.server: 没有那个文件或目录_Linux下安装MySQL出现“ls: /var/lib/mysql/*.pid: 没有那个文件或目录”...
  • .[hudsonL@cock.li].mkp勒索加密数据库完美恢复---惜分飞
  • .NET 2.0中新增的一些TryGet,TryParse等方法
  • .net framwork4.6操作MySQL报错Character set ‘utf8mb3‘ is not supported 解决方法
  • .Net Web项目创建比较不错的参考文章
  • @requestBody写与不写的情况
  • [ 云计算 | AWS ] AI 编程助手新势力 Amazon CodeWhisperer:优势功能及实用技巧