基于opencv+tensorflow+神经网络的智能银行卡卡号识别系统——深度学习算法应用(含python、模型源码)+数据集（二）

前言

本项目基于从网络获取的多种银行卡数据集，采用OpenCV库的函数进行图像处理，并通过神经网络进行模型训练。最终实现对常规银行卡号的智能识别和输出。

首先，通过网络获取了多样化的银行卡数据集，其中包含各种类型和设计的银行卡图像。这些图像数据将作为训练集和测试集，用于训练智能识别模型。

其次，利用OpenCV库的功能，项目对银行卡图像进行处理。包括图像增强、边缘检测、文本定位等技术，以优化图像并提高卡号的提取准确性。

接下来，通过神经网络进行模型训练。神经网络采用深度学习框架TensorFlow，通过学习大量银行卡图像，使模型能够理解和准确识别不同银行卡号的模式和特征。

最终，训练完成的神经网络模型能够智能地识别并输出常规银行卡号。这使得在图像中提取卡号的过程更为自动化和高效。

总体而言，本项目集成了数据采集、图像处理和深度学习技术，为银行卡号的智能识别提供了一种先进的解决方案。这对于自动化银行卡信息提取的场景，如金融服务或身份验证系统，具有潜在的实际应用价值。

总体设计

本部分包括系统整体结构图和系统流程图。

系统整体结构图

系统整体结构如图所示。

系统流程图

系统流程如图所示。

运行环境

本部分包括Python环境、TensorFlow环境和OpenCV环境。

详见博客。

模块实现

本项目包括4个模块：训练集图片处理、测试图片处理、模型训练及保存、模型测试。下面分别介绍各模块的功能及相关代码。

1. 训练集图片处理

数据集下载网址为http://www.cnsoftbei.com/plus/view.php?aid=348。训练集为1000张人工处理银行卡号截图中选取的120张大小不一、由4个银行卡字符单位组成的图片。这些数据集已打包存放在名为images的文件夹中，如图所示。

1）数据加载

相关代码如下：

def img_handle():for root, dirs, files in os.walk('./images'):for file in files:img_path = root+'/'+fileimg = cv2.imread(img_path, 0)get_img(img, file)return data, label

2）图像处理

将图片以灰度图像读入,对其进行高斯模糊、二值化处理。绘制垂直投影直方图,从左到右逐列扫描,本列有多少黑色像素点,对应直方图列就有多高。将直方图按列从左到右扫描,凡遇到直方图高度"由无到有"或者"由有到无"的列做一个标记,根据这些标记对字符分割,单个字符归一化为16×16。分割字符之后,由于数据量较少,通过对训练集做平移、添加噪声处理,进行增强。相关代码如下:

def get_img(img, file):blur = cv2.GaussianBlur(img, (3, 3), 0)  #高斯模糊ret, img = cv2.threshold(blur, 60, 255, cv2.THRESH_BINARY)  #二值化height, width = img.shapev = [0] * widthz = [0] * heighta = 0#垂直投影：统计并存储每一列的黑点数for x in range(0, width):for y in range(0, height):if img[y, x] == 255:continueelse:a = a + 1v[x] = aa = 0#创建空白图片，绘制垂直投影图l = len(v)emptyImage = np.full((height, width), 255, dtype=np.uint8)for x in range(0, width):for y in range(0, v[x]):emptyImage[y, x] = 0#分割字符Position = []Wstart = 0Wend = 0W_Start = 0W_End = 0v[0], v[len(v) - 1] = 0, 0for j in range(len(v)):if v[j] > 0 and Wstart == 0:W_Start = jWstart = 1Wend = 0if v[j] <= 0 and Wstart == 1:W_End = jWstart = 0Wend = 1if Wend == 1:Position.append([W_Start, 0, W_End, height])Wend = 0i = 0for m in range(len(Position)):if Position[m][3]/(Position[m][2]-Position[m][0]) > 1 and Position[m][3]/(Position[m][2]-Position[m][0]) < 5:temp_img = img[Position[m][1]:Position[m][3], Position[m][0]:Position[m][2]]temp_img = cv2.resize(temp_img, (16, 16))       #大小归一化
#数据增强blur1 = cv2.GaussianBlur(temp_img, (1, 1), 0)  #高斯模糊blur2 = cv2.GaussianBlur(temp_img, (3, 3), 0)  #高斯模糊noise = sp_noise(temp_img, 0.01)                  #噪声h0, w0 = temp_img.shapetemp_label = [0.0] * 10temp_data = []for hx in range(h0):for wx in range(w0):temp_data.append(float(temp_img[hx, wx]))data.append(temp_data)temp_data = []for hx in range(h0):for wx in range(w0):temp_data.append(float(blur1[hx, wx]))data.append(temp_data)temp_data = []for hx in range(h0):for wx in range(w0):temp_data.append(float(blur2[hx, wx]))data.append(temp_data)temp_data = []for hx in range(h0):for wx in range(w0):temp_data.append(float(noise[hx, wx]))data.append(temp_data)temp_data = []                                      #左移for hx in range(h0):for wx in range(w0):if wx < w0-1:temp_data.append(float(temp_img[hx, wx+1]))else:temp_data.append(255.0)data.append(temp_data)temp_data = []                                      #右移for hx in range(h0):for wx in range(w0):if wx > 0:temp_data.append(float(temp_img[hx, wx - 1]))else:temp_data.append(255.0)data.append(temp_data)temp_data = []                                      #上移for hx in range(h0):if hx < h0-1:for wx in range(w0):temp_data.append(float(temp_img[hx+1, wx]))else:for wx in range(w0):temp_data.append(255.0)data.append(temp_data)temp_data = []                                      #下移for hx in range(h0):if hx > 0:for wx in range(w0):temp_data.append(float(temp_img[hx-1, wx]))else:for wx in range(w0):temp_data.append(255.0)data.append(temp_data)temp_label[int(file[i])] = 1.0for j in range(8):label.append(temp_label)i += 1
#添加噪声
def sp_noise(image,prob):output = np.zeros(image.shape,np.uint8)thres = 1 - probfor i in range(image.shape[0]):for j in range(image.shape[1]):rdn = random.random()if rdn < prob:output[i][j] = 0elif rdn > thres:output[i][j] = 255else:output[i][j] = image[i][j]return output

2. 测试图片处理

1）图像读取

拍摄的测试图片已打包放入test_images文件夹，加载代码如下:

def image_process(file_path):
file_path = 'test_images/x.jpg'
#其中x.jpg为test_images文件夹中的任意图片

2）图像处理

与训练集预处理相似,直接将图片以灰度图像读入，对其进行高斯模糊、二值化、膨胀腐蚀处理和字符分割。由于银行卡图像上不仅有卡号，还有其他图形或字符，因此，需要对卡号进行定位。此外，这里不需要再进行数据增强处理。相关代码如下:

#图像处理
def image_process(file_path):img = cv2.imread(file_path, 0)blur = cv2.GaussianBlur(img, (3, 3), 0)     #高斯模糊ret, binary = cv2.threshold(blur, 50, 255, cv2.THRESH_BINARY) #二值化kernel = np.ones((1, 50), np.uint8)erosion = cv2.erode(binary, kernel)         #膨胀dilation = cv2.dilate(erosion, kernel)      #腐蚀
#通过边缘检测得到多条色块，再根据银行卡号分布的特征设定阈值，判定银行卡号的区域contours, hierarchy = cv2.findContours(dilation, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)sp = dilation.shapex, y, w, h = 0, 0, 0, 0for i in range(0, len(contours)):      
#矩形边框，返回值x、y是矩阵左上点的坐标，w、h是矩阵的宽和高x, y, w, h = cv2.boundingRect(contours[i])#计算矩形是否圈住银行卡号if h > sp[0]*0.05 and w > sp[1]*0.5 and y > sp[0]*0.2 and y < sp[0]*0.8 and w/h > 5:img = binary[y:y + h, x:x + w]breakreturn num_split(img)
#得到卡号区域后，绘制垂直投影直方图，字符分割，再将单个字符归一化为16*16大小的图像
#图像分割
def num_split(img):height, width = img.shapev = [0] * widthz = [0] * heighta = 0 #垂直投影：统计并存储每一列的黑点数#逐行存储for x in range(0, width):for y in range(0, height):if img[y, x] == 255:continueelse:a = a + 1v[x] = aa = 0#创建空白图片，绘制垂直投影图l = len(v)emptyImage = np.full((height, width), 255, dtype=np.uint8)for x in range(0, width):for y in range(0, v[x]):emptyImage[y, x] = 0#分割字符#将字符坐标及宽度存放到PositionPosition = []Wstart = 0Wend = 0W_Start = 0W_End = 0v[0], v[len(v)-1] = 0, 0for j in range(len(v)):if v[j] > 0 and Wstart == 0:W_Start = jWstart = 1Wend = 0if v[j] <= 0 and Wstart == 1:W_End = jWstart = 0Wend = 1if Wend == 1:Position.append([W_Start, 0, W_End, height])Wend = 0data = []#对单个字符处理 for m in range(len(Position)):temp_img = img[Position[m][1]:Position[m][3], Position[m][0]:Position[m][2]]#获得单个字符的宽度和高度h1, w1 = temp_img.shapeif w1 > h1:return []temp_img = cv2.resize(temp_img, (16, 16))h0, w0 = temp_img.shapetemp_data = []for hx in range(h0):for wx in range(w0):temp_data.append(float(temp_img[hx, wx]))data.append(temp_data)return data

相关其它博客

基于opencv+tensorflow+神经网络的智能银行卡卡号识别系统——深度学习算法应用(含python、模型源码)+数据集（一）

基于opencv+tensorflow+神经网络的智能银行卡卡号识别系统——深度学习算法应用(含python、模型源码)+数据集（三）

工程源代码下载

详见本人博客资源下载页

其它资料下载

如果大家想继续了解人工智能相关学习路线和知识体系，欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线，所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台，AI技术平台以及相关领域专家：Datawhale，ApacheCN，AI有道和黄海广博士等约有近100G相关资料，希望能帮助到所有小伙伴们。