《机器学习》 基于SVD的矩阵分解 推导、案例实现
目录
一、SVD奇异值分解
1、什么是SVD
2、SVD的应用
1）数据降维
2）推荐算法
3）自然语言处理
3、核心
1）什么是酉矩阵
2）什么是对角矩阵
4、分解过程
二、推导
1、如何求解这三个矩阵
1）已知：
2）根据酉矩阵的特点即可得出：
3）隐含条件：
4）计算：
5）结论
2、实例
1）求U与V对应的协方差矩阵
2）求各自协方差矩阵对应的特征值和特征向量
• 求A^T A对应的特征值和特征向量
• 求 A A^T 对应的特征值和特征向量
三、代码实现
1、导包
2、代码演示
运行结果为：
代码调试状态：
一、SVD奇异值分解
1、什么是SVD
SVD就是奇异值分解。在机器学习中，SVD是一种常用的矩阵分解方法，用于将一个矩阵分解为三个矩阵的乘积。具体来说，对于一个m×n的实数矩阵A，SVD将其分解为以下形式：
A = UΣV^T
其中，U是一个m×m的正交矩阵，Σ是一个m×n的对角矩阵，V^T是一个n×n的正交矩阵。Σ的对角线上的元素称为奇异值，表示原始矩阵A在对应的奇异向量方向上的重要程度。
2、SVD的应用
1）数据降维
可以通过保留最重要的奇异值和对应的奇异向量，将原始数据降维到一个较低维度的表示，以减少数据的冗余和计算复杂度。
2）推荐算法
SVD可以分解用户-项目评分矩阵，从而得到用户和项目在一个低维的潜在空间中的表示，进而进行推荐。
3）自然语言处理
SVD可以用于词向量的降维和表示，从而实现语义分析任务，如文本分类、情感分析、语义相似度计算，也可以用于对大规模文本数据进行降维和压缩，从而提高文本处理和存储的效率。
3、核心
1）什么是酉矩阵
酉矩阵是线性代数中的一种特殊类型的矩阵。一个n×n的复矩阵U被称为酉矩阵，如果它满足以下条件：
1、U的共轭转置乘以U的结果等于单位矩阵I：U^H × U = I，其中U^H表示U的共轭转置。
2、U的逆矩阵等于它的共轭转置：U^(-1) = U^H。
2）什么是对角矩阵
对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵
4、分解过程
二、推导
1、如何求解这三个矩阵
1）已知：
2）根据酉矩阵的特点即可得出：
3）隐含条件：
4）计算：
5）结论
2、实例
1）求U与V对应的协方差矩阵
2）求各自协方差矩阵对应的特征值和特征向量
• 求A^T A对应的特征值和特征向量
• 求 A A^T 对应的特征值和特征向量
三、代码实现
1、导包
pip install pillow2、代码演示
import numpy as np
from PIL import Image # 导入PIL库中的Image模块，用于处理图像文件
import matplotlib.pyplot as plt # 导入绘图库def pic_compress(k,pic_array): # k表示保留的奇异值数量，pic_array表示输入的图像数组global u,sigma,vt,sig,new_pic # 定义全局变量u,sigma,vt = np.linalg.svd(pic_array) # 使用np库中的linalg模块的svd方法，对图像的数值进行奇异值分解，得到三个矩阵U、Σ和V^T，其中U和V是正交矩阵，Σ是一个对角矩阵,对角线上的元素称为奇异值sig = np.eye(k) * sigma[:k] # 使用np中的函数eye生成一个kxk的单位矩阵，上述生成的sigma为奇异值，现在取前k个值，将其转换成对角矩阵，即对角线上的值为奇异值，其余值为0new_pic = np.dot(np.dot(u[:,:k],sig),vt[:k,:]) # dot用于执行数组乘法size = u.shape[0] * k + sig.shape[0] * sig.shape[1] + k * vt.shape[1] # 变换后的图像为u矩阵、sigma矩阵和vt矩阵，这里计算图像的大小return new_pic,size # 返回压缩后的图像数值和尺寸大小img = Image.open('timg.jpg') # 打开图像
ori_img = np.array(img) # 将图像转换成numpy数组
new_img ,size = pic_compress(100,ori_img) # 调用pic_compress函数对图像进行压缩，导入图片数组，100表示保留的前100个奇异值
print('original size:'+ str(ori_img.shape[0]*ori_img.shape[1])) # 原始图片的大小，shape[0]和[1]分别表示行数和列数
print('compress size:' + str(size)) # 打印压缩后的像素大小fig,ax = plt.subplots(1,2) # 设置画布有两张图，fig是整个图像的窗口对象，ax是两个图像的数组
ax[0].imshow(ori_img,cmap='gray') # 展示第一个图形，为原始图像，cmp='gray'表示图像以灰度图展示
ax[0].set_title('before compress') # 设置第一个图像的标题
ax[1].imshow(new_img,cmap='gray') # 展示第二个图像，为压缩后的图像
ax[1].set_title("after compress")
plt.show()
运行结果为：
左侧为原始图像，右侧为压缩后图像，他们的大小为：
代码调试状态：
