关于矩阵 PCA的简单认识

说起 降维 ，不得不提 三体 这本 2014年十大流行 烂书，之所以说他烂，真的是烂大街，像传销瘟疫一样风靡，尤其在互联网圈 ，各种不靠谱的销售 运营 产品 程序员 趋之若鹜 奉为圭臬，逢人见面 碧聊三体。其中降维打击也是三体中出现频率最高的一个词，好多人好像 醍醐灌顶，找到了一阳指样。不过 说来 ，现实中 到底 有没有降维打击，当然有，比 别人多一维，基本上就可以现实中轻易辗轧对方，因为 低维 大概就是高维的一个因子，

最现实的降维打击例子就比如 飞机 打装甲车 ，装甲车 只能在地面上 横冲直撞，而飞机可以空天一体，可上可下 可左可右，精确制导，打击装甲车 完全就是毁灭性的。

不过我们这次 说的降维 不是 科幻小说的打击，而是降低 机器学习 训练数据复杂度的一种技术。

PCA按道理 来说是线性代数 矩阵的一种特质，我们 在大学学的高等数学 按道理来说属于动态数学，类似来说 就是 具有加速度的运动数据，比如求导 求极限 微积分，无不适在运动中求得真经答案。

矩阵 刚开始学习的时候 像在学八卦阵一样，我不了解为什么非要 把一群数字 有序列的排列在一起。 其实也源自当时 对 C 语言中 二维数组的不了解。

矩阵 也正是因为把一帮有序的数字排在一起，发现了更有趣的现象，矩阵 带来的科技成果 无不让人震撼，如今的 计算机视觉 自然语言处理 人脸识别 VR 技术 无不是在底层建立在矩阵的基础上 进行 线性变换。

提到 线性变换 我们不得不说矩阵的乘法 ，和向量的内积，刚开始 学习时我 真的无法认同 为什么矩阵的乘法规则 是如此规定的，但是当你从实际场景出发

学校运动会，各个系在参加 各项运动项目 获得的名称 与 积分奖金 对应，求得总积分 总奖金 ，使用矩阵就是运算最快的一种方式。向量的内积 比如向量A 乘以向量B 其实是向量A 在向量B 的 方向上的投影

矩阵的乘法 从表面上来说符合逻辑，原理上 其实是矩阵的线性空间的转换。

矩阵 A 乘以 矩阵B ，其实就可以把 矩阵B 看做是一个 线性空间中的几个基，而矩阵A 乘以 矩阵B就是 矩阵A 在 矩阵B的基础上 转换到矩阵B 所对应的线性空间上的表示！！！！，好比 一个球体 在水面上的倒影，其实就是 三维立体几何体 投影到二维水面空间上，水面只是一个面而已。当然 从高维可以投影到低维 ，自然 低维也可以投射到高维上，只要 被乘以的矩阵B 的基 维度更高 则可以完成。

我们了解到 PCA降维 其实等价于 原来的矩阵 A 乘以了一个 基更小的 矩阵，完成了 矩阵A 的线性空间转换，pca 叫做主成分分析 ，其实 按道理来说 还是有信息的丢失，但是仍旧保留了 最有价值的成分。剩下的关键点在于 我们要乘以的矩阵B 到底是张 什么样子的呢，有多少中呢。

其实很多种，另外 除了 降维线性空间转换，还有就是 主动 对矩阵 进行拆解 解剖，所谓的矩阵分解 ，常用的就是svd 奇异值矩阵分解。

那么pca 这个 B 到底是怎么来的呢 ，

里面就用到了 线性代数中的 特征向量 特征值的概念了 还有协方差矩阵

PCA中的矩阵B 是一个正交矩阵 ，每一维 与下一维 正交，第一维 方差最大

pca 是 机器学习领域中必然会用到的一项技术 ，用来应对 维度爆炸，降低模型复杂度，增加 数据的非线性 特性 ，自动实现 模型的特征组合，可谓是事半功倍，在运动中找到了答案

参考

/p/bf533880ba09

pca 原理

/p/bc84bec587ac