线性代数
标量、向量、矩阵、张量、运算、范数 说明的是，上面的名词都是在线代中的名词，在这个语境内
标量
仅包含一个数字的量，称为标量（scalar），由普通小写字母标识（\(x、y、z\)）。同时，标量也是只有一个元素的张量。
向量
由标量组成的列表，通常记为粗体、小写的字母（\(\mathbf{x、y、x}\)），向量是一维的张量。 大量文献认为列向量是向量的默认方向，在本书中也是如此。
矩阵
通常使用大写字母标识矩阵（\({X、Y、Z}\)），使用\({A}\in {R}^{m\times n}\)
张量
通常使用粗体、大写字母标识（\(\mathbf {\textsf {X,Y,Z}}\)）
张量的基本性质： - 任何元素的一元运算都不会改变其形状 - 给定具有相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量。 - 加法 - Hadamard积，通常用\(\odot\)表示 - 降维 - 点积 相同位置的按元素乘积的和，可以通过执行按元素乘法，然后求和来表示两个向量的点积。
- 矩阵-向量积 \(\mathbf{Ax}\)
- 矩阵-矩阵乘法
- 范数
标量对向量求导
假设一个函数 \(f(x)=X^TX\) 其中 \(\small{X}\normalsize{=[x_1,x_2]^T}\)。然后，我们针对x的每个元素计算导数，结果是\(2X^T\)
先介绍向量的两种运算，一个行向量乘以一个列向量称作向量的内积，又叫作点积，结果是一个数；
一个列向量乘以一个行向量称作向量的外积，外积是一种特殊的克罗内克积，结果是一个矩阵，
向量对向量求导的时候需要考虑是numerator layout还是denominator layout，所以既可以是W也可以是W.T，不过一般采用后者