预备知识

type
status
date
slug
summary
tags
category
icon
password

符号

notion image
notion image
notion image
notion image
notion image
notion image

张量

计算机中的数组表示形式。向量是一阶张量,矩阵是二阶张量。
 
notion image
notion image
在机器学习框架中,张量不仅存储数据,还存张量的数据类型、数据形状、秩以及梯度传递状态等多个属性。

矩阵乘法如何演变来的:

刚开始标量,多个数组成数组,每个位置又含义,变成了向量。(1,2)可以有不同含义,数学中空间坐标,物理中力的方向和大小,计算机中,可能的现实的意义房子大小位置等信息。
向量和向量相加,可以各个位置相加,形状不变。相乘,各个位置相乘。
点积,各个对应位置相乘求和,得到一个标量。
如果第一个向量再来一组,组成矩阵,变成矩阵乘向量,
如果被乘的向量再加一列,变成矩阵乘矩阵。

矩阵乘矩阵的理解:

一种,在原来空间中新的基底的组合。
一种卷积理解。
线性变换,原来ij是单位基底,左边乘矩阵,是换成了左边新的基底,相当于把原来的单位基底给线性变换为了新的基底。

自动微分

notion image

计算图

计算图由基本数据结构张量(Tensor)和基本运算单元算子构成。
符号微分表示会爆炸,数值微分不精确。
计算图表示,好在。
求导用链式法则。
反向传播。
Z=ReLU(XxY)转化为计算图表示
notion image

雅可比矩阵

向量微分中,向量一阶偏导数组成的矩阵。
 
使用mathpix弄公式。
参考:
 
wsl(windows的Linux子系统)线性回归实现
Loading...
Catalog