【密码学】分组密码的5种基本工作模式

Overview

ECB(Electrinic CodeBook)

简单，扩散性不好，明文规律会反映在密文上

CBC(Cipher Block Chining)

解密支持并行计算（解密不支持）
能够解密任意密文分组
明文的重复不会反映在密文中

CFB(Cipher-FeedBack)

长度和明文分组相等
解密支持并行计算
对噪声抵抗力小

OFB(Output-FeedBack)

【控制论】制御理論

力学系をフィードバック制御する

微分オペレーター
$s=\frac{d}{dt}$
[例]
$ms^2x(s)+csx(s)+kx(s)=f(s)\\x(s)=\frac{1}{ms^2+cs+k}f(s)$
$\frac{1}{ms^2+cs+k}$は伝達関数

RLC电路
$L\frac{d^2q(t)}{dt^2}+R\frac{dq(t)}{dt}+\frac{1}{C}q(t)=v(t)$

制御系設計とは、複素数とラプラス変換

AB并联=>$\frac{A}{AB+1}$
Loop transfer function:化简为仅有一个函数和一个反馈环的图

閉ループ伝達関数:$\frac{L}{1+L}$

制御で用いるラプラス変換の重要な性質,LTIシステムの表現１(convolution と伝達関数)

ラプラス変換性質

• linear
  

• scaling
  

• delay
  

• move
  
• 微分
  
• int
  
• convolution
  $$y(t)=g(t)*u(t)=\int_0^tg(\tau)u(t-\tau)d\tau$$
• 最終値定理
  

线性时不变系统(LTIシステム)

【矩阵论|线性代数】特征值分解，奇异值分解（SVD）

1.特征值分解

$$Av=\lambda v\\\lambda为特征值$$ 特征分解是分解成以下形式$$A=Q\sum Q^{-1}$$ $Q$是由**特征向量**组成的矩阵，$\sum$是特征值组成的对角矩阵,**只有方矩阵能进行这样的分解** >**特征值和特征向量求法:** >>**特征多项式:**$|A-\lambda E|$ > >step1. 求出**特征多项式** >step2. 解**特征多项式=0**，得到所有特征值 >step3. 把特征值代入线性方程组$(A-\lambda E)x=0$,求出基础解系,求解方法:先消元,然后求出限制解，在限制情况下，为自由元赋值1

2.奇异值分解(SVD)

奇异值分解是一个能适用于任意的矩阵的一种分解的方法。

**分解形式：** $$A=U\sum V^T$$ 若A为M*N矩阵 $U$中向量称为**左奇异向量**，大小为**M*M** $\sum$为**M*N**实数对角矩阵 $V^T$大小为N*N，**右奇异向量**，里面的向量是正交的 >奇异值和特征值是怎么对应起来的呢? >$(A^TA)v_i=\lambda_iv_i,v_i为右奇异向量$ 原理 步骤: step1:求$A^TA$或者$AA^T$的特征值$\lambda_1,\lambda_2...$ step2:确定$\sum$:$\sum_{ii}=\sqrt\lambda_i$,其余为0 step3:求$CC^T$的特征向量，也就是U step4:求$C^TC$的特征向量，也就是V

【矩阵论】矩阵微积分

向量序列的敛散性

$x^{(k)}$是一个向量序列

依范数收敛

$$\lim_{k->+\infty}||x^{(k)}-x||_p=0$$

依坐标收敛

$$\lim_{k->+\infty}x^{(k)}_i=x_i$$

矩阵序列的极限

同理

依范数收敛

$$\lim_{k->+\infty}||A^{(k)}-A||_p=0$$

依坐标收敛

$$\lim_{k->+\infty}A^{(k)}_{ij}=A_{ij}$$

矩阵函数

【矩阵论】矩阵分解

酉矩阵:$U^HU=UU^H=E_n$

QR分解

要求:A满秩

目标：把矩阵分解成一个**正交矩阵Q**，一个**上三角阵R** $$A=QR$$ 在复数上推广,Q换成酉矩阵U也一样 $$A=UR$$ **分解过程:** 1.判断A是否可分解（满秩） 2.把A按列分块$A=(x_1,x_2,x_3)$,**正交化**为$y_1,y_2,y_3$,**单位化**为$z_1,z_2,z_3$ $$Q=(z_1,z_2,z_3)$$ $$\begin{equation} R={ \left[ \begin{array}{ccc} ||y_1|| & (x_2,z_1) & (x_3,z_1)\\ 0& ||y_2|| & (x_3,z_2)\\ 0 & 0 & ||y_3|| \end{array} \right ]} \end{equation}$$

原理就是

$$Q=AB$$

B是一个映射，让A正交化
于是有

$$A=QB^{-1}=QR$$

满秩分解

要求：任意矩阵A,分解不唯一

目标:$$A=FG$$ **分解过程** 1.把A化为简化阶梯型  2.求F：找出单位列向量组成F 3.求G：找非0行

【矩阵论】广义逆矩阵

满足下列一部分或全部条件的称为广义逆矩阵（若全满足则为伪逆）

$$AGA=A\\GAG=G\\(GA)^H=GA\\(AG)^H=AG$$

减号逆A-

对于A存在A-

$$AA^-A=A$$

自反减号逆A_r^-

$$A_r^-AA_r^-=A_r^-$$ $$AA_r^-A=A$$

最小范数广义逆Am-

$$AGA=A且(GA)^T=GA$$

最小二乘广义逆AI-

$$AGA=A且(AG)^T=AG$$

加号逆\伪逆 A+

全部满足

方程无解问题

【矩阵论】赋范线性空间与矩阵范数

向量范数

$$||x||_p=(\sum_i |x_i|^p)^{\frac{1}{p}}$$

其中

$$||x||_\infty=max_i|x_i|$$

性质

$$||xy||_p\le||x||_p ||y||_p$$ $$||x+y||_p\le||x||_p+||y||_p$$

矩阵范数

性质同向量范数
算法是每个元素绝对值的p次方和再开p次方

一些矩阵范数

$\rho$:谱半径：最大的特征值

谱范数

$$||A||_2=\sqrt{\lambda_{max}(A^HA)}$$

行范数

【矩阵论】Lambda Matrix and Jordan standard form

Lambda Matrix

$$A(\lambda)= \left[ \begin{matrix} a_{11}(\lambda) & a_{12}(\lambda) & a_{13}(\lambda) \\ a_{21}(\lambda) & a_{22}(\lambda) & a_{23}(\lambda) \\ a_{31}(\lambda) & a_{32}(\lambda) & a_{33}(\lambda) \\ ... \end{matrix} \right] \tag{Lambda matrix}$$

$a_{ij}(\lambda)$为多项式函数
$\lambda$是一个未定元，当取具体的数时，就变成数值矩阵

Smith Standard From

消元，只保留对角元素，其余全部弄成0

$$A(\lambda)\backsimeq \left[ \begin{matrix} d_{1}(\lambda) & 0 &0 ...\\ 0 & d_{2}(\lambda) & 0 ...\\ 0 & 0 & d_{3}(\lambda) ...\\ 0 & 0 & 0... & 0\\ ... \end{matrix} \right]$$

其对角元素称为不变因子

Determinant factor(行列式因子):

k阶行列式因子是矩阵中所有非零的k阶子行列式首项系数为1的最大公因式
求法见下面
初等因子:
求A的初等因子:
$\lambda I-A$变为Smith Standard Form，不为1的不变因子就是初等因子
初等因子可以反推行列式因子

Jordan Chunk

$$J_i= \left[ \begin{matrix} \lambda_i& 1 & \\ & \lambda_i & 1 \\ & & \lambda_i \\ ... \end{matrix} \right]$$

初等因子只有$(\lambda-\lambda_i)^n$

【矩阵论】Geometric Theory of Matrix(矩阵的几何理论)

Linear operator in Linear Space(线性空间上的线性算子)

Linear Space(线性空间):里面的元素对线性运算封闭。当里面的元素为矩阵时，也叫矩阵空间(Matrix Space)
零空间维数是0（只有0向量）
解空间:基础解系构成解空间的一组基
自然基:相互正交的，只有一位为1的向量
坐标变换(Coordinate transformation):

$$E'=EC \quad C为过渡矩阵(transition\quad matrix)\tag{基变换，右乘C}$$ $$x'=C^{-1}x\tag{坐标变换,左乘C逆}$$ $$V_1\cap V_2=\{0\}时V_1+V_2写成V_1\oplus V_2$$

线性算子(linear operator)

就是一个线性映射（也可以用一个矩阵A来表示）

$$\mathscr{A}(M)\subseteq M'$$

同构算子(isomorphism operator):一对一映射
$A^H$表示共轭转置，也就是把每个元素都取共轭值，再转置

相似矩阵

$$B=C^{-1}AC$$

意义是A、B可以看成同一个线性变换在不同基下的矩阵

性质:
拥有相同的特征多项式,相同的特征值

相抵矩阵

【機械学習】共役事前分布

简介

可以用来推断模型参数

对于伯努利分布、二项分布。其共轭先验分布式 Beta分布 (详情见BETA分布文章)

高斯分布的共轭先验分布

方差已知，均值未知->高斯分布

其未知参数$\mu$的共轭事前分布是$N(\mu|\mu_0,\sigma_0)$ ，也是一个高斯分布

如何估计模型参数?
我们现在有观测集合D。要推断$\mu$
从$p(\mu|D)$出发

有 $p(\mu|D)\propto p(D|\mu)p(\mu) \quad贝叶斯,MAP\\\propto exp\{-\frac{1}{2\sigma^2}\sum_{n=1}^N(x_n-x)^2-\frac{1}{2\sigma_0^2}(\mu-\mu_0)^2\}$
因为$p(\mu)$服从$N(\mu|\mu_0,\sigma_0)$,因此有$p(\mu)\propto exp\{\frac{1}{2\sigma_0^2}(\mu-\mu_0)^2\}$
因此能得到上式
之后$\propto exp\{-\frac{1}{2}\{\frac{N}{\sigma^2}+\frac{1}{\sigma_0^2}\}\mu^2+\{\frac{\mu_0}{\sigma_0^2}+\frac{\sum_{n=1}^Nx_n}{\sigma^2}\}\mu\}$

注意到 对于 $exp\{ {-\frac{(\mu-\mu_N)^2}{2\sigma_N^2} }\}$
$\mu$的一次项系数是$\frac{\mu_N}{\sigma_N^2}$,二次系数是$\frac{-1}{2\sigma_N^2}$
于是即可根据上式子求出$\mu_N$和$\sigma_N^2$(事后分布的参数)