SciTech-Mathmatics-InnerProduct(内积)的多种概念: + 向量分解 + 范数/长度: 有限维空间的内积 与 无限维空间的内积

https://www.zhihu.com/question/29754921

数学记号 \(\large \overline{f(x)}\) 代指 \(\large {f(x)}\) 的共轭函数。

• 共轭函数亦称对偶函数、极化函数，函数的某种对偶变换。
  
  设\(\large f\) 为实线性空间 \(\large X\) 上的扩充实数值函数，
  
  \(\large X^*\) 为 \(\large X\) 的对偶空间(由 \(\large X\) 上的一些线性函数所构成的实数空间)，
  
  那么 \(\large f\) 的共轭函数 \(\large f^*\) 是 \(\large X^*\) 上的扩充实值函数。

• 共轭函数的概念, 在研究极值问题的对偶理论中起着本质作用。

• 扩展资料：从共轭函数的定义可得，对任意 \(x\) 和 \(y\)，如下不等式成立:
  
  $\large f(x)+f^*(y) >= x^T y $，
  
  上述不等式即为 \(\large Fenchel\) 不等式(当\(\large f\)可微时, 亦称为\(\large Young\)不等式)。
  
  以函数 \(\large f(x)=\frac{1}{2} x^T Q x\) 为例，其中可以得到如下不等式:

  上面的例子, 以及共轭的名称, 都隐含 凸函数的 共轭函数的共轭函数 是原函数。
  
  也即如果函数 \(\large f\) 是凸函数, 且 \(\large f\) 是闭的，则 \(\large f^**=f\) 。
  
  例如，若domf=R^n，则有\(\large f^**=f\)，即 \(\large f\) 的共轭函数的共轭函数 还是\(\large f\)。

Q: 函数的“内积”为什么要这么定义?

A:

• 这个问题其实没有确实答案，定义内积和系统问题本身其实关系极大，而内积也不一定要这么定义.
  
  例如:
  
  \(Hermite\)多项式，其“内积”就加上一个权重函数：
  
  \(\large \langle H_m, H_n \rangle = \int_{-\infty}^{\infty} dx \cdot H_m(x) H_n(x) e^{-x^2}\)
  
  至于这种连续函数的内积的定义， 将内积转化为两普通矢量的内积：
  
  每一个函数都是一个矢量，而矢量的每一元是在不同的x的值，即:
  
  \(\large \begin{array}{rll} \\
  f(x)&=&[f(x_1), f(x2),\ldots]^T \\
  g(x)&=&[g^*(x_1), g^*(x_2), \ldots]^T \\
  \langle f, g \rangle &=& [f(x_1), f(x_2), \ldots]^T \cdot [g^*(x_1), g^*(x_2), \ldots]^T \\
  &=& \sum_i f(x_i) g^*(x_i) \\
  \end{array}\)

  把其转成积分，加上权重，就成了函数的内积定义。

• 题主提到“内积”, 不妨设题主了解线性空间的内积。只讲讲动机和理解方式唯一严谨的只有定义)。

  • 从有限维线性空间的角度出发，它的内积\(\large \left \langle \mathbf{x} , \mathbf{y} \right \rangle\left \langle \mathbf{x} , \mathbf{y} \right \rangle\)总能写成\(\large \mathbf{x}^T\mathbf{M} \mathbf{y}\)的形式，其\(\large \mathbf{M}\)是一个矩阵；
    
    而且, 如果 \(\large \mathbf{M} = Id\)，即退化为点乘，那直接把各维度的系数相乘再加和起来就好。

  • 如果函数不是定义在区间上, 而是定义在一个集合 \(\large [n]=\{1,2,\cdots,n\}\) 上，
    
    那集合上的函数 \(\large f:[n]\to\mathbb{C}\)组成的空间典型地同构于线性空间 \(\large \mathbb{C}^n\)，
    
    并且函数 \(\large f_k(m)=\begin{cases} 1 \textrm{ if }m=k\\ 0 \textrm{ otherwise}\end{cases}\) 对应于 \(\large \mathbb{C}^n\) 的标准正交基底的第 \(\large k\) 个单位向量 \(\large e_k\).
    
    这时，函数空间上的内积表达式, 就变成 \(\large \langle f,g\rangle\,=\,\sum_{m=1}^n f(m)\overline{g(m)}\)，恰好对应于 \(\large \mathbb{C}^n\)的标准内积。

    区间上函数的内积可以看成上述观点的推广。这样内积的特点是在区间的保测变换下不变。

    即:
    
    如果 映射 \(\large T:[a,b]\to[a,b]\) 对于任何 \(Lebesgue\) 可测集 \(\large E\subset[a,b]\) 满足 \(\large T^{-1}(E)\) 的测度和\(E\)相等，
    
    那么 \(\large \int_a^b f(Tx)\overline{g(Tx)}\ \mathrm{d}x = \int_a^bf(x)\overline{g(x)}\ \mathrm{d}x\) 成立。

    对于区间 \(\large [0,1]\)，保测变换的例子有：
    
    \(\large T(x)=(x+0.3) \bmod 1\)， \(\large T(x)=2x\bmod 1\)，...。
    
    （严格说这里 \(\large T\)首先定义在 \(\large [0,1)\)，但端点 \(\large 1\) 是零测集，可任定义一个值.)

    至于为什么这么定义内积，主要因为它来自对三角函数的观察。
    
    即先发现了一些三角函数乘积在周期上积分的恒等式，后来才有正交关系的解释。谢谢邀请。

  • 对函数, 不就是一种映射？
    
    从 \(\large \left[ a, b \right]\) 到 \(\large \mathbb{R}\) 的一个函数, 不就是给每一 $\large \left[ a, b \right] $ 的数安排一个实数？
    
    所以这个(单值)函数空间, 也表为 \(\large \mathbb{R}^{\left[ a, b \right]}\)(幂集的定义亦可看作映射)，
    
    意思就是:

    • 这种集合的每一元素都是一套规则，这规则把"实数值"赋给 \(\large \left[ a, b \right]\) 上的每一个数,
      
      不妨把每套规则都看成是基于 \(\large \mathbb{R}\) 的 \(\large \left[ a, b \right]\) -维线性空间的一个向量，
      
      而它每一维度上的系数, 就是对应的 \(\large \left[ a, b \right]\) 的数的函数值。
    • 例，取 \(\large f\left( x \right) =x \in \mathbb{R}^{\left[0, 1 \right]}\)，它的第0.1维上的系数就是0.1。这是自然的。
      
      于是有两个函数 \(\large f, g\in \mathbb{R}^{\left[ a, b \right] }\)，
      • 内积(点乘): 就是把各维度的数乘起来加和.
      • 连续求和即积分: \(\large \int_{a}^{b} f \cdot g\ d\mu\), 至于可积与否是另外的事情。这是函数内积的动机。

  • 如果取复数域\(\large C\), 在对应的函数上做共轭变换即可.
    
    \(\large \int_{a}^{b} f\ \cdot\ \bar{g}\ d\mu\) OR \(\large \int_{a}^{b}\bar{f}\ \cdot\ g\ d\mu\), whatever。

• 另一角度简单说明: 复习\(\large Riemann\)积分的定义,
  
  它完全可以写成一个 Riemann和 的极限:

  \(\large \sum_{i=1}^{n}{ f(\xi_i) g(\xi_i) \Delta x_i }\) 的 极限;

  如果取等份分割, 则退化成一般的Euclidian Space \(\large R^n\) 的内积定义:

  \(\large \frac{b - a}{n} \sum_{i=1}^{n}{x_i \overline{y_i}}\)

  所以两者是相容的, 前者是后者的扩展.

• 有限维：

  • 对\(\large {\bf z}=(z_1, z_2, ... ,z_n) \in C^n\)，定义 \(\large {\bf z}\) 的范数为
    
    \(\large \begin{array}{rl} \parallel z\parallel &=\sqrt{|z_1|^2+ |z_2|^2 + ... + |z_n|^2} \\
    |z_{j}|^2 &= z_j \overline{z_j} = (a_j + i \cdot b_j) \cdot (a_j - i \cdot b_j) \\
    &= {\bf a_{j}^{2} } + {\bf b_{j}^{2} }\,\ \forall\ {\bf j \in [\ 1, n\ ] } \\
    \end{array}\)

    因为要求 \(\large \parallel z\parallel\) 是非负数, 所以上式的绝对值是必要的。

    注意到:
    
    $\large \begin{array} \
    
    \parallel z\parallel^{2} &= |z_1|^2+ |z_2|^2 + ... + |z_n|^2 \
    
    &= z_1 \overline{z_1} + z_2 \overline{z_2} + ... + z_n \overline{z_n} \
    
    \ \end{array} $

    把\(\large \parallel z\parallel^{2}\) 看作 \(\large {\bf z}\) 与自身的内积，就像在实数集\(\large {\bf R}\) 的那样(内积就是点积）。

  • 因此上面的等式提示我们，\(\large {\bf \omega} = (w_1, ..., w_n) \in {\bf C}^n\) 与 \(\large {\bf z}\) 的内积应该等于:

    \(\large <{\bf w}, {\bf z}> = w_1 \overline{z_1} + w_1 \overline{z_1} ... + w_n \overline{z_n}\).

  • 向量内积的重要性，可以通过一个定理来说明：

    设$ ({\bf e_1}, {\bf e_2}, ... , {\bf e_n})$ 是 \(\large {\bf V}\) 空间的规范正交基，则对每个\(\large v \in {\bf V}\)，都有:

    \(\large v = <{\bf v},{\bf e_1}>{\bf e_1} + <{\bf v},{\bf e_2}>{\bf e_2} + ... + <{\bf v},{\bf e_n}>{\bf e_n}\)

    其中:

    • \(\large <{\bf v},{\bf e_1}>\) 表示$\large{\bf v} $ 与 \(\large{\bf e_1}\)的内积:
      
      将$\large{\bf v} $ 分解(投影)到 \(\large{\bf e_1}\) 上的分向量;

    • 规范正交基的“长度”(范数)为 \(\large {\bf 1}\)，两两“正交”(内积为零, 相互垂直)；

  • 内积 可以理解为像 实向量的点积，
    
    然后 与规范正交基的内积 可以看作 向量\(\large {\bf v}\)的分解。

• 无限维，将求和改成积分, 就是:

  $\large <{\bf w}, {\bf z}> =\sum_{j=1}^{n}{w_j \overline{z_j}} \ \longrightarrow \ <f(x), g(x)> = \int_{a}^{b} f(x) \overline{g(x)} \text{d}x $

  假设有函数 \(f(x),\ g(x)\), 在区间 \([\ a,\ b\ ]\) 上, 并且将区间\([\ a,\ b\ ]\) 划为 \(N\) 等份，
  
  则函数 \(f(x),\ g(x)\) 的值可表示为:
  
  \(\large \begin{array}{ll} [\ f(x_1),\ f(x_2),\ ...\ ,\ f(x_n)] \\
  [g(x_1),\ g(x_2),\ g(x_3),\ ...\ ,\ g(x_n)] \\
  \end{array}\)

  此时将:
  
  \([\ f(x_1),\ f(x_2),\ ...\ ,\ f(x_n)]\)看做矢量 \(f\),
  
  \([g(x_1),\ g(x_2),\ g(x_3),\ ...\ ,\ g(x_n)]\) 看做矢量\(g\),
  
  则 \(\large f\) 和 \(\large g\) 的内积可表示为： \(\Sigma\Sigma f(x_i)g(x_i)\)
  
  若 \(\large n \rightarrow \infty\) 则 \(\large f\) 和 \(\large g\) 的内积 可表示为 \(\large \int_{a}^{b} f(x) g(x) dx\)