Wykład 10. Odległość w przestrzeniach liniowych
1. Odległość w przestrzeni liniowej
- norma jako długość wektora i metryka w przestrzeni z normą: \(d(x, y) = \lVert x-y\rVert\)
- standardowe normy w \(\boldsymbol{R}\), \(\boldsymbol{C}\), \(\boldsymbol{R}^n\) i \(\boldsymbol{C}^n\)
- normy z \(p\)-tą potęgą (\(p\geq 1\)) i norma supremalna w \(\boldsymbol{R}^n\) i \(\boldsymbol{C}^n\)\[\lVert(z_1,\dotsc,z_n)\rVert_p=\sqrt[p]{\lvert z_1\rvert^p+\dotsc+\lvert z_n\rvert^p}\]\[\lVert(z_1,\dotsc,z_n)\rVert_\infty=\max(\lvert z_1\rvert,\dotsc,\lvert z_n\rvert)\]
- przestrzenie funkcji ograniczonych ze zbioru \(X\) do \(\boldsymbol{C}\), z normą supremalną\[\lVert f\rVert_\infty=\sup_{x\in X}\lvert f(x)\rvert\]
- przestrzenie funkcji ciągłych na przedziale \([a,b]\), z normami całkowymi z \(p\)-tą potęgą\[\lVert f\rVert_p=\sqrt[p]{\int_a^b\lvert f(x)\rvert^p\,dx}\]
- charakterystyka różnych norm w zastosowaniu do porównywania dźwięków
2. Iloczyn skalarny
- iloczyn skalarny w \(\boldsymbol{R}^n\)\[\langle (x_1,\dotsc,x_n),(y_1,\dotsc,y_n)\rangle=x_1y_1+\dotsc+x_ny_n\](oznaczamy go po prostu \(\langle x,y\rangle\) dla \(x=(x_1,\dotsc,x_n)\), \(y=(y_1,\dotsc,y_n)\)
- kąt między wektorami w \(\boldsymbol{R}^n\)\[\arccos\left(\frac{\langle x,y\rangle}{\lVert x\rVert\cdot\lVert y\rVert}\right)\]
- współczynnik korelacji między wektorami w \(\boldsymbol{R}^n\)\[\frac{\langle x-\bar x,y-\bar y\rangle}{\lVert x-\bar x\rVert\cdot\lVert y-\bar y\rVert},\]gdzie\[\bar x=\frac1n\sum_{i=1}^n x_i,\]i odejmowanie liczby \(\bar x\) od wektora rozumiemy jako odejmowanie wektora \((\bar x, \dotsc, \bar x)\); analogicznie dla \(\bar y\).
- wektory ortogonalne (prostopadłe) a nieskorelowane
- własności iloczynu skalarnego (krótka informacja)
- normę standardową można obliczyć z iloczynu skalarnego:\[\lVert v\rVert = \sqrt{\langle v,v\rangle}.\]
3. Regresja liniowa
- składowa wektora \(y\) równoległa do wektora \(w\) (rzut wektora \(y\) na prostą wyznaczoną przez \(w\)) w przestrzeni z iloczynem skalarnym\[\frac{\langle w,y\rangle}{\langle w, w\rangle}w\]
- przybliżenie wektora \(y\) przez kombinację liniową dla układu wektorów ortogonalnych \(w_1,\dotsc,w_m\)\[\widetilde y=\sum_{i=1}^m \frac{\langle w_i,y\rangle}{\langle w_i, w_i\rangle}w_i\]
- ortogonalizacja układu wektorów \(v_1,\dotsc,v_m\)\[w_1=v_1\]\[w_2=v_2-\frac{\langle w_1,v_2\rangle}{\langle w_1, w_1\rangle}w_1\]\[w_3=v_3-\sum_{i=1}^2 \frac{\langle w_i,v_3\rangle}{\langle w_i, w_i\rangle}w_i\]\[\dotsc\]\[w_m=v_m-\sum_{i=1}^{m-1} \frac{\langle w_i,v_m\rangle}{\langle w_i, w_i\rangle}w_i\]Otrzymana wg. powyższych wzorów wartość \(\widetilde y\) będzie taką kombinacją liniową wektorów \(v_1,\dotsc,v_m\), która jest najbliższa wektorowi \(y\) w normie standardowej
- informacja o związku z rozwiązywaniem układu równań (najlepsze przybliżenie, w przypadku, gdy układ jest sprzeczny)
4. Przykład zastosowania regresji do obróbki danych eksperymentalnych
Dla wielkości fizycznych \(X\) i \(Y\) (o wartościach rzeczywistych) szukamy przybliżonego związku postaci \(Y=aX+b\), gdzie \(a\) i \(b\) są nieznanymi parametrami. Wartości wielkości \(X\) i \(Y\) zmierzone w serii \(n\) eksperymentów wynoszą odp. \((x_1,\dotsc,x_n)\) i \((y_1,\dotsc,y_n)\). Oznaczmy \(v_1=(1,\dotsc,1)\), \(v_2=x=(x_1,\dotsc,x_n)\) oraz \(y=(y_1,\dotsc,y_n)\). Szukamy \(a\) i \(b\), dla których\[y\cong av_2 + bv_1.\]Stosując powyższe wzory dostaniemy\[\begin{split}w_1&=v_1\\w_2&=v_2-\bar x v_1=x-\bar x.\end{split}\]Dalej\[\frac{\langle w_1,y\rangle}{\langle w_1, w_1\rangle}=\bar y,\]\[\frac{\langle w_2,y\rangle}{\langle w_2, w_2\rangle}=\frac{\langle x-\bar x, y-\bar y\rangle}{\langle x-\bar x, x-\bar x\rangle},\]\[\begin{split}\tilde y&=\bar y w_1 + \frac{\langle x-\bar x, y-\bar y\rangle}{\langle x-\bar x, x-\bar x\rangle}w_2\\&= \left(\bar y - \bar x \frac{\langle x-\bar x, y-\bar y\rangle}{\langle x-\bar x, x-\bar x\rangle}\right) v_1 + \frac{\langle x-\bar x, y-\bar y\rangle}{\langle x-\bar x, x-\bar x\rangle}v_2.\end{split}\]Ostatecznie\[\begin{split}a&=\frac{\langle x-\bar x, y-\bar y\rangle}{\langle x-\bar x, x-\bar x\rangle},\\ b&= \bar y - a \bar x.\end{split}\]
Zadanie domowe
1. Dane są wektory w przestrzeni \(\boldsymbol R^{1000}\):
\(x = (1,0,1,0,\dotsc, 1,0)\),
\(y = (1,-1,1,-1,\dotsc, 1,-1)\).
Proszę obliczyć \(\lVert x\rVert\), \(\lVert y\rVert\), \(\lVert x\rVert_1\), \(\lVert y\rVert_1\), \(\lVert x\rVert_\infty\), \(\lVert y\rVert_\infty\) oraz kąt między wektorami \(x\) i \(y\).
2. Dane są wektory w przestrzeni \(\boldsymbol R^{1000}\):
\(x = (1,0,1,0,\dotsc, 1,0)\),
\(y = (1,-1,1,-1,\dotsc, 1,-1)\).
Proszę obliczyć ich iloczyn skalarny i współczynnik korelacji. Proszę wyznaczyć takie \(\alpha\in\boldsymbol R\), że różnica \(x - \alpha y\) jest wektorem o możliwie najmniejszej normie oraz takie \(\beta\in\boldsymbol R\), że różnica \(y - \beta x\) jest wektorem o możliwie najmniejszej normie.
3. Niech \(w, v_1,\dotsc,v_m \in \boldsymbol{R}^n\). Co to znaczy, że układ wektorów \(v_1,\dotsc,v_m\) jest ortogonalny? Jeśli układ \(v_1,\dotsc,v_m\) jest ortogonalny, to jakim wzorem wyraża się najlepsze przybliżenie wektora \(w\) przez kombinację liniową wektorów \(v_1,\dotsc,v_m\)?
\(x = (1,0,1,0,\dotsc, 1,0)\),
\(y = (1,-1,1,-1,\dotsc, 1,-1)\).
Proszę obliczyć \(\lVert x\rVert\), \(\lVert y\rVert\), \(\lVert x\rVert_1\), \(\lVert y\rVert_1\), \(\lVert x\rVert_\infty\), \(\lVert y\rVert_\infty\) oraz kąt między wektorami \(x\) i \(y\).
2. Dane są wektory w przestrzeni \(\boldsymbol R^{1000}\):
\(x = (1,0,1,0,\dotsc, 1,0)\),
\(y = (1,-1,1,-1,\dotsc, 1,-1)\).
Proszę obliczyć ich iloczyn skalarny i współczynnik korelacji. Proszę wyznaczyć takie \(\alpha\in\boldsymbol R\), że różnica \(x - \alpha y\) jest wektorem o możliwie najmniejszej normie oraz takie \(\beta\in\boldsymbol R\), że różnica \(y - \beta x\) jest wektorem o możliwie najmniejszej normie.
3. Niech \(w, v_1,\dotsc,v_m \in \boldsymbol{R}^n\). Co to znaczy, że układ wektorów \(v_1,\dotsc,v_m\) jest ortogonalny? Jeśli układ \(v_1,\dotsc,v_m\) jest ortogonalny, to jakim wzorem wyraża się najlepsze przybliżenie wektora \(w\) przez kombinację liniową wektorów \(v_1,\dotsc,v_m\)?