すーがくをがくすー

中の人は情報通信工学専攻です。専攻がらみの数学・物理（特に院試のネタになりそうなもの）を扱う予定。

〔線形代数〕（実）2次形式の最大値問題

　実2次形式とは, \boldsymbol{x} = (x _ 1 , x _ 2 , \dots , x _ n) ^ \top \in \mathbb{R} ^ n ,実対称行列 A \in \mathbb{R} ^ {n \times n} に対して

\displaystyle f(x _ 1, x _ 2, \dots , x _ n) = \boldsymbol{x} ^ \top A \boldsymbol{x}

で表される n 変数多項式である。この多項式を n 変数関数と見て, その最大値を求める手法について, 今回は以下の3つを挙げてみた。

①　対角化の利用

②　ラグランジュの未定乗数法

③　ゴ　リ　押　し

それでは, 順に見ていこう。


（問題）

　問　題

　実 3 変数関数

\displaystyle f(x _ 1 , x _ 2 , x _ 3) = 2 x _ 1 ^ 2 + 2 x _ 2 ^ 2 + 2 x _ 3 ^ 2 + 6 x _ 1 x _ 2 + 8 x _ 2 x _ 3 \tag{1}

における, 制約条件 x _ 1 ^ 2 + x _ 2 ^2 + x _ 3 ^ 2 = 1 のもとでの最大値を求めよ。また, そのときの (x _ 1 , x _ 2, x _ 3) \in \mathbb{R} ^ 3 の値を求めよ。


（解答1）対角化の利用

[1] 議論の流れ

　与えられた関数 f(x _ 1 , x _ 2 , x _ 3) は, 実ベクトル (x _ 1 , x _ 2 , x _ 3) ^ \top \in \mathbb{R} ^ n および 実対称行列 A \in \mathbb{R} ^ {3 \times 3} を用いて

\displaystyle f(x _ 1, x _ 2, x _ 3) = \boldsymbol{x} ^ \top A \boldsymbol{x}, \qquad \boldsymbol{x} = \begin{pmatrix} x _ 1 \\ x _ 2 \\ x _ 3 \end{pmatrix}, A = \begin{pmatrix} 2 & 3 & 0\\ 3 & 2 & 4\\ 0 & 4 & 2 \end{pmatrix}

と表せ, また制約条件は \boldsymbol{x} ^ \top \boldsymbol{x} = 1 と表せる。ここで, A は実対称行列だから, その固有値を \lambda _ 1 \leq \lambda _ 2 \leq \lambda _ 3 とすれば, ある直交行列 P が存在し,

\displaystyle P ^ {\top} A P = \begin{pmatrix} \lambda _ 1 & 0 & 0\\ 0 & \lambda _ 2 & 0\\ 0 & 0 & \lambda _ 3 \end{pmatrix} \Longleftrightarrow A = P \begin{pmatrix} \lambda _ 1 & 0 & 0\\ 0 & \lambda _ 2 & 0\\ 0 & 0 & \lambda _ 3 \end{pmatrix} P ^ {\top}

と対角化できるので,

\displaystyle f(x _ 1, x _ 2, x _ 3) = \boldsymbol{x} ^ \top A \boldsymbol{x} = \boldsymbol{x} ^ \top P \begin{pmatrix} \lambda _ 1 & 0 & 0\\ 0 & \lambda _ 2 & 0\\ 0 & 0 & \lambda _ 3 \end{pmatrix} P ^ {\top} \boldsymbol{x}
\displaystyle = (P ^ {\top} \boldsymbol{x} ) ^ {\top} \begin{pmatrix} \lambda _ 1 & 0 & 0\\ 0 & \lambda _ 2 & 0\\ 0 & 0 & \lambda _ 3 \end{pmatrix} P ^ {\top} \boldsymbol{x}
\displaystyle = \boldsymbol{y} ^ {\top} \begin{pmatrix} \lambda _ 1 & 0 & 0\\ 0 & \lambda _ 2 & 0\\ 0 & 0 & \lambda _ 3 \end{pmatrix} \boldsymbol{y} , \qquad \boldsymbol{y} = P ^ {\top} \boldsymbol{x} = (y _ 1, y_ 2 , y _ 3) ^ \top
= \lambda _ 1 y _ 1 ^ 2 + \lambda _ 2 y _ 2 ^ 2 + \lambda _ 3 y _ 3 ^ 2

と書ける。…①

さらに, 制約条件 \boldsymbol{x} ^ \top \boldsymbol{x} = 1 より , P が直交行列であることに注意して

\displaystyle \boldsymbol{y} ^ \top \boldsymbol{y} = (P ^ {\top} \boldsymbol{x}) P ^ {\top} \boldsymbol{x} = \boldsymbol{x} ^ \top P ^ \top P \boldsymbol{x} = \boldsymbol{x} ^ \top \boldsymbol{x} = 1

を得る。…②

①②および \lambda _ 1 \leq \lambda _ 2 \leq \lambda _ 3 から, f(x _ 1 , x _ 2, x _ 3) \leq \lambda _ 3 を得て, 等号成立は (y _ 1 , y _ 2, y _ 3 ) = (0, 0, 1) であり, つまり \displaystyle \boldsymbol{x} = P(0, 0, 1) ^ {\top} のときである。…③

以上の議論から, A を直交行列 P によって対角化すればよい。


[2] 固有値を得る（対角化 その1）

　　 A の固有多項式（特性多項式） \varphi _ A (\lambda) は, 3次の単位行列を I として

\displaystyle \mathrm{det } (\lambda I - A) = \begin{vmatrix} \lambda - 2 & - 3 & 0\\ -3 & \lambda - 2 & -4\\ 0 & -4 & \lambda - 2 \end{vmatrix} \displaystyle = (\lambda - 2) ^ 3 - 16 (\lambda - 2) - 9 (\lambda - 2) \displaystyle = (\lambda - 2) \left( (\lambda - 2) ^ 2 - 5 ^ 2 \right) \displaystyle =(\lambda + 3) (\lambda - 2) (\lambda - 7)

を得るので, \lambda _ 1 = -3, \lambda _ 2 = 2, \lambda _ 3 = 7 を得る。


[3]　固有ベクトルを得る（対角化 その2）


(a)　 \lambda _ 1 = -3 について

　 A \boldsymbol{v} _ 1 = -3 \boldsymbol{v} _ 1 を満たす \boldsymbol{v} _ 1 を得たい。これは, 言い換えると (A + 3I) \boldsymbol{v} _ 1 = \boldsymbol{0} を得たいので, 固有空間 E _ A (-3) = \mathrm{Ker} \, (A + 3I) の元を求める操作に等しい。

　行基本変形により,

\displaystyle A + 3I = \begin{pmatrix} 5 & 3 & 0\\ 3 & 5 & 4\\ 0 & 4 & 5 \end{pmatrix} \longrightarrow \begin{pmatrix} 5 & 3 & 0\\ 0 & 4 & 5\\ 0 & 0 & 0 \end{pmatrix}

を得るので, \boldsymbol{v} _ 1 = (v _ {11} , v _ {21}, v _ {31})^ \top は

\displaystyle \left\{ \begin{array}{ll} 5 v _ {11} + 3 v _ {21} = 0\\ 4 v _ {21} + 5 v _ {31} = 0 \end{array} \right.


を満たす。正規化すれば,

\displaystyle \boldsymbol{v} _ 1 = \frac{1}{5 \sqrt{2}} \begin{pmatrix} 3\\ -5\\ 4 \end{pmatrix} \in E _ A (-3)

を得る。


(b)　 \lambda _ 2 = 2 について

　同様に,

\displaystyle \boldsymbol{v} _ 2 = \frac{1}{5} \begin{pmatrix} 4\\ 0\\ -3 \end{pmatrix} \in E _ A (2)

を得る。


(c)　 \lambda _ 2 = 7 について

　同様に,

\displaystyle \boldsymbol{v} _ 3 = \frac{1}{5 \sqrt{2}} \begin{pmatrix} 3\\ 5\\ 4 \end{pmatrix} \in E _ A (7)

を得る。


[4]　対角化を実行する（対角化 その3）


　ここまでの議論より,

\displaystyle A ( \boldsymbol{v} _ 1, \boldsymbol{v} _ 2, \boldsymbol{v} _ 3 ) = ( \boldsymbol{v} _ 1, \boldsymbol{v} _ 2, \boldsymbol{v} _ 3 ) \begin{pmatrix} -3 & 0 & 0\\ 0 & 2 & 0\\ 0 & 0 & 7 \end{pmatrix}

だから, 直交行列

\displaystyle P = (\boldsymbol{v} _ 1, \boldsymbol{v} _ 2, \boldsymbol{v} _ 3) = \frac{1}{5 \sqrt{2}} \begin{pmatrix} 3 & 4 \sqrt{2} & 3\\ -5 & 0 & 5\\ 4 & -3 \sqrt{2} & 4 \end{pmatrix}

をとって

A = P \begin{pmatrix} -3 & 0 & 0\\ 0 & 2 & 0\\ 0 & 0 & 7 \end{pmatrix} P ^ {\top}

と対角化できた。


[5]　解答


したがって, ③における議論から, 求める最大値は \lambda _ 3 = 7 であり, このとき

\displaystyle \boldsymbol{x} = \begin{pmatrix} x _ 1\\ x _ 2\\ x _ 3 \end{pmatrix} = P \begin{pmatrix} 0\\ 0\\ 1 \end{pmatrix} = \begin{pmatrix} \frac{3 \sqrt{2}}{10}\\ \frac{\sqrt{2}}{2}\\ \frac{2 \sqrt{2}}{5} \end{pmatrix}

である。


（解答2）ラグランジュの未定乗数法の利用

制約条件は x _ 1 ^ 2 + x _ 2 ^ 2 + x _ 3 ^ 2 - 1 = 0 だから, g ( x _ 1 , x _ 2, x _ 3) = x _ 1 ^ 2 + x _ 2 ^ 2 + x _ 3 ^ 2 - 1 とおき,

h(x _ 1 , x _ 2 , x _ 3, \lambda) = f (x _ 1 , x _ 2 , x _ 3) - \lambda g (x _ 1 , x _ 2 , x _ 3) \tag{2}

とおく。ラグランジュの未定乗数法によれば, h(x _ 1 , x _ 2 , x _ 3, \lambda) の勾配がゼロとなる点（つまり \nabla h = \boldsymbol{0} となる点）が, 極値の候補を与える。本問において最大値は極値のなかに存在するので, これは最大値の候補を洗い出していることにもなる。

さて,

\displaystyle h(x _ 1 , x _ 2, x _ 3 , \lambda)

\displaystyle = (2 x _ 1 ^ 2 + 2 x _ 2 ^ 2 + 2 x _ 3 ^ 2 + 6 x _ 1 x _ 2 + 8 x _ 2 x _ 3) - \lambda (x _ 1 ^ 2 + x _ 2 ^ 2 + x _ 3 ^ 2 - 1)

\displaystyle = (2 - \lambda) x _ 1 ^ 2 + (2 - \lambda) x _ 2 ^ 2 + (2 - \lambda) x _ 3 ^ 2 + 6 x _ 1 x _ 2 + 8 x _ 2 x _ 3 + \lambda

だから, \nabla h = \boldsymbol{0} となる点, つまり極値の候補は,

\displaystyle \frac{\partial h}{\partial x _ 1} = 0 \Longleftrightarrow 2(2 - \lambda) x _ 1 + 6 x _ 2 = 0　\tag{3}

\displaystyle \frac{\partial h}{\partial x _ 2} = 0 \Longleftrightarrow 2(2 - \lambda) x _ 2 + 6 x _ 1 + 8 x _ 3 = 0　\tag{4}

\displaystyle \frac{\partial h}{\partial x _ 3} = 0 \Longleftrightarrow 2(2 - \lambda) x _ 3 + 8 x _ 2 = 0　\tag{5}

\displaystyle \frac{\partial h}{\partial \lambda} = 0 \Longleftrightarrow x _ 1 ^ 2 + x _ 2 ^ 2 + x _ 3 ^ 2 = 1　\tag{6}

の4つの方程式の解を満たす点 (x _ 1 , x _ 2 , x _ 3) である。

(3) \times x _ 2 と (4) \times x _ 1 から 2(2 - \lambda) を消去することにより,

3 x _ 1 ^ 2 + 4 x _ 1 x _ 3 = 3 x _ 2 ^ 2 \Longleftrightarrow x _ 1 (3 x _ 1 + 4 x _ 3) = x _ 2 \tag{7}

を得る。

同様に, (3), (5) から 2(2 - \lambda) を消去することにより,

3 x _ 2 x _ 3 = 4 x _ 1 x _ 2 \Longleftrightarrow x _ 2 (3 x _ 3 - 4 x _ 1) = 0 \tag{8}

を得る。

　[1]　 x _ 2 = 0 のとき

　　 (7) より

x _ 1 (3 x _ 1 + 4 x _ 3) = 0 \tag{9}


　　(a)　 x _ 1 = 0 のとき

　　　 (6) より x _ 3 = \pm 1 だから,

(x _ 1, x _ 2, x _ 3) = (0, 0, 1), (0, 0, -1) \tag{10}

　

　　を得る。


　　(b)　 x _ 1 \neq 0 のとき

　　　 (7) より 3 x _ 1 + 4 x _ 3 = 0 だから, \displaystyle x _ 1 = - \frac{4}{3} x _ 3 である。

　　　これと (6) より

\displaystyle \frac{16}{9} x _ 3 ^ 2 + x _ 3 ^ 2 = 1 \Longleftrightarrow x _ 3 = \pm \frac{3}{5}

　

　　だから

\displaystyle (x _ 1, x _ 2, x _ 3) = \left( -\frac{4}{5}, 0, \frac{3}{5} \right), \left( \frac{4}{5}, 0, -\frac{3}{5} \right) \tag{11}

　

　　を得る。


　[2]　 x _ 2 \neq 0 のとき

　　 (8) より, 3 x _ 3 - 4 x _ 1 = 0 つまり \displaystyle x _ 3 = \frac{4}{3} x _ 1 を得る。

　　これと (7) より

\displaystyle 3 x _ 1 ^ 2 + 4 \cdot \frac{4}{3} x _ 1 ^ 2 = 3 x _ 2 ^ 2 \Longleftrightarrow x _ 2 = \pm \frac{5}{3} x _ 1

　 を得る。これらを (6) に代入して

\displaystyle x _ 1 ^ 2 + \frac{16}{9} x _ 1 ^ 2 + \frac{25}{9} x _ 1 ^ 2 = 1 \Longleftrightarrow x _ 1 = \pm \frac{3}{5 \sqrt{2}}

　を得る。よって,

\displaystyle (x _ 1, x _ 2, x _ 3) = \left( \frac{3}{5 \sqrt{2}}, \frac{1}{\sqrt{2}}, \frac{4}{5 \sqrt{2}} \right), \left( -\frac{3}{5 \sqrt{2}}, \frac{1}{\sqrt{2}}, - \frac{4}{5 \sqrt{2}} \right),

　

\displaystyle \left( \frac{3}{5 \sqrt{2}}, - \frac{1}{\sqrt{2}}, \frac{4}{5 \sqrt{2}} \right), \left( -\frac{3}{5 \sqrt{2}}, - \frac{1}{\sqrt{2}}, - \frac{4}{5 \sqrt{2}} \right) \tag{12}

　

　を得る。


　ここまでで, 極値の候補が (10),(11), (12) として得られたので, 順に値を f(x _ 1, x _ 2, x _ 3) 代入して, 最大となるものを選べばいい。したがって,

\displaystyle (x _ 1, x _ 2, x _ 3) = \left( \frac{3}{5 \sqrt{2}}, \frac{1}{\sqrt{2}}, \frac{4}{5 \sqrt{2}} \right)

　

のとき, 最大値 7 を得る。□


（解答3）ゴリ押し（参考）

　答えを求めるだけなら以下のような解答もあり得なくはないだろう。原理だけなら高校生でも理解が可能である。

　制約条件 x _ 1 ^ 2 + x _ 2 ^ 2 + x _ 3 ^ 2 = 1 を, 「3次元ユークリッド空間における単位球面上を動く」と見なせば, 球座標系の表現ができる, すなわち

\displaystyle \left\{ \begin{array}{ll} x _ 1 = \sin {\theta} \cos {\varphi}\\ x _ 2 = \sin {\theta} \sin {\varphi}\\ x _ 3 = \cos {\theta} \end{array} \right. \qquad 0 \leq \theta \leq \pi, 0 \leq \varphi \leq 2\pi

と座標変換できる。

　これを代入して整理すると,

\displaystyle f = 2 + \frac{3}{2} \sin {2 \varphi} - \frac{3}{2} \sin {2 \varphi} \cos {2 \theta} + 4 \sin{\varphi} \sin {2 \theta}

を得る。ここで, 三角関数の合成を \sin{2\theta}, \cos{2\theta} について行って,

\displaystyle f = 2 + \frac{3}{2} \sin {2 \varphi} + \sqrt{ \frac{9}{4} \sin ^ 2 {2\varphi} + 16 \sin ^2 {\varphi} } \sin{ (2 \theta + \alpha) }

であり, -1 \leq \sin{(2 \theta + \alpha)} \leq 1 に注意すれば

\displaystyle f \leq 2 + \frac{3}{2} \sin {2 \varphi} + \sqrt{ \frac{9}{4} \sin ^ 2 {2\varphi} + 16 \sin ^2 {\varphi} }

とでき, 変数を無事1つまで絞ることが出来た。

　あとは,

\displaystyle g(\varphi) = 2 + \frac{3}{2} \sin {2 \varphi} + \sqrt{ \frac{9}{4} \sin ^ 2 {2\varphi} + 16 \sin ^2 {\varphi} }
\displaystyle = 2 + 3 \sin {\varphi} \cos{\varphi} + \sqrt{ 9 \sin ^ 2 {\varphi} \cos ^ 2 {\varphi} + 16 \sin ^2 {\varphi} }

の最大値について調べればいい。そこで, x = \sin{\varphi} \in [ -1 , 1 ] とおくと,

\displaystyle g = 2 \pm 3 x \sqrt{1 - x ^ 2} + \sqrt{ 9 x ^ 2 (1 - x ^ 2 ) + 16 x ^ 2 }
\displaystyle = 2 \pm 3 x \sqrt{1 - x ^ 2} + \sqrt{ 25 x ^ 2 - 9 x ^ 4 }

であるが, これの最大値を調べる上では, 結局

\displaystyle h(x) = 2 + 3 x \sqrt{1 - x ^ 2} + \sqrt{ 25 x ^ 2 - 9 x ^ 4 }, \qquad x \in [ 0, 1 ]

の最大値を調べれば十分である。微分して,

\displaystyle h'(x) = 3 \sqrt{1 - x ^ 2} - \frac{3 x ^ 2}{\sqrt{1 - x ^ 2}} + \frac{18 x ^ 2 - 25}{\sqrt{ 25 - 9 x ^ 2 }}

だから, 極値は

\displaystyle 3 \sqrt{1 - x ^ 2} - \frac{3 x ^ 2}{\sqrt{1 - x ^ 2}} + \frac{18 x ^ 2 - 25}{\sqrt{ 25 - 9 x ^ 2 }} = 0

\displaystyle 3 \sqrt{1 - x ^ 2} - \frac{3 x ^ 2}{\sqrt{1 - x ^ 2}} = - \frac{18 x ^ 2 - 25}{\sqrt{ 25 - 9 x ^ 2 } }

を満たす x である。さらに, t = x ^ 2 \in [0, 1] として

\displaystyle 3 \sqrt{1 - t} - \frac{3 t}{\sqrt{1 - t}} = - \frac{18 t - 25}{\sqrt{ 25 - 9 t } }

両辺2乗して

\displaystyle 9(1 - t) - 18t + \frac{9 t ^ 2}{1 - t} = \frac{(18 t - 25) ^ 2}{25 - 9t}

実は, この両辺を整理すると線形方程式

\displaystyle 400 - 544t = 0

に帰着できるので, \displaystyle t = x ^ 2 = \frac{25}{34} で極値をとることがわかり, 実際にこの値を h(x) に代入して, 最大値 \displaystyle h \left( \sqrt{\frac{25}{34}} \right) = 7 を得る。このときの (x _ 1 , x _ 2, x _ 3) については, 煩雑となるので割愛させて頂く。ともあれ, 高校生でも頑張れば求められないことはないのである。