I. Lý thuyết
\(\begin{matrix} (P) \ A_1x+B_1y+C_1z+D_1=0\\ (Q) \ A_2x+B_2y+C_2z+D_2=0 \end{matrix}\)
\(\vec{n}_P=(A_1;B_1;C_1)\) là 1 VTPT của (P)
\(\vec{n}_Q=(A_2;B_2;C_2)\) là 1 VTPT của (Q)
1) 
\(cos(P,Q)=\left | cos(\vec{n}_P;\vec{n}_Q) \right | =\frac{\left | \vec{n}_P.\vec{n}_Q \right |}{\left | \vec{n}_P \right |\left | \vec{n}_Q \right |}\)
\(=\frac{\left | A_1B_2+B_1B_2+C_1C_2 \right |}{\sqrt{A^2_1+B_1^2+C^2_1} .\sqrt{A^2_2+B_2^2+C^2_2}}\)
Chú ý:
\(0^0\leq (\widehat{P,Q})\leq 90^0\)
2)
\((P)\perp (Q)\Leftrightarrow \vec{n}_P.\vec{n}_Q\)
\(\Leftrightarrow A_1A_2+B_1B_2+C_1C_2=0\)
II. Bài tập 
VD1: Tính cosin của góc giữa hai mặt phẳng
\(\begin{matrix} (P): 2x+y+2z-3=0\\ (Q):x+2y-2z+4=0 \end{matrix}\)
Giải
(P) có 1 VTPT \(\vec{n}_P=(2;1;2)\Rightarrow \left | \vec{n}_P \right |=3\)
(Q) có 1 VTPT \(\vec{n}_Q=(1;2;-2)\Rightarrow \left | \vec{n}_Q \right |=3\)
\(cos(P,Q)=\left | cos(\vec{n}_P;\vec{n}_Q) \right | =\frac{\left | \vec{n}_P;\vec{n}_Q \right |}{\left | \vec{n}_P\right |.\left | \vec{n}_Q \right |}=\frac{2+2-4}{3.3}=0\)
Vậy cos(P;Q) = 0

VD2: Cho \(\begin{matrix} (P): mx+y+2z+1=0\\ (Q): x-2y-2z+3=0 \end{matrix}\)
Tìm m để
\(\begin{matrix} a) \ \ \ \ (P)\perp (Q)\\ b) \ (\widehat{P;Q})=60^0 \end{matrix}\)
Giải
(P) có 1 VTPT \(\vec{n}_P=(m;1;2)\Rightarrow \left |\vec{n}_P \right |=\sqrt{m^2+5}\)
(Q) có 1 VTPT \(\vec{n}_Q=(1;-2;-2)\Rightarrow \left |\vec{n}_Q \right |=3\)
a)
\((P)\perp (Q)\Leftrightarrow \vec{n}_P.\vec{n}_Q=0\)
\(\Leftrightarrow m-2-4=0\)
\(\Leftrightarrow m=6\)
b)
\((\widehat{P;Q})=60^0\Leftrightarrow cos(\widehat{P;Q})=\frac{1}{2}\)
\(\Leftrightarrow \frac{\left | m-2-4 \right |}{\sqrt{m^2+5}.3}=\frac{1}{2}\)
\(\Leftrightarrow 2\left | m-6 \right |=3\sqrt{m^2+5}\)
\(\Leftrightarrow 4(m^2-12m+36)=9(m^2+5)\)
\(\Leftrightarrow 5m^2+48m-99=0\)
\(\Delta '=24^2+5.99=1071\)
\(\Bigg \lbrack\begin{matrix} m=\frac{-24-\sqrt{1071}}{5}\\ \\ m=\frac{-24+\sqrt{1071}}{5} \end{matrix}\)
VD3: Viết phương trình \((\alpha )\) chứa OZ và tạo với (P) \(x+2y-\sqrt{5}z\) một góc 60⁰
Giải
Gọi \(\vec{n}=(a;b;c) \ \ \ a^2+b^2+c^2\neq 0\)
là 1 VTPT của \((\alpha )\)
\(\Rightarrow \vec{n}\perp \vec{k}=(0;0;1)\)
\(\Rightarrow C=0\)
\((\widehat{(\alpha );(P)})=60^0\)
\(\Leftrightarrow cos(\widehat{(\alpha );(P)})=60^0=\frac{1}{2}\)
\(\Leftrightarrow \frac{\left | a+2b-c\sqrt{5} \right |}{\sqrt{a^2+b^2+c^2}.\sqrt{1^2+2^2+(\sqrt{5})^2 }}=\frac{1}{2}\)
\(\Leftrightarrow \frac{\left | a+2b \right |}{\sqrt{a^2+b^2}.\sqrt{10}}=\frac{1}{2}(do \ C=0)\)
\(\Leftrightarrow 2\left | a+2b \right |=\sqrt{10}.\sqrt{a^2+b^2}\)
\(\Leftrightarrow 4(a^2+4b^2+4ab)=10(a^2+b^2)\)
\(\Leftrightarrow 6a^2-16ab-6b^2=0\)
\(\Leftrightarrow 3a^2-8ab-3b^2=0(1)\)
+ Nếu b = 0 thì a = 0 (vô lý)
+ Nếu \(b\neq 0\) thì chia 2 vế (1) cho b² ta có 
\(3.\left ( \frac{a}{b} \right )^2-8.\frac{a}{b}-3=0\)
\(\Leftrightarrow \Bigg \lbrack \begin{matrix} \frac{a}{b}=\frac{4-5}{3}=-\frac{1}{3}\\ \\ \frac{a}{b}=\frac{4+5}{3}=3 \end{matrix}\)
TH1:
\(\frac{a}{b}=-\frac{1}{3}\), ta chọn a = -1, b = 3
\(\vec{n}=(-1;3;0)\)
\((\alpha )\) đi qua O(0;0;0) có 1 VTPT \(\vec{n}=(-1;3;0)\) nên có pt -x + 3y = 0
TH2:
\(\frac{a}{b}=3\) chọn \(a=3,b=1\)
\(\vec{n}=(3;1;0)\)
\((\alpha )\) đi qua O(0;0;0) có 1 VTPT \(\vec{n}=(3;1;0)\) nên có phương trình 3x + y = 0
Vậy -x + 3y = 0, 3x + y = 0