Bài 1: Các khái niệm Kiểm định giả thiết thống kê

Giả thiết thống kê là những giả thiết nói về các tham số, phân phối xác suất, hoặc tính độc lập của các đại lượng ngẫu nhiên.

Việc tìm ra kết luận bác bỏ hay chấp nhận một giả thiết gọi là kiểm định giả thiết thống kê.

Kiểm định giả thiết thống kê là, một trong các bài toán cơ bản của thống kê toán.

Thí dụ 1: Trong một báo cáo nói rằng: năng suất lúa trung bình của tỉnh Y năm 2010 là 6,8 tấn/ha thì ta có thể coi đó là một giả thiết thống kê, giả thiết này nói về một tham số (kỳ vọng toán) của đại lượng ngẫu nhiên X biểu thị năng suất lúa của tỉnh này. Dựa vào số liệu của một mẫu điều tra về năng suất lúa của tỉnh và qui tắc kiểm định (sẽ nêu ở phần sau) để đưa ra một kết luận là bác bỏ hay chấp nhận giả thiết trên.

Thí dụ 2: Người bán cho rằng tỷ lệ sản phẩm loại II của lô hàng là 10%, ta có thể coi đây là một giả thiết thống kê. Giả thiết này nói về một tham số (kỳ vọng toán) của đại lượng ngẫu nhiên X - là số sản phẩm loại II có trong sản phẩm chọn ngẫu nhiên từ lô hàng. Bên mua có thể tiến hành lấy mẫu để “kiểm tra” điều mà bên bán đã khẳng định xem có đúng hay không, như thế tức là bên mua hàng đã tiến hành kiểm định một giẳ thiết thống kê.

Cách đặt giả thiết thống kê:

Ta có 2 cách để chứng minh một chân lý, nghĩa là có 2 cách để thuyết phục người khác thấy được chân lý đó.

Ví dụ: Chân lý là \(A \ne B\) và cũng là điều mà người nghiên cứu muốn chứng minh.

Cách thứ nhất: Đưa ra giả thiết: \(A \ne B\) rồi tìm dữ kiện để chứng tỏ rằng giả thiết ấy là đúng, là phù hợp (tức là có ý đề nghị người khác chấp nhận giả thiết đó)

Cách thứ hai: Đưa ra giả thiết là: A = B và tìm dữ kiện để chứng tỏ rằng giả thiết này là không phù hợp và ta bác bỏ giả thiết này (tức là có ý đề nghị người khác châ'p nhận \(A \ne B\))

Vậy cùng một chân lý, ta có thể đưa ra 2 giả thiết. Vậy cách nào là hợp lý hơn ?

• Thống kê toán sử dụng phương pháp qui nạp, nghĩa là đi từ trường hợp cá biệt (mẫu) để suy ra trường hợp tổng quát (tổng thể), bằng cách dùng dữ kiện của mẫu để chứng minh giả thiết về tổng thể đó.
• Khi dữ kiện phù hợp với giả thiết thì điều này không là cơ sở để thuyết phục chấp nhận giả thiết đó vì khi dữ liệu phù hợp với giả thiết này, nó cũng đồng thời phù hợp với giả thiết khác. Cho nên khi dữ kiện phù hợp với giả thiết ta cũng chưa chứng minh được giả thiết là đúng một cách chắc chắn.
• Còn khi dữ kiện không phù hợp với giả thiết thì điều này chắc chắn là cơ sở để bác bỏ giả thiết đó.
• Hơn nữa, một giả thiết khi nó đúng thì bao giờ nó cũng phù hợp với thực tiễn. Khi có bằng chứng rút từ thực tiễn thấy không phù hợp thì ta có thể kết luận giả thiết đó là không đúng.
• Trong thống kê toán, việc bác bỏ một giả thiết dựa vào xác suất xảy ra biến cố có liên quan đến giả thiết đó. Một giả thiết chỉ có thể xảy ra với xác suất rất nhỏ thì trên thực tế giả thiết đó hầu như không đúng, nên ta bác bỏ giả thiết ấy.

Dựa vào các lý lẽ trên, khi đặt giả thiết thống kê ta lưu ý một số vấn đề sau:

• Giả thiết đặt ra với ý đồ bác bỏ nó, nghĩa là giả thiết đặt ra ngược lại với điều ta muốn chứng minh, muốn thuyết phục. Vì vậy khi bác bỏ được giả thiết có nghĩa là ta đã chứng minh được điều ngược lại.
• Giả thiết đặt ra sao cho khi chấp nhận hoặc bác bỏ nó sẽ có tác dụng trả lời được câu hỏi mà bài toán thực tế đặt ra.
• Giả thiết đặt ra nếu nó đúng thì ta sẽ xác định được qui luật phân phối xác suất của đại lượng ngẫu nhiên được chọn làm tiêu chuẩn kiểm định.
• Khi đặt giả thiết ta thường so sánh cái chưa biết với cái đã biết. Cái chưa biết là điều ta cần kiểm định, cần kiểm tra, làm rõ. “Cái đã biết” mà ta nói ở đây thường là những thông tin quá khứ, các định mức kinh tế, kỹ thuật.
• Giả thiết đặt ra thường mang nghĩa :”không khác nhau”, hoặc “khác mà không có ý nghĩa” hoặc “bằng nhau”.

Chẳng hạn, qua thực tiễn công tác ta có nhận xét là mức thu nhập bình quân của dân cư ở một thành phố hiện nay cao hơn trước đây, và giả sử rằng ta đã biết một thông tin là thu nhập trung bình của dân cư ở thành phố này năm 2012 là 4,9 triệu đồng/người/tháng. Khi đó ta có thể đặt giả thiết:

• Thu nhập bình quân của một người ở thành phố hiện nay là 4,9 triệu đồng/người tháng (bằng thu nhập bình quân năm 2012)
• Giả thiết ta nêu ở trên nói về kỳ vọng toán của đại lượng ngẫu nhiên biểu thị thu nhập của những người dân cư trú trên địa bàn thành phố này. Mức thu nhập bình quân của một người ở thành phố này hiện nay là bao nhiêu ta chưa biết, là cái cần kiểm tra, làm rõ. Còn thu nhập bình quân của một người ở thành phố năm 2012 là thông tin quá khứ (đã biết).

Giả thiết đặt ra như vậy gọi là giả thiết cần kiểm định. Giả thiết cần kiểm định còn được gọi là giả thiết không (null hypothesis) ký hiệu là H₀ (hoặc H). Một mệnh đề đối lập với H₀ được gọi là giả thiết đối và được ký hiệu là H₁ (hoặc \(\overline H \))

Chẳng hạn:

\({H_0}:\theta = {\theta _0};\,\,{H_1}:\theta \ne {\theta _0}\)

(\(\theta \) là một tham số nào đó của đại lượng ngẫu nhiên ta đang nghiên cứu ; \(\theta_0\) là giá trị đã biết).

Nếu kiểm định giả thiết với giả thiết đối có dạng này được gọi là kiểm định giả thiết hai phía. (Vì miền bác bỏ nằm về hai phía của miền chấp nhận)

Giả thiết đối dạng: \(\theta \ne {\theta _0}\) thường được áp dụng khi ta chưa biết rõ trong thực tế \(\theta > {\theta _0}\) hay \(\theta < {\theta _0}\)

Nhưng nếu bằng kinh nghiệm hoặc qua phân tích ta biết được chiều hướng là \(\theta > {\theta _0}\) thì ta có thể đặt giả thiết đối dạng: \(\theta > {\theta _0}\). Hoặc ta biết được chiều hướng là \(\theta < {\theta _0}\) thì ta có thể đặt giá thiết đối dạng: \(\theta < {\theta _0}\)

Thí dụ: Tỷ lệ phế phẩm của nhà máy trước đây là 5%. Sau khi nhà máy áp dụng công nghệ sản xuất mới người ta tiến hành kiểm ưa 400 sản phẩm thì thấy có 16 phế phẩm. Hãy kết luận xem công nghệ sản xuất mới có thực sự làm giảm tỷ lệ phế phẩm của nhà máy hay không?

Ta đặt p là tỷ lệ phế phẩm của nhà máy sau khi áp dụng công nghệ sản xuất mới (p chưa biết). Ta có tỷ lệ phế phẩm của mẫu là:

\(f = \frac{{16}}{{400}} = 0,04\) (tức 4%)

Như vậy ta thấy tỷ lệ mẫu nhỏ hơn 5%. Mà như ta đã biết, tỷ lệ mẫu là ước lượng điểm của tỷ lệ tổng thể (p), vì thế p có xu hướng là nhỏ hơn 5%. Mặt khác ta đều biết, ưong thực tế, khi nhà máy thay đổi công nghệ sản xuất thì công nghệ sản xuất mới thường là hiện đại hơn, tiên tiến hơn về nhiều mặt. Vì vậy việc tỷ lệ phế phẩm giảm hơn công nghệ cũ cũng là một xu thế phổ biến ưong thực tế. Do vậy để trả lời cho câu hỏi của bài toán, ta có thể tiến hành kiểm định giả thiết:

\(H_0:p=0,05\) với giả thiết đối \(H_1:p<0,05\)

Khi kiểm định giả thiết này, nếu ta bác bỏ \(H_0\) thì có nghĩa là tỷ lệ phế phẩm của nhà máy này thực sự đã giảm sau khi nhà máy áp dụng công nghệ sản xuất mới. Ngược lại, nếu \(H_0\) không bị bác bỏ thì ta chưa có cơ sở để khẳng định tỷ lệ phế phẩm của nhà máy này đã giảm.

Nếu kiểm định giả thiết với giả thiết đối có dạng: \({H_1}:\theta > {\theta _0}\) hoặc \({H_1}:\theta < {\theta _0}\); thì được gọi là kiểm định giả thiết một phía. (Vì miền bác bỏ nằm về một phía của miền chấp nhận).

Nếu giả thiết đối có dạng \({H_1}:\theta > {\theta _0}\); thì được gọi là kiểm định giả thiêt về phía bên phải (vì miền bác bỏ nằm về phía bên phải của miền chấp nhận).

Nếu giả thiết đối có dạng \({H_1}:\theta < {\theta _0}\); thì được gọi là kiểm định giả thiết về phía bên trái (vì miền bác bỏ nằm về phía bên trái của miền chấp nhận).

Nhiệm vụ của lý thuyết kiểm định giả thiết thống kê là: Bằng thực nghiệm (thông qua mẫu cụ thể ) kiểm ưa tính đúng (sai) của giả thiết Ho-

Có thể mô tả phương pháp kiểm định giả thiết thông kê như sau:

Xuất phát từ yêu cầu của bài toán thực tế, ta nêu ra một giả thiết \(H_0\) và giả thiết đối của nó.

Giả sử rằng \(H_0\) đúng, từ đó tìm một biến cố có xác suất đủ bé để có thể tin rằng biến cố đó hầu như không thể xảy ra trong một phép thử. Muốn vậy, từ mẫu ngẫu nhiên:

\(W_X = (X_1,X_2,...,X_n)\)

ta chọn:

\(Z = f({X_1},{X_2},....,{X_n},{\theta _0})\)

Z được chọn sao cho: nếu \(H_0\) đúng thì ta sẽ xác định được qui luật phân phối xác suất của Z và với mẫu cụ thể ta có thể tính được giá trị của Z. Đại lượng ngẫu nhiên Z được gọi là tiêu chuẩn kiểm định giả thiết \(H_0\).

Do qui luật phân phối xác suất của Z đã biết, nên với \(\alpha\) bé tùy ý ta có thể tìm được miền \(W_{\alpha}\)sao cho \(P\left( {Z \in {{\rm{W}}_\alpha }} \right) = \alpha \). Miền \(W_{\alpha}\) được gọi là miền bác bỏ giả thiết \(H_0\). Trong thực tế thường chọn \(\alpha\) trong khoảng (1% ; 5%). \(\alpha\) được gọi là mức ý nghĩa của kiểm định.

Thực hiện một phép thử đối với mẫu ngẫu nhiên \(W_X\), ta thu được mẫu cu thể \(W_X=(X_1,X_2,...,X_n)\). Từ mẫu cụ thể này ta tính được giá trị của Z (ký hiệu là z) và gọi là giá trị thực nghiệm:

\(z = f({x_1},{x_2},...,{x_n},{\theta _0})\)

• Nếu \(z \in {{\rm{W}}_\alpha }\) thì ta bác bỏ giả thiết \(H_0\) thừa nhận \(H_1\) 
• Nếu \(z \notin {{\rm{W}}_\alpha }\) thì ta chấp nhận \(H_0\). 

Khi kiểm định một giả thiết thống kê, chúng ta có thể mắc phải một trong hai loại sai lầm sau đây:

Sai lầm loại 1: Là sai lầm mắc phải khi ta bác bỏ một giả thiết \(H_0\) trong khi thực tế thì giả thiết \(H_0\) đúng.

Xác suất mắc phải sai lầm loại này bằng mức ý nghĩa \(\alpha\). Tức là:

\(P(Z \in {{\rm{W}}_\alpha }) = \alpha \)

(Xác suất để tiêu chuẩn Z thuộc miền bác bỏ \(W_{\alpha}\) nếu giả thiết \(H_0\) đúng). Nếu \({\alpha}\) càng bé thì khả năng phạm phải sai lầm loại 1 càng ít.

Sai lầm loại 2: Là sai lầm mắc phải khi ta chấp nhận giả thiết \(H_0\) trong khi thực tế thì giả thiết \(H_0\) sai.

Xác suất mắc phải sai lầm loại 2 là xác suất để z nhận giá trị không thuộc miền bác bỏ \(W_{\alpha}\) khi \(H_0\) sai (tức \(H_1\) đúng).

\(P\left( {Z \notin {W_\alpha }/{H_1}} \right) = 1 - P(G \in {W_\alpha }/{H_1}) = 1 - \beta \)

\(\beta \) được gọi là lực kiểm định giả thiết \(H_0\). Nó chính là xác suất “không mắc sai lầm loại 2”. \(\beta\) càng lớn thì xác suất sai lầm loại 2 càng nhỏ.

Các trường hợp xảy ra khi tiến hành kiểm định giả thiết thống kê có thể tóm tắt dưới dạng bảng sau:

Tình huống	H0 đúng	H0 sai
Kết luận
Bác bỏ	Sai lầm loại 1 (xác suất là \(\alpha\))	Kết luận đúng (xác suất là \(1-\beta \))
Chấp nhận	Kết luận đúng (xác suất là 1-\(\alpha\))	Sai lầm loại 2 (xác suất là \(\beta\))

Cả hai loại sai lầm đều gây ra tác hại. Chẳng hạn:

• Chấp nhận một lô hàng xấu hoặc từ chối một lô hàng tốt đều là tai hại.
• Cho đậu một thí sinh yếu kém (mà đáng lẽ ra phải rớt) hoặc cho rớt một thí sinh giỏi (mà đáng lẽ ra phải đậu) đều là những sai lầm tai hại.

Tuỳ theo hoàn cảnh cụ thể, sai lầm này có thể là tai hại hơn sai lầm kia. Chẳng hạn: đang lúc thiếu hàng, thì việc từ chối một lô hàng tốt là tai hại hơn việc chấp nhận một lô hàng kém chất lượng.

Dĩ nhiên ta cố gắng hạn chế các sai lầm, hạ thấp xác suất mắc phải sai lầm. Nhưng nếu ta muốn giảm xác suất sai lầm loại 1 thì sẽ làm tăng xác suất sai lầm loại 2 và ngược lại. Chẳng hạn: Để tránh sai lầm cho rớt thí sinh giỏi (rớt oan) ta cứ cho đậu một cách dễ dàng, rộng rãi. Nhưng khi đó khả năng sai lầm cho đậu một học sinh yếu kém (đáng lẽ ra phải rớt) lại tăng lên.

Có 2 cách khống chế khả năng mắc phải sai lầm:

• Cách thứ nhất: Ta ấn định trước mức xác suất sai lầm loại 1 và sai lầm loại 2 rồi tính toán tìm một mẫu có kích thước nhỏ nhất ứng với 2 mức xác suất sai lầm này.
• Cách thứ hai: Ta ấn định trước xác suất sai lầm loại 1 (tức cho trước mức ý nghĩa a) chọn miền bác bỏ \(W_{\alpha}\) sao cho có xác suất sai lầm loại 2 cực tiểu. Các miền bác bỏ \(W_{\alpha}\) trong giáo trình này thỏa mãn yêu cầu đó nhưng không có điều kiện để trình bầy cơ sở lý thuyết toán học của nó. Bạn đọc muốn đi sâu nghiên cứu vấn đề này cần đọc thêm các tài liệu chuyên sâu về lý thuyết kiểm định.

Cần lưu ý rằng: bác bỏ hay chấp nhận một giả thiết tùy thuộc vào giá trị thực nghiệm của tiêu chuẩn Z và mức ý nghĩa \({\alpha}\). Kiểm định giả thiết thống kê chỉ là một qui tắc giúp ta kết luận một vấn đề của bài toán thực tế đặt ra sao cho kết luận đó có khả năng mắc phải sai lầm nhỏ (ở mức nào đó) chứ không phải là phép chứng minh logic một mệnh đề.