Thống kê toán (2) – Công thức vĩ đại Karl Pearson Chi-squared

Posted on August 20, 2011 by

2


© Op-Economica, 20-8-2011 — Vào năm 1900, nhà sinh toán người Anh Karl Pearson đã có công đề xuất công thức vĩ đại:

\chi^2 = \sum_i \frac{(O_i - E_i)^2}{E_i}

mà ngày nay giới khoa học gọi là công thức “khi bình phương của Pearson” (Pearson’s Chi-squared).

Vậy \chi^2 nói gì và vì sao nó vĩ đại?

Trước tiên đó là một số đo khoảng cách giữa một tập các đại lượng đếm O_i quan sát được trong một khảo sát hay thí nghiệm, với một tập tương ứng các số đếm được E_i được kỳ vọng sẽ xuất hiện dưới một “giả thiết thống kê” nào đó (theo chủ quan của nhà nghiên cứu) về đối tượng là chính bản thân kết quả khảo sát hay thí nghiệm.

Cho tới tận cuối thế kỷ 20, tức là cả trăm năm sau khi Pearson đề xướng công thức này, Chi-squared liên tục nằm trong danh mục các công thức được sử dụng và công bố kết quả nhiều nhất của nhân loại, và năm trong tốp 100 phát hiện khoa học có tầm vóc quan trọng nhất của thế kỷ 20.

Để tìm hiểu, ta bắt đầu với việc ứng dụng thực tế. Một ví dụ là tung đồng xu để xác định chọn sân khi bắt đầu trận bóng đá, thì chất lượng đồng xu quan trọng. Giả sử tung 100 lần để xem đồng xu có cân hai mặt không (chất lượng đồng xu). Trong 100 lần tung thì 43 lần mặt ngửa, và 57 lần sấp.

Giả thiết ở đây là: Nếu đồng xu cân, thì về lý thuyết phải là 50:50.

Thế kết cục thực tế sau khi tung 100 lần có giúp kết luận rằng đồng xu này quá mất cân xứng không?

Đây chính là một ứng dụng rất tiêu biểu của công bức “khi bình phương Pearson” như lúc nãy ta đã mô tả.

Ta có 2 quan sát O_i là 43 và 57. Hai giá trị “giả thiết trong đầu” lý tưởng là E_i là 50 và 50. Vì thế ta tính ra số đo của Pearson là:

\chi^2 = \frac{(43-50)^2}{50} + \frac{(57-50)^2}{50} = 1.96

(* Lưu ý: Dấu chấm toán học trong series này ở đây là hệ Anh-Mỹ, như dấu phẩy của hệ Việt Nam – Pháp)

Sau này ta sẽ biết cách tra bảng hay sử dụng chương trình máy tính kiểu Excel để phát biểu rằng, 1.96 thực ra là giá trị khá bé, nhờ thế có thể thấy không có lý do đủ mạnh để tin rằng đồng xu bị lệch.

Nói vậy có nghĩa là không nên lo lắng về chất lượng của đồng xu sau thí nghiệm 100 phép thử tung xu này.

Nhưng rõ ràng, ta đã cho chìm xuồng mấy câu hỏi nguyên lý rất quan trọng: Làm thế nào mà Pearson đi đến được công thức quan trọng này? Câu trả lời là, ông ấy phải “đúc rút” ra nó từ các phương pháp thống kê ông đã biết, dĩ nhiên là vận dụng thiên tài và kỹ năng toán học của ông nữa.

Có thể bạn cho rằng câu hỏi kiểu này chỉ có các nhà lịch sử mới quan tâm. Tuy nhiên, hãy nghĩ thật kỹ xem chẳng có gì hiển nhiên trong các phát minh quan trọng, và việc ai đó đề xuất ra một lý thuyết, công thức hay tư tưởng nào đó rất đáng quan tâm, ít ra là về phương diện tư duy phương pháp luận.

Câu hỏi khác nữa, đáng quan tâm vô cùng là tại sao một người có năng lực tư duy lại phải sử dụng công thức đó? Trên thực tế, còn phát sinh ra nhiều công thức được triển khai ra từ công thức chi-squared Pearson này (\chi^2), mặc dù các dạng suy ra về toán học thì biểu diễn trông không hoàn toàn giống.

Thoạt tiên, câu hỏi này có vẻ hơi vô bổ, vì cần gì nhiều dạng biến thể khác nhau của \chi^2 chỉ để thuyết phục rằng công thức đó quan trọng và vĩ đại. Tuy nhiên tình hình lại khác. Lý do sâu xa chính là nghiên cứu các cách thức tư duy khác nhau trong quá trình chúng ta sử dụng cùng một phương pháp luận thống kê toán. Công thức \chi^2 của Pearson có vị trí đặc biệt trang trọng, và mỗi khi có thể hay cần thiết, ta sẽ nhắc lại điều này.

Khi gặp các tình huống ứng dụng kiểu Pearson, với các dạng khác nhau, cách tiếp cận là từ từ suy ngẫm thật kỹ cho tới khi hiểu rõ chi tiết cách thức suy diễn và ứng dụng một công thức. Thường người nghiên cứu sẽ đóng tài liệu lại, tự mình triển khai lại logic theo cách hiểu, để đi đến cùng một kết quả đã được chứng minh.

Sau bước này thì tìm kiếm những bài tập hay ví dụ liên quan để tiếp tục giải và hình thành tư duy đầy đủ hơn. Thậm chí có thể tìm tòi cả những cách khác để hiểu cùng một vấn đề. Đôi khi có thể thử tự triển khai để rút ra được các hệ thức toán học khác liên quan mà tự mình thấy đáng quan tâm. Khi làm những bước này, hiểu biết sẽ được củng cố rất vững chắc.

Lúc này tiếp cận các kiến thức sâu và phức tạp hơn tiến đến gần khái niệm “thưởng thức” thay vì tra tấn.

Việc tự mình khám phá các biểu thức khai triển dù có ý nghĩa ngay lập tức hay không là bước tiến quan trọng. Đây là cách phát triển tư duy độc lập. Các nhà thống kê toán cũng phải làm tương tự: Chẳng ai có sẵn câu trả lời cho một bài toán mới đặt ra cả. Ông Pearson cũng làm như vậy.

Ta xét ví dụ rằng, có rất nhiều bài toán dạng tương tự vấn đề Pearson vừa nêu có chung tính chất là tổng các đại lượng đếm ta quan sát được trong bài toán bằng tổng các kỳ vọng đại lượng đếm đó. Trong trường tung đồng xu là tổng 100. Đây không phải chuyện ngẫu nhiên. Khi ta quyết định kết luận đồng xu có cân hay không, ta đã chia đôi tổng biết trước của phép thử là 100 giữa hai khả năng khi đồng xu cân là sấp:ngửa ở tỷ lệ cân đối 50:50.

Phát biểu toán học của điều này là: \sum_i O_i=\sum_i E_i = n, trong đó n chỉ là ký hiệu tiện dụng thay cho một số tổng đại lượng đếm.

Ta sẽ chỉ ra rằng, công thức Pearson chi-squared sẽ rút gọn thành một công thức đơn giản hơn trong trường hợp này. Trước tiên ta khai triển bình phương trên tử số:

\chi^2 = \sum_i \frac{(O_i - E_i)^2}{E_i} = \sum_i \frac{O^2_i - 2 O_i E_i +E^2_i}{E_i},

từ đây suy ra rằng:

\chi^2 = \sum_i \frac{O^2_i}{E_i} - 2 \sum_i O_i + \sum_i E_i= \sum_i \frac{O^2_i}{E_i} -n .

Đây là công thức rút gọn Pearson chi-squared, rất có tác dụng trong một số trường hợp đặc biệt. Các nhà thống kê cũng sử dụng, mặc dù dạng này ít khi trình bày trong các SGK thống kê.

Lúc trước, ta có nói sơ qua rằng có thể kết luận “thoáng” rằng 1.96 không phải là trị số lớn của chi-squared (\chi^2). Sao lại nói thế?

Đây lại chính là câu hỏi khó nhất mà chúng ta hiện chưa trả lời thỏa đáng ngay.

Để hiểu rõ con số này, chúng ta cần tìm hiểu sâu các tính chất toán học của đại lượng thống kê \chi^2. Phần lớn công việc của thống kê toán là phát triển các phương pháp thống kê giúp “tra tấn” số liệu, và tìm hiểu đặc tính của các phương pháp này, nhằm có đánh giá khoa học về tính hợp lý, khả năng ứng dụng thích hợp của các phương pháp.

Công việc này liên quan tới nhiều định đề, định lý, phát biểu và chứng minh. (Một chứng minh hoàn thành thường được kết thúc bằng cụm “QED” – viết tắt từ chữ La-tinh “quod erat demonstrandum” có nghĩa là “điều đã được chứng minh”.)

Ngày nay, với phát triển thần kỳ của máy tính và phần mềm, người ta vẫn nói có những phương pháp giải toán hay tìm hiểu bằng các phần mềm ứng dụng cao cấp dành cho toán học hay thống kê như C/C++, Matlab, Mathematica, hay MS Excel… thậm chí là các phần mềm ứng dụng sâu các bài toán hồi quy kinh tế lượng như EViews, Stata, Limdep, Rats… Nhưng trên thực tế, để phát triển năng lực tư duy thật sự, cần tạm gạt bỏ các ứng dụng máy tính này, và điều đáng làm hơn cả là tập trung trí lực để làm chủ các kiến thức nền tảng của thống kê toán. Đây là cách làm chung nhất và cơ bản, lâu bền không chỉ riêng với thống kê toán, mà cả các khoa học tính toán, tự nhiên khác.

Sự thật là với nhiều lĩnh vực học thuật, nghiên cứu, công việc của người tìm hiểu là tin vào lời giáo sư hay sách dạy bảo. Học sinh giỏi nhất là kẻ cả tin nhất. Ta cần tránh điều này với toán học và thống kê toán. Học sinh giỏi nhất là người hoài nghi nhất: Họ luôn tìm cách kiểm tra chất lượng và tính xác thực của một kết luận thu được từ bài giảng, giáo sư.

Nghiên cứu thống kê toán được ví như làm bánh ngọt. Chỉ đọc sách hướng dẫn mà tay không vấy toàn bột bánh là cách học sai lầm


* Bài trước: Thống kê toán (1) – Ý nghĩa đích thực (20-8-2011)


* Copyright © DHVP Research | Op-Economica, 20-8-2011

About these ads