Một bản phân phối bootstrap được xây dựng như thế nào?

Trong Chương 7, chúng tôi đã nghiên cứu lấy mẫu. Chúng tôi bắt đầu với một bài tập “xúc giác” trong đó chúng tôi muốn biết tỷ lệ các quả bóng trong bát lấy mẫu trong Hình 7. 1 màu đỏ. Mặc dù chúng tôi có thể đã thực hiện một phép đếm đầy đủ, nhưng đây sẽ là một quá trình tẻ nhạt. Vì vậy, thay vào đó, chúng tôi sử dụng xẻng để lấy mẫu gồm 50 quả bóng và sử dụng tỷ lệ kết quả có màu đỏ làm ước tính. Hơn nữa, chúng tôi đảm bảo trộn các chất trong bát trước mỗi lần sử dụng xẻng. Do sự ngẫu nhiên được tạo ra bởi sự pha trộn, các cách sử dụng xẻng khác nhau mang lại tỷ lệ màu đỏ khác nhau và do đó ước tính khác nhau về tỷ lệ các quả bóng màu đỏ trong bát

Sau đó, chúng tôi bắt chước bài tập lấy mẫu “xúc giác” này với bài tập lấy mẫu “ảo” tương đương được thực hiện trên máy tính. Sử dụng trình tạo số ngẫu nhiên của máy tính, chúng tôi đã nhanh chóng bắt chước quy trình lấy mẫu ở trên nhiều lần. Tại tiểu mục 7. 2, chúng tôi nhanh chóng lặp lại quy trình lấy mẫu này 1000 lần, sử dụng ba xẻng “ảo” khác nhau với 25, 50 và 100 rãnh. Chúng tôi đã trực quan hóa ba bộ 1000 ước tính này trong Hình 7. 15 và thấy rằng khi kích thước mẫu tăng lên, sự thay đổi trong các ước tính giảm

Khi làm như vậy, những gì chúng tôi đã làm là xây dựng các phân phối lấy mẫu. Động lực để lấy 1000 mẫu lặp lại và trực quan hóa các ước tính thu được là để nghiên cứu xem các ước tính này thay đổi như thế nào từ mẫu này sang mẫu khác; . Chúng tôi đã định lượng sự thay đổi của các ước tính này bằng cách sử dụng độ lệch chuẩn của chúng, có tên đặc biệt. lỗi tiêu chuẩn. Cụ thể, chúng tôi thấy rằng khi kích thước mẫu tăng từ 25 lên 50 lên 100, sai số chuẩn giảm và do đó, phân phối lấy mẫu bị thu hẹp. Kích thước mẫu lớn hơn dẫn đến các ước tính chính xác hơn ít thay đổi xung quanh trung tâm

Sau đó, chúng tôi gắn các bài tập lấy mẫu này với thuật ngữ và ký hiệu toán học liên quan đến lấy mẫu trong Tiểu mục 7. 3. 1. Dân số nghiên cứu của chúng tôi là chiếc bát lớn có \(N\) = 2400 quả bóng, trong khi tham số dân số, số lượng quan tâm chưa biết, là tỷ lệ dân số \(p\) của những quả bóng màu đỏ trong bát. Vì việc thực hiện điều tra dân số sẽ tốn kém về thời gian và năng lượng, thay vào đó, chúng tôi đã trích xuất một mẫu có kích thước \(n\) = 50. Ước tính điểm, còn được gọi là thống kê mẫu, được sử dụng để ước tính \(p\) là tỷ lệ mẫu \(\widehat{p}\) trong số 50 quả bóng được lấy mẫu này có màu đỏ. Hơn nữa, vì mẫu được lấy một cách ngẫu nhiên, nên nó có thể được coi là không thiên vị và đại diện cho tổng thể. Do đó, bất kỳ kết quả nào dựa trên mẫu có thể được khái quát hóa cho dân số. Do đó, tỷ lệ các quả bóng của xẻng có màu đỏ là một "dự đoán chính xác" về tỷ lệ các quả bóng có màu đỏ của bát. Nói cách khác, chúng tôi đã sử dụng mẫu để suy luận về dân số

Tuy nhiên, như được mô tả trong Phần 7. 2, cả bài tập lấy mẫu xúc giác và ảo đều không phải là những gì người ta sẽ làm trong đời thực; . Trong tình huống thực tế, chúng tôi sẽ không lấy 1000 mẫu có kích thước \(n\), mà lấy một mẫu đại diện duy nhất càng lớn càng tốt. Ngoài ra, chúng tôi biết rằng tỷ lệ thực sự của các quả bóng màu đỏ trong bát là 37. 5%. Trong một tình huống thực tế, chúng ta sẽ không biết giá trị này là gì. Bởi vì nếu chúng tôi đã làm, thì tại sao chúng tôi lại lấy một mẫu để ước tính nó?

Một ví dụ về tình huống lấy mẫu thực tế sẽ là một cuộc thăm dò ý kiến, giống như cuộc thăm dò ý kiến ​​của Obama mà bạn đã thấy trong Phần 7. 4. Những người thăm dò ý kiến ​​không biết tỷ lệ thực sự của tất cả thanh niên Mỹ ủng hộ Tổng thống Obama vào năm 2013 và do đó họ đã lấy một mẫu có kích thước \(n\) = 2089 thanh niên Mỹ để ước tính giá trị này

Vậy làm cách nào để định lượng tác động của biến thể lấy mẫu khi bạn chỉ có một mẫu duy nhất để làm việc? . Một phương pháp phổ biến để nghiên cứu điều này là lấy mẫu lại bootstrapping, đây sẽ là trọng tâm của các phần trước của chương này

Hơn nữa, điều gì sẽ xảy ra nếu chúng ta không chỉ muốn một ước tính duy nhất của tham số dân số chưa biết, mà cả một loạt các giá trị có tính hợp lý cao? . Nhưng ngoài ra, nó còn tuyên bố rằng “biên độ sai số của cuộc thăm dò là cộng hoặc trừ 2. 1 điểm phần trăm. ” “Phạm vi hợp lý” này là [41% - 2. 1%, 41% + 2. 1%] = [38. 9%, 43. 1%]. Phạm vi giá trị hợp lý này được gọi là khoảng tin cậy, sẽ là trọng tâm của các phần sau của chương này

gói cần thiết

Hãy tải tất cả các gói cần thiết cho chương này (điều này giả sử bạn đã cài đặt chúng). Nhớ lại từ cuộc thảo luận của chúng ta trong Phần 4. 4 tải gói

# A tibble: 1 × 1
  mean_year
      
1      1996
6 bằng cách chạy
# A tibble: 1 × 1
  mean_year
      
1      1996
7 tải tất cả các gói khoa học dữ liệu thường được sử dụng sau đây cùng một lúc

  • # A tibble: 1 × 1
      mean_year
          
    1      1996
    8 để trực quan hóa dữ liệu
  • # A tibble: 1 × 1
      mean_year
          
    1      1996
    9 để sắp xếp dữ liệu
  • # A tibble: 1,750 × 3
    # Groups:   name [35]
       replicate name     year
               
     1         1 Arianna  1988
     2         1 Arianna  2002
     3         1 Arianna  2015
     4         1 Arianna  1998
     5         1 Arianna  1979
     6         1 Arianna  1971
     7         1 Arianna  1971
     8         1 Arianna  2015
     9         1 Arianna  1988
    10         1 Arianna  1979
    # … with 1,740 more rows
    0 để chuyển đổi dữ liệu sang định dạng gọn gàng
  • # A tibble: 1,750 × 3
    # Groups:   name [35]
       replicate name     year
               
     1         1 Arianna  1988
     2         1 Arianna  2002
     3         1 Arianna  2015
     4         1 Arianna  1998
     5         1 Arianna  1979
     6         1 Arianna  1971
     7         1 Arianna  1971
     8         1 Arianna  2015
     9         1 Arianna  1988
    10         1 Arianna  1979
    # … with 1,740 more rows
    1 để nhập dữ liệu bảng tính vào R
  • Cũng như các gói
    # A tibble: 1,750 × 3
    # Groups:   name [35]
       replicate name     year
               
     1         1 Arianna  1988
     2         1 Arianna  2002
     3         1 Arianna  2015
     4         1 Arianna  1998
     5         1 Arianna  1979
     6         1 Arianna  1971
     7         1 Arianna  1971
     8         1 Arianna  2015
     9         1 Arianna  1988
    10         1 Arianna  1979
    # … with 1,740 more rows
    2,
    # A tibble: 1,750 × 3
    # Groups:   name [35]
       replicate name     year
               
     1         1 Arianna  1988
     2         1 Arianna  2002
     3         1 Arianna  2015
     4         1 Arianna  1998
     5         1 Arianna  1979
     6         1 Arianna  1971
     7         1 Arianna  1971
     8         1 Arianna  2015
     9         1 Arianna  1988
    10         1 Arianna  1979
    # … with 1,740 more rows
    3,
    # A tibble: 1,750 × 3
    # Groups:   name [35]
       replicate name     year
               
     1         1 Arianna  1988
     2         1 Arianna  2002
     3         1 Arianna  2015
     4         1 Arianna  1998
     5         1 Arianna  1979
     6         1 Arianna  1971
     7         1 Arianna  1971
     8         1 Arianna  2015
     9         1 Arianna  1988
    10         1 Arianna  1979
    # … with 1,740 more rows
    4 và
    # A tibble: 1,750 × 3
    # Groups:   name [35]
       replicate name     year
               
     1         1 Arianna  1988
     2         1 Arianna  2002
     3         1 Arianna  2015
     4         1 Arianna  1998
     5         1 Arianna  1979
     6         1 Arianna  1971
     7         1 Arianna  1971
     8         1 Arianna  2015
     9         1 Arianna  1988
    10         1 Arianna  1979
    # … with 1,740 more rows
    5 cao cấp hơn

Nếu cần, hãy đọc Phần 1. 3 để biết thông tin về cách cài đặt và tải các gói R

# A tibble: 1 × 1
  mean_year
      
1      1996
0

Như chúng ta đã làm trong Chương 7, chúng ta sẽ bắt đầu với hoạt động xúc giác thực hành

Hãy thử tưởng tượng tất cả các đồng xu được sử dụng ở Hoa Kỳ vào năm 2019. Đó là rất nhiều xu. Bây giờ giả sử chúng ta quan tâm đến năm đúc trung bình của tất cả những đồng xu này. Một cách để tính toán giá trị này là tập hợp tất cả các đồng xu đang được sử dụng ở Mỹ, ghi lại năm và tính giá trị trung bình. Tuy nhiên, điều này sẽ gần như không thể. Vì vậy, thay vào đó, hãy thu thập một mẫu gồm 50 đồng xu từ một ngân hàng địa phương ở trung tâm thành phố Northampton, Massachusetts, Hoa Kỳ như trong Hình 8. 1

Một bản phân phối bootstrap được xây dựng như thế nào?
Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 1. Thu thập một mẫu 50 đồng xu Mỹ từ một ngân hàng địa phương

Hình ảnh của 50 đồng xu này có thể được nhìn thấy trong Hình 8. 2. Đối với mỗi trong số 50 đồng xu bắt đầu ở trên cùng bên trái, tăng dần theo từng hàng và kết thúc ở dưới cùng bên phải, chúng tôi đã chỉ định một biến nhận dạng “ID” và đánh dấu năm đúc

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 2. 50 xu Mỹ được dán nhãn

Gói

# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
6 chứa dữ liệu này trên 50 đồng xu được lấy mẫu của chúng tôi trong khung dữ liệu
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7

# A tibble: 1 × 1
  mean_year
      
1      1996
3

Khung dữ liệu

# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7 có 50 hàng tương ứng với mỗi đồng xu có hai biến. Biến đầu tiên
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
9 tương ứng với các nhãn ID trong Hình 8. 2, trong khi biến thứ hai
# A tibble: 1 × 1
  mean_year
      
1      1996
300 tương ứng với năm đúc được lưu dưới dạng biến số, còn được gọi là biến kép (
# A tibble: 1 × 1
  mean_year
      
1      1996
301)

Dựa trên 50 đồng xu được lấy mẫu này, chúng ta có thể nói gì về tất cả các đồng xu của Hoa Kỳ vào năm 2019? . Trước tiên, hãy hình dung sự phân phối trong năm của 50 đồng xu này bằng cách sử dụng các công cụ trực quan hóa dữ liệu của chúng tôi từ Chương 2. Vì

# A tibble: 1 × 1
  mean_year
      
1      1996
300 là một biến số nên chúng tôi sử dụng biểu đồ trong Hình 8. 3 để hình dung phân phối của nó

# A tibble: 1 × 1
  mean_year
      
1      1996
9

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 3. Phân phối của năm trên 50 đồng xu Mỹ

Quan sát phân phối hơi lệch trái, vì hầu hết các đồng xu rơi vào khoảng từ năm 1980 đến 2010, chỉ có một số đồng xu cũ hơn năm 1970. Năm trung bình của 50 đồng xu được lấy mẫu là bao nhiêu? . Bây giờ chúng ta hãy tính toán chính xác giá trị này bằng cách sử dụng các công cụ sắp xếp dữ liệu của chúng ta ở Chương 3

# A tibble: 1 × 1
  mean_year
      
1      1996
0

# A tibble: 1 × 1
  mean_year
      
1      1996
1

Do đó, nếu chúng ta sẵn sàng giả định rằng

# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7 là một mẫu đại diện cho tất cả các đồng xu của Hoa Kỳ, thì một "dự đoán chính xác" về năm đúc trung bình của tất cả các đồng xu của Hoa Kỳ sẽ là năm 1995. 44. Nói cách khác, khoảng năm 1995. Tất cả điều này sẽ bắt đầu giống như những gì chúng ta đã làm trước đó trong Chương 7

Trong Chương 7, dân số nghiên cứu của chúng tôi là bát \(N\) = 2400 quả bóng. Tham số dân số của chúng tôi là tỷ lệ dân số của những quả bóng này có màu đỏ, được ký hiệu là \(p\). Để ước tính \(p\), chúng tôi đã lấy một mẫu gồm 50 quả bóng bằng xẻng. Sau đó, chúng tôi đã tính toán ước tính điểm có liên quan. tỷ lệ mẫu của 50 quả bóng này có màu đỏ, được biểu thị bằng toán học là \(\widehat{p}\)

Ở đây dân số của chúng tôi là \(N\) = bất kể số lượng đồng xu đang được sử dụng ở Hoa Kỳ, một giá trị mà chúng tôi không biết và có lẽ sẽ không bao giờ. Tham số dân số quan tâm bây giờ là năm trung bình dân số của tất cả các đồng xu này, một giá trị được biểu thị bằng toán học bằng chữ cái Hy Lạp \(\mu\) (phát âm là “mu”). Để ước tính \(\mu\), chúng tôi đã đến ngân hàng và lấy một mẫu gồm 50 đồng xu và tính toán ước tính điểm có liên quan. năm trung bình mẫu của 50 đồng xu này, được ký hiệu toán học bằng \(\overline{x}\) (phát âm là “x-bar”). Một ký hiệu thay thế và trực quan hơn cho giá trị trung bình mẫu là \(\widehat{\mu}\). Tuy nhiên, rất tiếc, điều này không được sử dụng phổ biến, vì vậy trong cuốn sách này, chúng tôi sẽ tuân theo quy ước và luôn biểu thị nghĩa mẫu là \(\overline{x}\)

Chúng tôi tóm tắt sự tương ứng giữa bài tập lấy mẫu cái bát trong Chương 7 và bài tập về đồng xu của chúng tôi trong Bảng 8. 1, là hai hàng đầu tiên của Bảng 7 đã thấy trước đó. 5

BẢNG 8. 1. Các tình huống lấy mẫu để suy luậnKịch bảnTham số dân sốKý hiệuƯớc tính điểmBiểu tượng1Tỷ lệ dân số\(p\)Tỷ lệ mẫu\(\widehat{p}\)2Trung bình dân số\(\mu\)Trung bình mẫu\(\overline{x}\) hoặc \(

Quay trở lại với 50 đồng xu được lấy mẫu của chúng tôi trong Hình 8. 2, ước tính điểm quan tâm là trung bình mẫu \(\overline{x}\) của năm 1995. 44. Số lượng này là ước tính của năm trung bình dân số của tất cả các đồng xu Hoa Kỳ \(\mu\)

Nhớ lại rằng chúng ta cũng đã thấy trong Chương 7 rằng các ước tính như vậy có xu hướng thay đổi mẫu. Ví dụ, trong mẫu cụ thể này trong Hình 8. 2, chúng tôi quan sát ba đồng xu với năm 1999. Nếu lấy mẫu 50 đồng xu khác, liệu chúng ta có quan sát thấy chính xác ba đồng xu có năm 1999 không? . Chúng ta có thể không quan sát thấy, một, hai hoặc thậm chí có thể là tất cả 50. Điều tương tự cũng có thể xảy ra đối với 26 năm duy nhất khác được thể hiện trong mẫu 50 đồng xu của chúng tôi

Để nghiên cứu tác động của sự thay đổi mẫu trong Chương 7, chúng tôi đã lấy nhiều mẫu, điều mà chúng tôi có thể dễ dàng thực hiện với xẻng của mình. Tuy nhiên, trong trường hợp của chúng tôi với đồng xu, làm thế nào chúng tôi có được một mẫu khác?

Tuy nhiên, giả sử chúng tôi cảm thấy lười biếng và không muốn quay lại ngân hàng. Làm cách nào chúng ta có thể nghiên cứu tác động của biến thể lấy mẫu bằng cách sử dụng mẫu đơn của chúng ta?

Bước 1. Hãy in ra những tờ giấy có kích thước giống hệt nhau đại diện cho 50 đồng xu của chúng ta như trong Hình 8. 4

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 4. Bước 1. 50 tờ giấy tượng trưng cho 50 đồng xu Mỹ

Bước 2. Đặt 50 mảnh giấy vào một chiếc mũ hoặc vải tuque như trong Hình 8. 5

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 5. Bước 2. Bỏ 50 mảnh giấy vào chiếc mũ

Bước 3. Trộn các thứ bên trong mũ và rút ngẫu nhiên một tờ giấy như trong Hình 8. 6. Ghi lại năm

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 6. Bước 3. Vẽ ngẫu nhiên một tờ giấy

Bước 4. Đặt mảnh giấy trở lại trong mũ. Nói cách khác, thay thế nó như trong Hình 8. 7

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 7. Bước 4. Thay thế tờ giấy

Bước 5. Lặp lại các bước 3 và 4 tổng cộng 49 lần nữa, kết quả là 50 năm được ghi lại

Những gì chúng tôi vừa thực hiện là lấy mẫu lại mẫu ban đầu gồm 50 đồng xu. Chúng tôi không lấy mẫu 50 đồng xu từ dân số của tất cả các đồng xu của Hoa Kỳ như chúng tôi đã làm trong chuyến đi đến ngân hàng. Thay vào đó, chúng tôi đang bắt chước hành động này bằng cách lấy mẫu lại 50 đồng xu từ mẫu 50 đồng xu ban đầu của chúng tôi

Bây giờ hãy tự hỏi, tại sao chúng ta lại đặt tờ giấy đã lấy mẫu lại vào chiếc mũ ở Bước 4? . Nói cách khác, việc thay thế các tờ giấy gây ra biến thể lấy mẫu

Chính xác hơn với thuật ngữ của chúng tôi, chúng tôi chỉ thực hiện lấy mẫu lại bằng cách thay thế từ mẫu ban đầu gồm 50 đồng xu. Nếu chúng tôi bỏ mảnh giấy ra khỏi mũ mỗi khi chúng tôi thực hiện Bước 4, đây sẽ là lấy mẫu lại mà không cần thay thế

Hãy nghiên cứu 50 đồng xu được lấy mẫu lại của chúng tôi thông qua phân tích dữ liệu khám phá. Trước tiên, hãy tải dữ liệu vào R bằng cách tạo thủ công khung dữ liệu

# A tibble: 1 × 1
  mean_year
      
1      1996
304 trong số 50 giá trị được lấy mẫu lại của chúng tôi. Chúng tôi sẽ làm điều này bằng cách sử dụng lệnh
# A tibble: 1 × 1
  mean_year
      
1      1996
305 từ gói
# A tibble: 1 × 1
  mean_year
      
1      1996
9. Lưu ý rằng 50 giá trị bạn lấy mẫu lại gần như chắc chắn sẽ không giống với giá trị của chúng tôi do tính ngẫu nhiên vốn có

# A tibble: 1 × 1
  mean_year
      
1      1996
6

50 giá trị của

# A tibble: 1 × 1
  mean_year
      
1      1996
300 trong
# A tibble: 1 × 1
  mean_year
      
1      1996
304 đại diện cho một mẫu lại có kích thước 50 từ mẫu ban đầu gồm 50 đồng xu. Chúng tôi hiển thị 50 đồng xu được lấy mẫu lại trong Hình 8. 8

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 8. 50 đồng xu Mỹ được lấy mẫu lại được dán nhãn

Hãy so sánh phân phối của biến số

# A tibble: 1 × 1
  mean_year
      
1      1996
300 trong số 50 đồng xu được lấy mẫu lại của chúng tôi với phân phối của biến số
# A tibble: 1 × 1
  mean_year
      
1      1996
300 của mẫu ban đầu gồm 50 xu trong Hình 8. 9

# A tibble: 1 × 1
  mean_year
      
1      1996
1

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 9. So sánh

# A tibble: 1 × 1
  mean_year
      
1      1996
300 trong
# A tibble: 1 × 1
  mean_year
      
1      1996
304 được lấy mẫu lại với mẫu ban đầu
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7

Quan sát trên hình 8. 9 rằng mặc dù hình dạng chung của cả hai bản phân phối của

# A tibble: 1 × 1
  mean_year
      
1      1996
300 gần giống nhau, nhưng chúng không giống nhau

Nhớ lại từ phần trước rằng giá trị trung bình mẫu của mẫu ban đầu gồm 50 đồng xu từ ngân hàng là năm 1995. 44. Còn đối với mẫu lại của chúng tôi thì sao?

# A tibble: 1 × 1
  mean_year
      
1      1996
7

# A tibble: 1 × 1
  mean_year
      
1      1996

Chúng tôi thu được một năm trung bình khác năm 1996. Biến thể này được gây ra bởi việc lấy mẫu lại với sự thay thế mà chúng tôi đã thực hiện trước đó

Điều gì sẽ xảy ra nếu chúng ta lặp lại bài tập lấy mẫu lại này nhiều lần? . tổng cộng 35 người bạn

Mỗi người trong số 35 người bạn của chúng ta sẽ lặp lại năm bước giống nhau

  1. Bắt đầu với 50 tờ giấy có kích thước giống hệt nhau tượng trưng cho 50 đồng xu
  2. Xếp 50 mảnh giấy nhỏ thành mũ hoặc mũ len
  3. Trộn các thứ bên trong mũ và rút ngẫu nhiên một tờ giấy. Ghi lại năm trong một bảng tính
  4. Đặt lại tờ giấy vào mũ
  5. Lặp lại các bước 3 và 4 tổng cộng 49 lần nữa, kết quả là 50 năm được ghi lại

Vì chúng tôi có 35 người bạn thực hiện nhiệm vụ này nên chúng tôi đã kết thúc với các giá trị \(35 \cdot 50 = 1750\). Chúng tôi đã ghi lại các giá trị này trong một bảng tính được chia sẻ với 50 hàng (cộng với một hàng tiêu đề) và 35 cột. Chúng tôi hiển thị ảnh chụp nhanh của 10 hàng và năm cột đầu tiên của bảng tính được chia sẻ này trong Hình 8. 10

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 10. Ảnh chụp bảng tính được chia sẻ của các đồng xu được lấy mẫu lại

Để thuận tiện cho bạn, chúng tôi đã lấy 35 giá trị \(\cdot\) 50 = 1750 này và lưu chúng trong

# A tibble: 1 × 1
  mean_year
      
1      1996
317, một khung dữ liệu “gọn gàng” có trong gói
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
6. Chúng ta đã thấy ý nghĩa của việc khung dữ liệu trở nên “gọn gàng” trong Tiểu mục 4. 2. 1

# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows

Mỗi người trong số 35 người bạn của chúng ta đã đạt được điều gì trong năm trung bình? . Sau khi nhóm các hàng theo

# A tibble: 1 × 1
  mean_year
      
1      1996
320, chúng tôi tóm tắt từng nhóm gồm 50 hàng theo giá trị trung bình của chúng là
# A tibble: 1 × 1
  mean_year
      
1      1996
300

# A tibble: 1 × 1
  mean_year
      
1      1996
30

# A tibble: 1 × 1
  mean_year
      
1      1996
31

Quan sát rằng

# A tibble: 1 × 1
  mean_year
      
1      1996
322 có 35 hàng tương ứng với 35 phương tiện dựa trên 35 mẫu lại. Hơn nữa, quan sát sự thay đổi trong 35 giá trị trong biến
# A tibble: 1 × 1
  mean_year
      
1      1996
323. Hãy hình dung biến thể này bằng cách sử dụng biểu đồ trong Hình 8. 11. Nhớ lại rằng việc thêm đối số
# A tibble: 1 × 1
  mean_year
      
1      1996
324 vào
# A tibble: 1 × 1
  mean_year
      
1      1996
325 sẽ thiết lập cấu trúc thùng sao cho một trong các ranh giới thùng chính xác là năm 1990

# A tibble: 1 × 1
  mean_year
      
1      1996
32

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 11. Phân phối của 35 mẫu có nghĩa là từ 35 mẫu lại

Quan sát trên hình 8. 11 rằng phân phối có vẻ gần như bình thường và chúng tôi hiếm khi quan sát thấy các năm trung bình của mẫu nhỏ hơn 1992 hoặc lớn hơn 2000. Ngoài ra, hãy quan sát cách phân phối đại khái tập trung vào năm 1995, gần với giá trị trung bình mẫu của năm 1995. 44 của mẫu ban đầu gồm 50 đồng xu từ ngân hàng

Những gì chúng tôi vừa chứng minh trong hoạt động này là quy trình thống kê được gọi là lấy mẫu lại bootstrap có thay thế. Chúng tôi đã sử dụng lấy mẫu lại để bắt chước biến thể lấy mẫu mà chúng tôi đã nghiên cứu trong Chương 7 về lấy mẫu. Tuy nhiên, trong trường hợp này, chúng tôi chỉ sử dụng một mẫu duy nhất từ ​​dân số

Trên thực tế, biểu đồ của mẫu có nghĩa là từ 35 mẫu lại trong Hình 8. 11 được gọi là bản phân phối bootstrap. Nó gần đúng với phân phối lấy mẫu của giá trị trung bình mẫu, theo nghĩa là cả hai phân phối sẽ có hình dạng giống nhau và độ phân tán tương tự. Thực tế trong Phần 8 sắp tới. 7, chúng tôi sẽ cho bạn thấy rằng đây là trường hợp. Sử dụng phân phối bootstrap này, chúng tôi có thể nghiên cứu tác động của biến thể lấy mẫu đối với các ước tính của chúng tôi. Cụ thể, chúng ta sẽ nghiên cứu "lỗi" điển hình trong các ước tính của chúng tôi, được gọi là lỗi tiêu chuẩn

Trong Phần 8. 2, chúng tôi sẽ bắt chước hoạt động lấy mẫu lại xúc giác của mình hầu như trên máy tính, cho phép chúng tôi nhanh chóng thực hiện việc lấy lại mẫu hơn 35 lần. Trong Phần 8. 3, chúng ta sẽ xác định khái niệm thống kê về khoảng tin cậy, dựa trên khái niệm phân phối bootstrap

Trong Phần 8. 4, chúng ta sẽ xây dựng khoảng tin cậy bằng cách sử dụng gói

# A tibble: 1 × 1
  mean_year
      
1      1996
9, cũng như một gói mới. gói
# A tibble: 1 × 1
  mean_year
      
1      1996
327 cho suy luận thống kê “gọn gàng” và minh bạch. Chúng tôi sẽ giới thiệu khung suy luận thống kê “gọn gàng” là động lực cho đường dẫn gói
# A tibble: 1 × 1
  mean_year
      
1      1996
327. Gói
# A tibble: 1 × 1
  mean_year
      
1      1996
327 sẽ là gói thúc đẩy xuyên suốt phần còn lại của cuốn sách này

Như chúng ta đã làm trong Chương 7, chúng ta sẽ kết hợp tất cả những ý tưởng này với một nghiên cứu tình huống thực tế trong Phần 8. 6. Lần này chúng ta sẽ xem xét dữ liệu từ một thí nghiệm về ngáp từ chương trình truyền hình Hoa Kỳ Mythbusters

Bây giờ, hãy bắt chước hầu như hoạt động lấy mẫu lại xúc giác của chúng ta bằng máy tính

Trước tiên, hãy thực hiện tương tự ảo của việc lấy mẫu lại một lần. Nhớ lại rằng khung dữ liệu

# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7 có trong gói
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
6 chứa các năm của mẫu ban đầu của chúng tôi gồm 50 đồng xu từ ngân hàng. Ngoài ra, hãy nhớ lại trong Chương 7 về lấy mẫu mà chúng ta đã sử dụng hàm
# A tibble: 1 × 1
  mean_year
      
1      1996
332 như một cái xẻng ảo để lấy mẫu các quả bóng từ bát ảo gồm 2400 quả bóng của chúng tôi như sau

# A tibble: 1 × 1
  mean_year
      
1      1996
33

Hãy sửa đổi mã này để thực hiện lấy mẫu lại bằng cách thay thế 50 tờ giấy đại diện cho 50 đồng xu mẫu ban đầu của chúng tôi

# A tibble: 1 × 1
  mean_year
      
1      1996
34

Observe how we explicitly set the

# A tibble: 1 × 1
  mean_year
      
1      1996
333 argument to
# A tibble: 1 × 1
  mean_year
      
1      1996
334 in order to tell
# A tibble: 1 × 1
  mean_year
      
1      1996
332 that we would like to sample pennies with replacement. Nếu chúng ta không đặt
# A tibble: 1 × 1
  mean_year
      
1      1996
336, hàm sẽ lấy giá trị mặc định là
# A tibble: 1 × 1
  mean_year
      
1      1996
337 và do đó thực hiện lấy mẫu lại mà không cần thay thế. Ngoài ra, vì chúng ta không chỉ định số lượng bản sao thông qua đối số
# A tibble: 1 × 1
  mean_year
      
1      1996
338, nên hàm giả định giá trị mặc định của một bản sao
# A tibble: 1 × 1
  mean_year
      
1      1996
339. Cuối cùng, cũng quan sát rằng đối số
# A tibble: 1 × 1
  mean_year
      
1      1996
340 được đặt để khớp với cỡ mẫu ban đầu là 50 đồng xu

Hãy chỉ xem xét 10 trong số 50 hàng đầu tiên của

# A tibble: 1 × 1
  mean_year
      
1      1996
341

# A tibble: 1 × 1
  mean_year
      
1      1996
35

Biến

# A tibble: 1 × 1
  mean_year
      
1      1996
342 chỉ nhận giá trị 1 tương ứng với việc chúng ta chỉ có
# A tibble: 1 × 1
  mean_year
      
1      1996
339, biến
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
9 cho biết đồng xu nào trong số 50 đồng xu từ
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7 được lấy mẫu lại và
# A tibble: 1 × 1
  mean_year
      
1      1996
300 biểu thị năm đúc. Bây giờ, hãy tính giá trị trung bình của
# A tibble: 1 × 1
  mean_year
      
1      1996
300 trong mẫu thử lại ảo có kích thước 50 bằng cách sử dụng các hàm sắp xếp dữ liệu có trong gói
# A tibble: 1 × 1
  mean_year
      
1      1996
9

# A tibble: 1 × 1
  mean_year
      
1      1996
36

# A tibble: 1 × 1
  mean_year
      
1      1996
37

Như chúng ta đã thấy khi thực hiện bài tập lấy mẫu lại xúc giác, năm trung bình thu được khác với năm trung bình của 50 đồng xu được lấy mẫu ban đầu của chúng ta vào năm 1995. 44

Hãy bắt đầu phần này với một phép loại suy liên quan đến câu cá. Giả sử bạn đang cố bắt một con cá. Một mặt, bạn có thể sử dụng giáo, mặt khác, bạn có thể sử dụng lưới. Sử dụng lưới có thể sẽ cho phép bạn bắt được nhiều cá hơn

Bây giờ, hãy nghĩ lại bài tập về đồng xu của chúng ta khi bạn đang cố gắng ước tính dân số thực năm trung bình \(\mu\) của tất cả các đồng xu của Hoa Kỳ. Hãy coi giá trị của \(\mu\) như một con cá

On the one hand, we could use the appropriate point estimate/sample statistic to estimate \(\mu\), which we saw in Table 8. 1 là trung bình mẫu \(\overline{x}\). Dựa trên mẫu 50 xu từ ngân hàng của chúng tôi, giá trị trung bình của mẫu là năm 1995. 44. Think of using this value as “fishing with a spear. ”

“Chụp lưới bắt cá” tương ứng với điều gì? . 14 once more. Trong khoảng thời gian hai năm nào bạn sẽ nói rằng mẫu “hầu hết” có nghĩa là nói dối? . Think of this interval as the “net. ”

What we’ve just illustrated is the concept of a confidence interval, which we’ll abbreviate with “CI” throughout this book. Trái ngược với ước tính điểm/thống kê mẫu ước tính giá trị của một tham số tổng thể chưa biết với một giá trị duy nhất, khoảng tin cậy đưa ra những gì có thể được hiểu là một loạt các giá trị hợp lý. Quay trở lại phép loại suy của chúng ta, ước tính điểm/thống kê mẫu có thể được coi là giáo, trong khi khoảng tin cậy có thể được coi là lưới

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 15. So sánh sự khác biệt giữa ước tính điểm và khoảng tin cậy

Khoảng thời gian đề xuất của chúng tôi từ 1992 đến 2000 được xây dựng bằng mắt và do đó có phần chủ quan. Bây giờ chúng tôi giới thiệu hai phương pháp để xây dựng các khoảng như vậy một cách chính xác hơn. phương pháp phân vị và phương pháp lỗi tiêu chuẩn

Cả hai phương pháp xây dựng khoảng tin cậy đều có một số điểm chung. Đầu tiên, cả hai đều được xây dựng từ một bản phân phối bootstrap, như bạn đã xây dựng trong Tiểu mục 8. 2. 3 and visualized in Figure 8. 14

Thứ hai, cả hai đều yêu cầu bạn chỉ định mức độ tin cậy. Các mức độ tin cậy thường được sử dụng bao gồm 90%, 95% và 99%. All other things being equal, higher confidence levels correspond to wider confidence intervals, and lower confidence levels correspond to narrower confidence intervals. In this book, we’ll be mostly using 95% and hence constructing “95% confidence intervals for \(\mu\)” for our pennies activity

Một phương pháp để xây dựng khoảng tin cậy là sử dụng 95% giá trị giữa của phân phối bootstrap. We can do this by computing the 2. thứ 5 và 97. phần trăm thứ 5, tức là năm 1991. 059 và 1999. 283, respectively. Đây được gọi là phương pháp phân vị để xây dựng khoảng tin cậy

Hiện tại, chúng ta hãy chỉ tập trung vào các khái niệm đằng sau khoảng tin cậy được xây dựng theo phương pháp bách phân vị;

Hãy đánh dấu các phần trăm này trên bản phân phối bootstrap bằng các đường thẳng đứng trong Hình 8. 16. Khoảng 95% giá trị biến của

# A tibble: 1 × 1
  mean_year
      
1      1996
323 trong
# A tibble: 1 × 1
  mean_year
      
1      1996
350 rơi vào giữa năm 1991. 059 và 1999. 283, với 2. 5% ở bên trái của dòng ngoài cùng bên trái và 2. 5% to the right of the rightmost line

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 16. Phương pháp phần trăm Khoảng tin cậy 95%. Điểm cuối khoảng thời gian được đánh dấu bằng các đường thẳng đứng

Recall in Appendix A. 2, chúng ta thấy rằng nếu một biến số tuân theo phân phối chuẩn, hay nói cách khác, biểu đồ của biến này có dạng hình chuông, thì khoảng 95% giá trị nằm trong khoảng \(\pm\) 1. 96 độ lệch chuẩn của giá trị trung bình. Cho rằng phân phối bootstrap của chúng tôi dựa trên 1000 mẫu lại với sự thay thế trong Hình 8. 14 is normally shaped, let’s use this fact about normal distributions to construct a confidence interval in a different way

First, recall the bootstrap distribution has a mean equal to 1995. 36. Giá trị này gần như trùng khớp chính xác với giá trị trung bình mẫu \(\overline{x}\) của 50 đồng xu ban đầu của chúng tôi năm 1995. 44. Thứ hai, hãy tính độ lệch chuẩn của phân phối bootstrap bằng cách sử dụng các giá trị của

# A tibble: 1 × 1
  mean_year
      
1      1996
323 trong khung dữ liệu
# A tibble: 1 × 1
  mean_year
      
1      1996
350

# A tibble: 1 × 1
  mean_year
      
1      1996
38

# A tibble: 1 × 1
  mean_year
      
1      1996
39

What is this value? Recall that the bootstrap distribution is an approximation to the sampling distribution. Cũng cần nhắc lại rằng độ lệch chuẩn của phân phối lấy mẫu có một tên đặc biệt. lỗi tiêu chuẩn. Đặt hai sự thật này lại với nhau, chúng ta có thể nói rằng 2. 155 là giá trị gần đúng của sai số chuẩn của \(\overline{x}\)

Do đó, sử dụng quy tắc ngón tay cái 95% của chúng tôi về phân phối bình thường từ Phụ lục A. 2, chúng ta có thể sử dụng công thức sau để xác định điểm cuối dưới và trên của khoảng tin cậy 95% cho \(\mu\)

\[ \begin{aligned} \overline{x} \pm 1. 96 \cdot SE &= (\overline{x} - 1. 96 \cdot SE, \overline{x} + 1. 96 \cdot SE)\\ &= (1995. 44 - 1. 96 \cdot 2. 15, 1995. 44 + 1. 96 \cchấm 2. 15)\\ &= (1991. 15, 1999. 73) \end{aligned} \]

Bây giờ chúng ta hãy thêm khoảng tin cậy của phương pháp SE với các đường đứt nét trong Hình 8. 17

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 17. Comparing two 95% confidence interval methods

We see that both methods produce nearly identical 95% confidence intervals for \(\mu\) with the percentile method yielding \((1991. 06, 1999. 28)\) while the standard error method produces \((1991. 22, 1999. 66)\). However, recall that we can only use the standard error rule when the bootstrap distribution is roughly normally shaped

Now that we’ve introduced the concept of confidence intervals and laid out the intuition behind two methods for constructing them, let’s explore the code that allows us to construct them

(LC8. 3) What condition about the bootstrap distribution must be met for us to be able to construct confidence intervals using the standard error method?

(LC8. 4) Say we wanted to construct a 68% confidence interval instead of a 95% confidence interval for \(\mu\). Describe what changes are needed to make this happen. Hint. we suggest you look at Appendix A. 2 on the normal distribution

Nhớ lại quá trình lấy mẫu lại với thay thế mà chúng ta đã thực hiện thủ công trong Phần 8. 1 và hầu như trong Phần 8. 2 is known as bootstrapping. Thuật ngữ bootstrapping bắt nguồn từ thành ngữ “pulling yourself up by their bootstraps,” có nghĩa là “chỉ thành công bằng nỗ lực hoặc khả năng của chính mình. ”

From a statistical perspective, bootstrapping alludes to succeeding in being able to study the effects of sampling variation on estimates from the “effort” of a single sample. Or more precisely, it refers to constructing an approximation to the sampling distribution using only one sample

To perform this resampling with replacement virtually in Section 8. 2, chúng tôi đã sử dụng hàm

# A tibble: 1 × 1
  mean_year
      
1      1996
332, đảm bảo rằng kích thước của các mẫu lại khớp với kích thước mẫu ban đầu là 50. In this section, we’ll build off these ideas to construct confidence intervals using a new package. gói
# A tibble: 1 × 1
  mean_year
      
1      1996
327 cho suy luận thống kê “gọn gàng” và minh bạch

Recall that in Section 8. 2, we virtually performed bootstrap resampling with replacement to construct bootstrap distributions. Những phân phối như vậy gần đúng với phân phối lấy mẫu mà chúng ta đã thấy trong Chương 7, nhưng được xây dựng chỉ bằng một mẫu duy nhất. Let’s revisit the original workflow using the

# A tibble: 1 × 1
  mean_year
      
1      1996
355 pipe operator

First, we used the

# A tibble: 1 × 1
  mean_year
      
1      1996
332 function to resample
# A tibble: 1 × 1
  mean_year
      
1      1996
357 pennies with replacement from the original sample of 50 pennies in
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7 by setting
# A tibble: 1 × 1
  mean_year
      
1      1996
336. Furthermore, we repeated this resampling 1000 times by setting
# A tibble: 1 × 1
  mean_year
      
1      1996
360

# A tibble: 1 × 1
  mean_year
      
1      1996
90

Second, since for each of our 1000 resamples of size 50, we wanted to compute a separate sample mean, we used the

# A tibble: 1 × 1
  mean_year
      
1      1996
9 verb
# A tibble: 1 × 1
  mean_year
      
1      1996
362 to group observations/rows together by the
# A tibble: 1 × 1
  mean_year
      
1      1996
342 variable…

# A tibble: 1 × 1
  mean_year
      
1      1996
91

… tiếp theo là sử dụng

# A tibble: 1 × 1
  mean_year
      
1      1996
364 để tính toán mẫu
# A tibble: 1 × 1
  mean_year
      
1      1996
365 năm cho mỗi nhóm
# A tibble: 1 × 1
  mean_year
      
1      1996
342

# A tibble: 1 × 1
  mean_year
      
1      1996
92

For this simple case, we can get by with using the

# A tibble: 1 × 1
  mean_year
      
1      1996
332 function and a couple of
# A tibble: 1 × 1
  mean_year
      
1      1996
9 verbs to construct the bootstrap distribution. However, using only
# A tibble: 1 × 1
  mean_year
      
1      1996
9 verbs only provides us with a limited set of tools. Đối với những tình huống phức tạp hơn, chúng tôi sẽ cần thêm một chút hỏa lực. Hãy lặp lại điều này bằng cách sử dụng gói
# A tibble: 1 × 1
  mean_year
      
1      1996
327

The

# A tibble: 1 × 1
  mean_year
      
1      1996
327 package is an R package for statistical inference. Nó sử dụng hiệu quả toán tử đường ống
# A tibble: 1 × 1
  mean_year
      
1      1996
355 mà chúng tôi đã giới thiệu trong Phần 3. 1 to spell out the sequence of steps necessary to perform statistical inference in a “tidy” and transparent fashion. Furthermore, just as the
# A tibble: 1 × 1
  mean_year
      
1      1996
9 package provides functions with verb-like names to perform data wrangling, the
# A tibble: 1 × 1
  mean_year
      
1      1996
327 package provides functions with intuitive verb-like names to perform statistical inference

Let’s go back to our pennies. Previously, we computed the value of the sample mean \(\overline{x}\) using the

# A tibble: 1 × 1
  mean_year
      
1      1996
9 function
# A tibble: 1 × 1
  mean_year
      
1      1996
364

# A tibble: 1 × 1
  mean_year
      
1      1996
93

Chúng ta sẽ thấy rằng chúng ta cũng có thể làm điều này bằng cách sử dụng các hàm

# A tibble: 1 × 1
  mean_year
      
1      1996
327
# A tibble: 1 × 1
  mean_year
      
1      1996
378 và
# A tibble: 1 × 1
  mean_year
      
1      1996
379

# A tibble: 1 × 1
  mean_year
      
1      1996
94

You might be asking yourself. “Không phải mã

# A tibble: 1 × 1
  mean_year
      
1      1996
327 dài hơn sao? . While not immediately apparent, you’ll see that there are three chief benefits to the
# A tibble: 1 × 1
  mean_year
      
1      1996
327 workflow as opposed to the
# A tibble: 1 × 1
  mean_year
      
1      1996
9 workflow

Đầu tiên, các tên động từ

# A tibble: 1 × 1
  mean_year
      
1      1996
327 phù hợp hơn với khung lấy mẫu lại tổng thể mà bạn cần hiểu để xây dựng khoảng tin cậy và tiến hành kiểm định giả thuyết (trong Chương 9). Chúng ta sẽ thấy sơ đồ lưu đồ của khung này trong Hình 8 sắp tới. 23 và trong Chương 9 với Hình 9. 14

Thứ hai, bạn có thể nhảy qua lại liền mạch giữa khoảng tin cậy và thử nghiệm giả thuyết với những thay đổi tối thiểu đối với mã của bạn. Điều này sẽ trở nên rõ ràng trong Tiểu mục 9. 3. 2 khi chúng ta so sánh mã

# A tibble: 1 × 1
  mean_year
      
1      1996
327 cho cả hai phương pháp suy luận này

Thứ ba, quy trình làm việc của

# A tibble: 1 × 1
  mean_year
      
1      1996
327 sẽ đơn giản hơn nhiều để tiến hành suy luận khi bạn có nhiều hơn một biến. Chúng ta sẽ thấy hai tình huống như vậy. Đầu tiên chúng ta sẽ xem các tình huống suy luận hai mẫu trong đó dữ liệu mẫu được thu thập từ hai nhóm, chẳng hạn như trong Phần 8. 6 nơi chúng tôi nghiên cứu sự lây lan của cái ngáp và trong Phần 9. 1 nơi chúng tôi so sánh tỷ lệ khuyến mãi của hai nhóm tại các ngân hàng trong những năm 1970. Sau đó ở Tiết 10. 4, we’ll see situations of inference for regression using the regression models you fit in Chapter 5

Let’s now illustrate the sequence of verbs necessary to construct a confidence interval for \(\mu\), the population mean year of minting of all US pennies in 2019

1.
# A tibble: 1 × 1
  mean_year
      
1      1996
386 biến

HÌNH 8. 18. Sơ đồ của động từ spec()

Như thể hiện trong Hình 8. 18, hàm

# A tibble: 1 × 1
  mean_year
      
1      1996
378 được sử dụng để chọn biến nào trong khung dữ liệu sẽ là trọng tâm của suy luận thống kê của chúng tôi. Chúng tôi làm điều này bằng cách
# A tibble: 1 × 1
  mean_year
      
1      1996
386ing đối số
# A tibble: 1 × 1
  mean_year
      
1      1996
389. For example, in our
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
7 data frame of the 50 pennies sampled from the bank, the variable of interest is
# A tibble: 1 × 1
  mean_year
      
1      1996
300

# A tibble: 1 × 1
  mean_year
      
1      1996
95

# A tibble: 1 × 1
  mean_year
      
1      1996
96

Lưu ý cách bản thân dữ liệu không thay đổi, nhưng siêu dữ liệu

# A tibble: 1 × 1
  mean_year
      
1      1996
392 thì có. This is similar to how the
# A tibble: 1 × 1
  mean_year
      
1      1996
362 verb from
# A tibble: 1 × 1
  mean_year
      
1      1996
9 doesn’t change the data, but only adds “grouping” meta-data, as we saw in Section 3. 4

Chúng tôi cũng có thể chỉ định biến nào sẽ là trọng tâm của suy luận thống kê của chúng tôi bằng cách sử dụng

# A tibble: 1 × 1
  mean_year
      
1      1996
395. This is the same formula notation you saw in Chapters 5 and 6 on regression models. the response variable
# A tibble: 1 × 1
  mean_year
      
1      1996
396 is separated from the explanatory variable
# A tibble: 1 × 1
  mean_year
      
1      1996
397 by a
# A tibble: 1 × 1
  mean_year
      
1      1996
398 (“tilde”). The following use of
# A tibble: 1 × 1
  mean_year
      
1      1996
378 with the
# A tibble: 1 × 1
  mean_year
      
1      1996
900 argument yields the same result seen previously

# A tibble: 1 × 1
  mean_year
      
1      1996
97

Vì trong trường hợp đồng xu, chúng tôi chỉ có một biến phản hồi và không có biến giải thích quan tâm, chúng tôi đặt

# A tibble: 1 × 1
  mean_year
      
1      1996
397 ở phía bên tay phải của
# A tibble: 1 × 1
  mean_year
      
1      1996
398 là
# A tibble: 1 × 1
  mean_year
      
1      1996
903

While in the case of the pennies either specification works just fine, we’ll see examples later on where the

# A tibble: 1 × 1
  mean_year
      
1      1996
900 specification is simpler. Đặc biệt, điều này xuất hiện trong Phần 8 sắp tới. 6 về so sánh hai tỉ lệ và Tiết 10. 4 về suy luận hồi quy

3.
# A tibble: 1 × 1
  mean_year
      
1      1996
905 thống kê tóm tắt

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 20. Sơ đồ thống kê tóm tắt tính toán ()

Sau khi chúng tôi

# A tibble: 1 × 1
  mean_year
      
1      1996
906 nhiều bản sao của quá trình lấy mẫu lại bootstrap có thay thế, tiếp theo chúng tôi muốn tóm tắt từng mẫu trong số 1000 mẫu lại có kích thước 50 thành một giá trị thống kê mẫu duy nhất. As seen in the diagram, the
# A tibble: 1 × 1
  mean_year
      
1      1996
379 function does this

Trong trường hợp của chúng tôi, chúng tôi muốn tính giá trị trung bình của

# A tibble: 1 × 1
  mean_year
      
1      1996
300 cho mỗi mẫu khởi động lại có kích thước 50. To do so, we set the
# A tibble: 1 × 1
  mean_year
      
1      1996
909 argument to
# A tibble: 1 × 1
  mean_year
      
1      1996
910. Bạn cũng có thể đặt đối số
# A tibble: 1 × 1
  mean_year
      
1      1996
909 thành nhiều thống kê tóm tắt phổ biến khác, như
# A tibble: 1 × 1
  mean_year
      
1      1996
912,
# A tibble: 1 × 1
  mean_year
      
1      1996
913,
# A tibble: 1 × 1
  mean_year
      
1      1996
914 (độ lệch chuẩn) và
# A tibble: 1 × 1
  mean_year
      
1      1996
915 (tỷ lệ). Để xem danh sách tất cả các số liệu thống kê tóm tắt có thể có mà bạn có thể sử dụng, hãy nhập
# A tibble: 1 × 1
  mean_year
      
1      1996
916 và đọc tệp trợ giúp

Hãy lưu kết quả vào một khung dữ liệu có tên là

# A tibble: 1 × 1
  mean_year
      
1      1996
917 và khám phá nội dung của nó

# A tibble: 1 × 1
  mean_year
      
1      1996
98

# A tibble: 1 × 1
  mean_year
      
1      1996
99

Observe that the resulting data frame has 1000 rows and 2 columns corresponding to the 1000

# A tibble: 1 × 1
  mean_year
      
1      1996
342 values. It also has the mean year for each bootstrap resample saved in the variable
# A tibble: 1 × 1
  mean_year
      
1      1996
909

Comparing with original workflow. Tại thời điểm này, bạn có thể đã nhận ra rằng bước

# A tibble: 1 × 1
  mean_year
      
1      1996
379 trong quy trình làm việc
# A tibble: 1 × 1
  mean_year
      
1      1996
327 tạo ra kết quả giống như bước
# A tibble: 1 × 1
  mean_year
      
1      1996
922 trong quy trình làm việc ban đầu

# A tibble: 1 × 1
  mean_year
      
1      1996
00

4.
# A tibble: 1 × 1
  mean_year
      
1      1996
923 the results

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 21. Diagram of visualize() results

The

# A tibble: 1 × 1
  mean_year
      
1      1996
924 verb provides a quick way to visualize the bootstrap distribution as a histogram of the numerical
# A tibble: 1 × 1
  mean_year
      
1      1996
909 variable’s values. Đường dẫn của động từ chính
# A tibble: 1 × 1
  mean_year
      
1      1996
327 được sử dụng để khám phá kết quả phân phối bootstrap được hiển thị trong Hình 8. 21

# A tibble: 1 × 1
  mean_year
      
1      1996
01

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 22. Bootstrap distribution

Comparing with original workflow. Trên thực tế,

# A tibble: 1 × 1
  mean_year
      
1      1996
924 là hàm bao bọc cho hàm
# A tibble: 1 × 1
  mean_year
      
1      1996
928 sử dụng lớp
# A tibble: 1 × 1
  mean_year
      
1      1996
325. Recall that we illustrated the concept of a wrapper function in Figure 5. 5 in Subsection 5. 1. 2

# A tibble: 1 × 1
  mean_year
      
1      1996
02

The

# A tibble: 1 × 1
  mean_year
      
1      1996
924 function can take many other arguments which we’ll see momentarily to customize the plot further. It also works with helper functions to do the shading of the histogram values corresponding to the confidence interval values

Let’s recap the steps of the

# A tibble: 1 × 1
  mean_year
      
1      1996
327 workflow for constructing a bootstrap distribution and then visualizing it in Figure 8. 23

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 23. infer package workflow for confidence intervals

Recall how we introduced two different methods for constructing 95% confidence intervals for an unknown population parameter in Section 8. 3. the percentile method and the standard error method. Let’s now check out the

# A tibble: 1 × 1
  mean_year
      
1      1996
327 package code that explicitly constructs these. There are also some additional neat functions to visualize the resulting confidence intervals built-in to the
# A tibble: 1 × 1
  mean_year
      
1      1996
327 package

Recall the percentile method for constructing 95% confidence intervals we introduced in Subsection 8. 3. 1. Phương pháp này đặt điểm cuối thấp hơn của khoảng tin cậy ở mức 2. phân vị thứ 5 của phân phối bootstrap và tương tự đặt điểm cuối trên ở 97. 5th percentile. The resulting interval captures the middle 95% of the values of the sample mean in the bootstrap distribution

We can compute the 95% confidence interval by piping

# A tibble: 1 × 1
  mean_year
      
1      1996
917 into the
# A tibble: 1 × 1
  mean_year
      
1      1996
935 function from the
# A tibble: 1 × 1
  mean_year
      
1      1996
327 package, with the confidence
# A tibble: 1 × 1
  mean_year
      
1      1996
937 set to 0. 95 and the confidence interval
# A tibble: 1 × 1
  mean_year
      
1      1996
938 to be
# A tibble: 1 × 1
  mean_year
      
1      1996
939. Hãy lưu kết quả vào
# A tibble: 1 × 1
  mean_year
      
1      1996
940

# A tibble: 1 × 1
  mean_year
      
1      1996
03

# A tibble: 1 × 1
  mean_year
      
1      1996
04

Alternatively, we can visualize the interval (1991. 24, 1999. 42) by piping the

# A tibble: 1 × 1
  mean_year
      
1      1996
917 data frame into the
# A tibble: 1 × 1
  mean_year
      
1      1996
924 function and adding a
# A tibble: 1 × 1
  mean_year
      
1      1996
943 layer. We set the
# A tibble: 1 × 1
  mean_year
      
1      1996
944 argument to be
# A tibble: 1 × 1
  mean_year
      
1      1996
940

# A tibble: 1 × 1
  mean_year
      
1      1996
05

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 24. Percentile method 95% confidence interval shaded corresponding to potential values

Observe in Figure 8. 24 that 95% of the sample means stored in the

# A tibble: 1 × 1
  mean_year
      
1      1996
909 variable in
# A tibble: 1 × 1
  mean_year
      
1      1996
917 fall between the two endpoints marked with the darker lines, with 2. 5% of the sample means to the left of the shaded area and 2. 5% of the sample means to the right. Bạn cũng có tùy chọn để thay đổi màu của bóng bằng cách sử dụng các đối số
# A tibble: 1 × 1
  mean_year
      
1      1996
948 và
# A tibble: 1 × 1
  mean_year
      
1      1996
949

You can also use the shorter named function

# A tibble: 1 × 1
  mean_year
      
1      1996
950 and the results will be the same. This is for folks who don’t want to type out all of
# A tibble: 1 × 1
  mean_year
      
1      1996
951 and prefer to type out
# A tibble: 1 × 1
  mean_year
      
1      1996
952 instead. Try out the following code

# A tibble: 1 × 1
  mean_year
      
1      1996
06

Recall the standard error method for constructing 95% confidence intervals we introduced in Subsection 8. 3. 2. For any distribution that is normally shaped, roughly 95% of the values lie within two standard deviations of the mean. In the case of the bootstrap distribution, the standard deviation has a special name. lỗi tiêu chuẩn

So in our case, 95% of values of the bootstrap distribution will lie within \(\pm 1. 96\) standard errors of \(\overline{x}\). Do đó, khoảng tin cậy 95% là

\[\overline{x} \pm 1. 96 \cdot SE = (\overline{x} - 1. 96 \cdot SE, \, \overline{x} + 1. 96 \cdot SE). \]

Computation of the 95% confidence interval can once again be done by piping the

# A tibble: 1 × 1
  mean_year
      
1      1996
917 data frame we created into the
# A tibble: 1 × 1
  mean_year
      
1      1996
935 function. However, this time we set the first
# A tibble: 1 × 1
  mean_year
      
1      1996
938 argument to be
# A tibble: 1 × 1
  mean_year
      
1      1996
956. Second, we must specify the
# A tibble: 1 × 1
  mean_year
      
1      1996
957 argument in order to set the center of the confidence interval. Chúng tôi đặt giá trị này là giá trị trung bình mẫu của mẫu ban đầu gồm 50 xu năm 1995. 44 we saved in
# A tibble: 1 × 1
  mean_year
      
1      1996
958 earlier

# A tibble: 1 × 1
  mean_year
      
1      1996
07

# A tibble: 1 × 1
  mean_year
      
1      1996
08
# A tibble: 1 × 1
  mean_year
      
1      1996
09

If we would like to visualize the interval (1991. 35, 1999. 53), we can once again pipe the

# A tibble: 1 × 1
  mean_year
      
1      1996
917 data frame into the
# A tibble: 1 × 1
  mean_year
      
1      1996
924 function and add a
# A tibble: 1 × 1
  mean_year
      
1      1996
943 layer to our plot. We set the
# A tibble: 1 × 1
  mean_year
      
1      1996
944 argument to be
# A tibble: 1 × 1
  mean_year
      
1      1996
963. Có thể thấy phương pháp sai số chuẩn dựa trên khoảng tin cậy 95% cho \(\mu\) trong Hình 8. 25

# A tibble: 1 × 1
  mean_year
      
1      1996
10

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 25. Standard-error-method 95% confidence interval

As noted in Section 8. 3, both methods produce similar confidence intervals

  • Percentile method. (1991. 24, 1999. 42)
  • Phương pháp lỗi tiêu chuẩn. (1991. 35, 1999. 53)

(LC8. 5) Construct a 95% confidence interval for the median year of minting of all US pennies. Sử dụng phương pháp phân vị và, nếu phù hợp, sau đó sử dụng phương pháp sai số chuẩn

Now that we’ve shown you how to construct confidence intervals using a sample drawn from a population, let’s now focus on how to interpret their effectiveness. The effectiveness of a confidence interval is judged by whether or not it contains the true value of the population parameter. Going back to our fishing analogy in Section 8. 3, this is like asking, “Did our net capture the fish?”

So, for example, does our percentile-based confidence interval of (1991. 24, 1999. 42) “capture” the true mean year \(\mu\) of all US pennies? Alas, we’ll never know, because we don’t know what the true value of \(\mu\) is. Rốt cuộc, chúng tôi đang lấy mẫu để ước tính nó

In order to interpret a confidence interval’s effectiveness, we need to know what the value of the population parameter is. That way we can say whether or not a confidence interval “captured” this value

Let’s revisit our sampling bowl from Chapter 7. What proportion of the bowl’s 2400 balls are red? Let’s compute this

# A tibble: 1 × 1
  mean_year
      
1      1996
11

# A tibble: 1 × 1
  mean_year
      
1      1996
12

In this case, we know what the value of the population parameter is. we know that the population proportion \(p\) is 0. 375. In other words, we know that 37. 5% of the bowl’s balls are red

As we stated in Subsection 7. 3. 3, the sampling bowl exercise doesn’t really reflect how sampling is done in real life, but rather was an idealized activity. In real life, we won’t know what the true value of the population parameter is, hence the need for estimation

Bây giờ, hãy xây dựng khoảng tin cậy cho \(p\) bằng cách sử dụng mẫu của 33 nhóm bạn của chúng ta từ cái bát trong Chương 7. We’ll then see if the confidence intervals “captured” the true value of \(p\), which we know to be 37. 5%. That is to say, “Did the net capture the fish?”

Recall that we had 33 groups of friends each take samples of size 50 from the bowl and then compute the sample proportion of red balls \(\widehat{p}\). This resulted in 33 such estimates of \(p\). Let’s focus on Ilyas and Yohan’s sample, which is saved in the

# A tibble: 1 × 1
  mean_year
      
1      1996
964 data frame in the
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
6 package

# A tibble: 1 × 1
  mean_year
      
1      1996
13

They observed 21 red balls out of 50 and thus their sample proportion \(\widehat{p}\) was 21/50 = 0. 42 = 42%. Think of this as the “spear” from our fishing analogy

Let’s now follow the

# A tibble: 1 × 1
  mean_year
      
1      1996
327 package workflow from Subsection 8. 4. 2 to create a percentile-method-based 95% confidence interval for \(p\) using Ilyas and Yohan’s sample. Hãy coi đây là “mạng. ”

1.
# A tibble: 1 × 1
  mean_year
      
1      1996
386 biến

First, we

# A tibble: 1 × 1
  mean_year
      
1      1996
378 the
# A tibble: 1 × 1
  mean_year
      
1      1996
389 variable of interest
# A tibble: 1 × 1
  mean_year
      
1      1996
948

# A tibble: 1 × 1
  mean_year
      
1      1996
14

# A tibble: 1 × 1
  mean_year
      
1      1996
15

Whoops. We need to define which event is of interest. Quả bóng

# A tibble: 1 × 1
  mean_year
      
1      1996
971 hay
# A tibble: 1 × 1
  mean_year
      
1      1996
972?

# A tibble: 1 × 1
  mean_year
      
1      1996
16

# A tibble: 1 × 1
  mean_year
      
1      1996
17

3.
# A tibble: 1 × 1
  mean_year
      
1      1996
905 thống kê tóm tắt

Third, we summarize each of the 1000 resamples of size 50 with the proportion of successes. In other words, the proportion of the balls that are

# A tibble: 1 × 1
  mean_year
      
1      1996
974. We can set the summary statistic to be calculated as the proportion by setting the
# A tibble: 1 × 1
  mean_year
      
1      1996
909 argument to be
# A tibble: 1 × 1
  mean_year
      
1      1996
915. Let’s save the result as
# A tibble: 1 × 1
  mean_year
      
1      1996
979

# A tibble: 1 × 1
  mean_year
      
1      1996
18

# A tibble: 1 × 1
  mean_year
      
1      1996
19

Observe there are 1000 rows in this data frame and thus 1000 values of the variable

# A tibble: 1 × 1
  mean_year
      
1      1996
909. These 1000 values of
# A tibble: 1 × 1
  mean_year
      
1      1996
909 represent our 1000 replicated values of the proportion, each based on a different resample

4.
# A tibble: 1 × 1
  mean_year
      
1      1996
923 the results

Fourth and lastly, let’s compute the resulting 95% confidence interval

# A tibble: 1 × 1
  mean_year
      
1      1996
60

# A tibble: 1 × 1
  mean_year
      
1      1996
61

Let’s visualize the bootstrap distribution along with the

# A tibble: 1 × 1
  mean_year
      
1      1996
983 percentile-based 95% confidence interval for \(p\) in Figure 8. 26. We’ll adjust the number of bins to better see the resulting shape. Furthermore, we’ll add a dashed vertical line at Ilyas and Yohan’s observed \(\widehat{p}\) = 21/50 = 0. 42 = 42% sử dụng
# A tibble: 1 × 1
  mean_year
      
1      1996
984

# A tibble: 1 × 1
  mean_year
      
1      1996
62

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 26. phân phối bootstrap

Did Ilyas and Yohan’s net capture the fish? Did their 95% confidence interval for \(p\) based on their sample contain the true value of \(p\) of 0. 375? . 0. 375 is between the endpoints of their confidence interval (0. 3, 0. 56)

Tuy nhiên, mọi khoảng tin cậy 95% cho \(p\) có nắm bắt được giá trị này không? . 375 as well? Let’s see

Let’s first take a different sample from the bowl, this time using the computer as we did in Chapter 7

# A tibble: 1 × 1
  mean_year
      
1      1996
63

# A tibble: 1 × 1
  mean_year
      
1      1996
64

Let’s reapply the same

# A tibble: 1 × 1
  mean_year
      
1      1996
327 functions on
# A tibble: 1 × 1
  mean_year
      
1      1996
986 to generate a different 95% confidence interval for \(p\). Đầu tiên, chúng tôi tạo bản phân phối bootstrap mới và lưu kết quả vào
# A tibble: 1 × 1
  mean_year
      
1      1996
987

# A tibble: 1 × 1
  mean_year
      
1      1996
65

# A tibble: 1 × 1
  mean_year
      
1      1996
66

We once again compute a percentile-based 95% confidence interval for \(p\)

# A tibble: 1 × 1
  mean_year
      
1      1996
67

# A tibble: 1 × 1
  mean_year
      
1      1996
68

Does this new net capture the fish? In other words, does the 95% confidence interval for \(p\) based on the new sample contain the true value of \(p\) of 0. 375? Yes again. 0. 375 is between the endpoints of our confidence interval (0. 2, 0. 48)

Let’s now repeat this process 100 more times. we take 100 virtual samples from the bowl and construct 100 95% confidence intervals. Let’s visualize the results in Figure 8. 27 where

  1. We mark the true value of \(p = 0. 375\) with a vertical line
  2. We mark each of the 100 95% confidence intervals with horizontal lines. These are the “nets. ”
  3. The horizontal line is colored grey if the confidence interval “captures” the true value of \(p\) marked with the vertical line. Đường ngang có màu đen nếu không

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 27. Khoảng tin cậy 95% dựa trên phần trăm 100 cho \(p\)

Trong số 100 khoảng tin cậy 95%, 95 trong số chúng thu được giá trị thực \(p = 0. 375\), whereas 5 of them didn’t. In other words, 95 of our nets caught the fish, whereas 5 of our nets didn’t

This is where the “95% confidence level” we defined in Section 8. 3 comes into play. for every 100 95% confidence intervals, we expect that 95 of them will capture \(p\) and that five of them won’t

Note that “expect” is a probabilistic statement referring to a long-run average. In other words, for every 100 confidence intervals, we will observe about 95 confidence intervals that capture \(p\), but not necessarily exactly 95. In Figure 8. 27 for example, 95 of the confidence intervals capture \(p\)

To further accentuate our point about confidence levels, let’s generate a figure similar to Figure 8. 27, but this time constructing 80% standard-error method based confidence intervals instead. Let’s visualize the results in Figure 8. 28 with the scale on the x-axis being the same as in Figure 8. 27 to make comparison easy. Furthermore, since all standard-error method confidence intervals for \(p\) are centered at their respective point estimates \(\widehat{p}\), we mark this value on each line with dots

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 28. 100 khoảng tin cậy 80% dựa trên SE cho \(p\) với trung tâm ước tính điểm được đánh dấu bằng dấu chấm

Observe how the 80% confidence intervals are narrower than the 95% confidence intervals, reflecting our lower degree of confidence. Think of this as using a smaller “net. ” We’ll explore other determinants of confidence interval width in the upcoming Subsection 8. 5. 3

Furthermore, observe that of the 100 80% confidence intervals, 82 of them captured the population proportion \(p\) = 0. 375, whereas 18 of them did not. Since we lowered the confidence level from 95% to 80%, we now have a much larger number of confidence intervals that failed to “catch the fish. ”

Let’s return our attention to 95% confidence intervals. The precise and mathematically correct interpretation of a 95% confidence interval is a little long-winded

Precise interpretation. If we repeated our sampling procedure a large number of times, we expect about 95% of the resulting confidence intervals to capture the value of the population parameter

This is what we observed in Figure 8. 27. Our confidence interval construction procedure is 95% reliable. That is to say, we can expect our confidence intervals to include the true population parameter about 95% of the time

A common but incorrect interpretation is. “There is a 95% probability that the confidence interval contains \(p\). ” Looking at Figure 8. 27, each of the confidence intervals either does or doesn’t contain \(p\). Nói cách khác, xác suất là 1 hoặc 0

So if the 95% confidence level only relates to the reliability of the confidence interval construction procedure and not to a given confidence interval itself, what insight can be derived from a given confidence interval? For example, going back to the pennies example, we found that the percentile method 95% confidence interval for \(\mu\) was (1991. 24, 1999. 42), whereas the standard error method 95% confidence interval was (1991. 35, 1999. 53). What can be said about these two intervals?

Loosely speaking, we can think of these intervals as our “best guess” of a plausible range of values for the mean year \(\mu\) of all US pennies. For the rest of this book, we’ll use the following shorthand summary of the precise interpretation

Short-hand interpretation. We are 95% “confident” that a 95% confidence interval captures the value of the population parameter

We use quotation marks around “confident” to emphasize that while 95% relates to the reliability of our confidence interval construction procedure, ultimately a constructed confidence interval is our best guess of an interval that contains the population parameter. In other words, it’s our best net

Vì vậy, quay trở lại ví dụ về đồng xu của chúng tôi và tập trung vào phương pháp phần trăm, chúng tôi “tin tưởng” 95% rằng năm trung bình thực sự của đồng xu đang lưu hành vào năm 2019 nằm ở đâu đó giữa năm 1991. 24 và 1999. 42

Now that we know how to interpret confidence intervals, let’s go over some factors that determine their width

Impact of confidence level

Một yếu tố xác định độ rộng khoảng tin cậy là mức độ tin cậy được chỉ định trước. For example, in Figures 8. 27 and 8. 28, we compared the widths of 95% and 80% confidence intervals and observed that the 95% confidence intervals were wider. Việc định lượng mức độ tin cậy phải phù hợp với những gì nhiều người mong đợi về từ “tự tin. ” In order to be more confident in our best guess of a range of values, we need to widen the range of values

To elaborate on this, imagine we want to guess the forecasted high temperature in Seoul, South Korea on August 15th. Given Seoul’s temperate climate with four distinct seasons, we could say somewhat confidently that the high temperature would be between 50°F - 95°F (10°C - 35°C). However, if we wanted a temperature range we were absolutely confident about, we would need to widen it

We need this wider range to allow for the possibility of anomalous weather, like a freak cold spell or an extreme heat wave. So a range of temperatures we could be near certain about would be between 32°F - 110°F (0°C - 43°C). On the other hand, if we could tolerate being a little less confident, we could narrow this range to between 70°F - 85°F (21°C - 30°C)

Hãy xem lại bát lấy mẫu của chúng ta từ Chương 7. Let’s compare \(10 \cdot 3 = 30\) confidence intervals for \(p\) based on three different confidence levels. 80%, 95%, and 99%

Specifically, we’ll first take 30 different random samples of size \(n\) = 50 balls from the bowl. Sau đó, chúng tôi sẽ xây dựng 10 khoảng tin cậy dựa trên phần trăm bằng cách sử dụng từng mức trong số ba mức tin cậy khác nhau

Finally, we’ll compare the widths of these intervals. Chúng tôi hình dung các khoảng tin cậy kết quả trong Hình 8. 29 along with a vertical line marking the true value of \(p\) = 0. 375

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 29. Mười khoảng tin cậy 80, 95 và 99% cho \(p\) dựa trên \(n = 50\)

Observe that as the confidence level increases from 80% to 95% to 99%, the confidence intervals tend to get wider as seen in Table 8. 2 where we compare their average widths

BẢNG 8. 2. Chiều rộng trung bình của khoảng tin cậy 80, 95 và 99% Mức độ tin cậy Chiều rộng trung bình80%0. 16295%0. 26299%0. 338

Vì vậy để có độ tin cậy cao hơn thì khoảng tin cậy của chúng ta phải rộng hơn. Ideally, we would have both a high confidence level and narrow confidence intervals. However, we cannot have it both ways. Nếu chúng ta muốn tự tin hơn, chúng ta cần cho phép khoảng thời gian rộng hơn. Conversely, if we would like a narrow interval, we must tolerate a lower confidence level

The moral of the story is. Higher confidence levels tend to produce wider confidence intervals. When looking at Figure 8. 29 it is important to keep in mind that we kept the sample size fixed at \(n\) = 50. Thus, all \(10 \cdot 3 = 30\) random samples from the

# A tibble: 1 × 1
  mean_year
      
1      1996
988 had the same sample size. What happens if instead we took samples of different sizes? Recall that we did this in Subsection 7. 2 using virtual shovels with 25, 50, and 100 slots

Tác động của cỡ mẫu

This time, let’s fix the confidence level at 95%, but consider three different sample sizes for \(n\). 25, 50, and 100. Specifically, we’ll first take 10 different random samples of size 25, 10 different random samples of size 50, and 10 different random samples of size 100. We’ll then construct 95% percentile-based confidence intervals for each sample. Cuối cùng, chúng ta sẽ so sánh độ rộng của các khoảng này. We visualize the resulting 30 confidence intervals in Figure 8. 30. Note also the vertical line marking the true value of \(p\) = 0. 375

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 30. Ten 95% confidence intervals for \(p\) with \(n = 25, 50,\) and \(100\)

Observe that as the confidence intervals are constructed from larger and larger sample sizes, they tend to get narrower. Let’s compare the average widths in Table 8. 3

TABLE 8. 3. Average width of 95% confidence intervals based on \(n = 25\), \(50\), and \(100\)Sample sizeMean widthn = 250. 380n = 500. 268n = 1000. 189

The moral of the story is. Larger sample sizes tend to produce narrower confidence intervals. Recall that this was a key message in Subsection 7. 3. 3. As we used larger and larger shovels for our samples, the sample proportions red \(\widehat{p}\) tended to vary less. In other words, our estimates got more and more precise

Nhớ lại rằng chúng tôi đã hình dung những kết quả này trong Hình 7. 15, where we compared the sampling distributions for \(\widehat{p}\) based on samples of size \(n\) equal 25, 50, and 100. We also quantified the sampling variation of these sampling distributions using their standard deviation, which has that special name. the standard error. Vì vậy, khi kích thước mẫu tăng lên, sai số chuẩn giảm

In fact, the standard error is another related factor in determining confidence interval width. We’ll explore this fact in Subsection 8. 7. 2 when we discuss theory-based methods for constructing confidence intervals using mathematical formulas. Such methods are an alternative to the computer-based methods we’ve been using so far

Let’s apply our knowledge of confidence intervals to answer the question. “Is yawning contagious?”. If you see someone else yawn, are you more likely to yawn? In an episode of the US show Mythbusters, the hosts conducted an experiment to answer this question. The episode is available to view in the United States on the Discovery Network website here and more information about the episode is also available on IMDb

Fifty adult participants who thought they were being considered for an appearance on the show were interviewed by a show recruiter. In the interview, the recruiter either yawned or did not. Participants then sat by themselves in a large van and were asked to wait. While in the van, the Mythbusters team watched the participants using a hidden camera to see if they yawned. The data frame containing the results of their experiment is available in the

# A tibble: 1 × 1
  mean_year
      
1      1996
989 data frame included in the
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
6 package

# A tibble: 1 × 1
  mean_year
      
1      1996
69

The variables are

  • # A tibble: 1 × 1
      mean_year
          
    1      1996
    991. The participant ID with values 1 through 50
  • # A tibble: 1 × 1
      mean_year
          
    1      1996
    992. A binary treatment variable indicating whether the participant was exposed to yawning.
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    993 indicates the participant was exposed to yawning while
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    994 indicates the participant was not
  • # A tibble: 1 × 1
      mean_year
          
    1      1996
    995. A binary response variable indicating whether the participant ultimately yawned

Recall that you learned about treatment and response variables in Subsection 5. 3. 1 in our discussion on confounding variables

Hãy sử dụng một số sắp xếp dữ liệu để có được số lượng bốn kết quả có thể xảy ra

# A tibble: 1 × 1
  mean_year
      
1      1996
10

# A tibble: 1 × 1
  mean_year
      
1      1996
11

Let’s first focus on the

# A tibble: 1 × 1
  mean_year
      
1      1996
994 group participants who were not exposed to yawning. 12 such participants did not yawn, while 4 such participants did. So out of the 16 people who were not exposed to yawning, 4/16 = 0. 25 = 25% did yawn

Let’s now focus on the

# A tibble: 1 × 1
  mean_year
      
1      1996
993 group participants who were exposed to yawning where 24 such participants did not yawn, while 10 such participants did yawn. So out of the 34 people who were exposed to yawning, 10/34 = 0. 294 = 29. 4% did yawn. Comparing these two percentages, the participants who were exposed to yawning yawned 29. 4% - 25% = 4. 4% more often than those who were not

Let’s review the terminology and notation related to sampling we studied in Subsection 7. 3. 1. In Chapter 7 our study population was the bowl of \(N\) = 2400 balls. Our population parameter of interest was the population proportion of these balls that were red, denoted mathematically by \(p\). In order to estimate \(p\), we extracted a sample of 50 balls using the shovel and computed the relevant point estimate. the sample proportion that were red, denoted mathematically by \(\widehat{p}\)

Who is the study population here? All humans? All the people who watch the show Mythbusters? It’s hard to say. This question can only be answered if we know how the show’s hosts recruited participants. Nói cách khác, phương pháp lấy mẫu được Mythbusters sử dụng để tuyển người tham gia là gì? . Only for the purposes of this case study, however, we’ll assume that the 50 participants are a representative sample of all Americans given the popularity of this show. Thus, we’ll be assuming that any results of this experiment will generalize to all \(N\) = 327 million Americans (2018 population)

Just like with our sampling bowl, the population parameter here will involve proportions. Tuy nhiên, trong trường hợp này, đó sẽ là sự khác biệt về tỷ lệ dân số \(p_{seed} - p_{control}\), trong đó \(p_{seed}\) là tỷ lệ tất cả người Mỹ nếu tiếp xúc với ngáp sẽ tự ngáp . Correspondingly, the point estimate/sample statistic based the Mythbusters’ sample of participants will be the difference in sample proportions \(\widehat{p}_{seed} - \widehat{p}_{control}\). Let’s extend Table 7. 5 of scenarios of sampling for inference to include our latest scenario

TABLE 8. 4. Scenarios of sampling for inferenceScenarioPopulation parameterNotationPoint estimateSymbol(s)1Population proportion\(p\)Sample proportion\(\widehat{p}\)2Population mean\(\mu\)Sample mean\(\overline{x}\) or \(\widehat{\mu}\)3Difference in population proportions\(p_1 - p_2\)Difference in sample proportions\(\widehat{p}_1 - \widehat{p}_2\)

Đây được gọi là tình huống suy luận hai mẫu vì chúng ta có hai mẫu riêng biệt. Based on their two-samples of size \(n_{seed}\) = 34 and \(n_{control}\) = 16, the point estimate is

\[ \widehat{p}_{seed} - \widehat{p}_{control} = \frac{24}{34} - \frac{12}{16} = 0. 04411765 \approx 4. 4\% \]

However, say the Mythbusters repeated this experiment. In other words, say they recruited 50 new participants and exposed 34 of them to yawning and 16 not. Liệu họ có nhận được chính xác cùng một sự khác biệt ước tính là 4. 4%? Probably not, again, because of sampling variation

How does this sampling variation affect their estimate of 4. 4%? In other words, what would be a plausible range of values for this difference that accounts for this sampling variation? We can answer this question with confidence intervals. Hơn nữa, vì Mythbusters chỉ có một hai mẫu duy nhất gồm 50 người tham gia, nên họ sẽ phải xây dựng khoảng tin cậy 95% cho \(p_{seed} - p_{control}\) bằng cách sử dụng phương pháp lấy mẫu lại bootstrap có thay thế

We make a couple of important notes. First, for the comparison between the

# A tibble: 1 × 1
  mean_year
      
1      1996
993 and
# A tibble: 1 × 1
  mean_year
      
1      1996
994 groups to make sense, however, both groups need to be independent from each other. Otherwise, they could influence each other’s results. This means that a participant being selected for the
# A tibble: 1 × 1
  mean_year
      
1      1996
993 or
# A tibble: 1 × 1
  mean_year
      
1      1996
994 group has no influence on another participant being assigned to one of the two groups. As an example, if there were a mother and her child as participants in the study, they wouldn’t necessarily be in the same group. They would each be assigned randomly to one of the two groups of the explanatory variable

Second, the order of the subtraction in the difference doesn’t matter so long as you are consistent and tailor your interpretations accordingly. In other words, using a point estimate of \(\widehat{p}_{seed} - \widehat{p}_{control}\) or \(\widehat{p}_{control} - \widehat{p}_{seed}\) does not make a material difference, you just need to stay consistent and interpret your results accordingly

As we did in Subsection 8. 4. 2, let’s first construct the bootstrap distribution for \(\widehat{p}_{seed} - \widehat{p}_{control}\) and then use this to construct 95% confidence intervals for \(p_{seed} - p_{control}\). We’ll do this using the

# A tibble: 1 × 1
  mean_year
      
1      1996
327 workflow again. However, since the difference in proportions is a new scenario for inference, we’ll need to use some new arguments in the
# A tibble: 1 × 1
  mean_year
      
1      1996
327 functions along the way

1.
# A tibble: 1 × 1
  mean_year
      
1      1996
386 biến

Let’s take our

# A tibble: 1 × 1
  mean_year
      
1      1996
989 data frame and
# A tibble: 1 × 1
  mean_year
      
1      1996
378 which variables are of interest using the
# A tibble: 1 × 1
  mean_year
      
1      1996
007 formula interface where

  • Our response variable is
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    995. whether or not a participant yawned. It has levels
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    009 and
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    010
  • The explanatory variable is
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    992. người tham gia có bị ngáp hay không. Nó có các cấp độ
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    993 (tiếp xúc với ngáp) và
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    994 (không tiếp xúc với ngáp)

# A tibble: 1 × 1
  mean_year
      
1      1996
12

# A tibble: 1 × 1
  mean_year
      
1      1996
13

Alas, we got an error message similar to the one from Subsection 8. 5. 1.

# A tibble: 1 × 1
  mean_year
      
1      1996
327 is telling us that one of the levels of the categorical variable
# A tibble: 1 × 1
  mean_year
      
1      1996
995 needs to be defined as the
# A tibble: 1 × 1
  mean_year
      
1      1996
973. Recall that we define
# A tibble: 1 × 1
  mean_year
      
1      1996
973 to be the event of interest we are trying to count and compute proportions of. Are we interested in those participants who
# A tibble: 1 × 1
  mean_year
      
1      1996
009 yawned or those who
# A tibble: 1 × 1
  mean_year
      
1      1996
010 didn’t yawn? This isn’t clear to R or someone just picking up the code and results for the first time, so we need to set the
# A tibble: 1 × 1
  mean_year
      
1      1996
973 argument to
# A tibble: 1 × 1
  mean_year
      
1      1996
009 as follows to improve the transparency of the code

# A tibble: 1 × 1
  mean_year
      
1      1996
14

# A tibble: 1 × 1
  mean_year
      
1      1996
15

3.
# A tibble: 1 × 1
  mean_year
      
1      1996
905 thống kê tóm tắt

Sau khi chúng tôi

# A tibble: 1 × 1
  mean_year
      
1      1996
906 nhiều bản sao lấy mẫu lại bootstrap có thay thế, tiếp theo chúng tôi muốn tóm tắt các mẫu lấy lại bootstrap có kích thước 50 bằng một thống kê tóm tắt duy nhất, sự khác biệt về tỷ lệ. We do this by setting the
# A tibble: 1 × 1
  mean_year
      
1      1996
909 argument to
# A tibble: 1 × 1
  mean_year
      
1      1996
025

# A tibble: 1 × 1
  mean_year
      
1      1996
16

# A tibble: 1 × 1
  mean_year
      
1      1996
17

We see another error here. We need to specify the order of the subtraction. Is it \(\widehat{p}_{seed} - \widehat{p}_{control}\) or \(\widehat{p}_{control} - \widehat{p}_{seed}\). We specify it to be \(\widehat{p}_{seed} - \widehat{p}_{control}\) by setting

# A tibble: 1 × 1
  mean_year
      
1      1996
026. Note that you could’ve also set
# A tibble: 1 × 1
  mean_year
      
1      1996
027. As we stated earlier, the order of the subtraction does not matter, so long as you stay consistent throughout your analysis and tailor your interpretations accordingly

Let’s save the output in a data frame

# A tibble: 1 × 1
  mean_year
      
1      1996
028

# A tibble: 1 × 1
  mean_year
      
1      1996
18

# A tibble: 1 × 1
  mean_year
      
1      1996
19

Observe that the resulting data frame has 1000 rows and 2 columns corresponding to the 1000

# A tibble: 1 × 1
  mean_year
      
1      1996
342 ID’s and the 1000 differences in proportions for each bootstrap resample in
# A tibble: 1 × 1
  mean_year
      
1      1996
909

4.
# A tibble: 1 × 1
  mean_year
      
1      1996
923 the results

Trong Hình 8. 31 we

# A tibble: 1 × 1
  mean_year
      
1      1996
924 the resulting bootstrap resampling distribution. Let’s also add a vertical line at 0 by adding a
# A tibble: 1 × 1
  mean_year
      
1      1996
984 layer

# A tibble: 1 × 1
  mean_year
      
1      1996
70

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 31. Bootstrap distribution

First, let’s compute the 95% confidence interval for \(p_{seed} - p_{control}\) using the percentile method, in other words, by identifying the 2. 5th and 97. Phần trăm thứ 5 bao gồm 95% giá trị ở giữa. Recall that this method does not require the bootstrap distribution to be normally shaped

# A tibble: 1 × 1
  mean_year
      
1      1996
71

# A tibble: 1 × 1
  mean_year
      
1      1996
72

Second, since the bootstrap distribution is roughly bell-shaped, we can construct a confidence interval using the standard error method as well. Nhớ lại rằng để xây dựng khoảng tin cậy bằng phương pháp sai số chuẩn, chúng ta cần chỉ định tâm của khoảng bằng cách sử dụng đối số

# A tibble: 1 × 1
  mean_year
      
1      1996
957. In our case, we need to set it to be the difference in sample proportions of 4. 4% that the Mythbusters observed

We can also use the

# A tibble: 1 × 1
  mean_year
      
1      1996
327 workflow to compute this value by excluding the
# A tibble: 1 × 1
  mean_year
      
1      1996
906 1000 bootstrap replicates step. In other words, do not generate replicates, but rather use only the original sample data. We can achieve this by commenting out the
# A tibble: 1 × 1
  mean_year
      
1      1996
906 line, telling R to ignore it

# A tibble: 1 × 1
  mean_year
      
1      1996
73

# A tibble: 1 × 1
  mean_year
      
1      1996
74

We thus plug this value in as the

# A tibble: 1 × 1
  mean_year
      
1      1996
957 argument

# A tibble: 1 × 1
  mean_year
      
1      1996
75

# A tibble: 1 × 1
  mean_year
      
1      1996
08
# A tibble: 1 × 1
  mean_year
      
1      1996
77

Let’s visualize both confidence intervals in Figure 8. 32, with the percentile-method interval marked with black lines and the standard-error-method marked with grey lines. Quan sát rằng cả hai đều giống nhau

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 32. Two 95% confidence intervals. percentile method (black) and standard error method (grey)

Cho rằng cả hai khoảng tin cậy đều khá giống nhau, hãy tập trung diễn giải của chúng ta vào khoảng tin cậy của phương pháp phần trăm là (-0. 238, 0. 302). Recall from Subsection 8. 5. 2 that the precise statistical interpretation of a 95% confidence interval is. if this construction procedure is repeated 100 times, then we expect about 95 of the confidence intervals to capture the true value of \(p_{seed} - p_{control}\). Nói cách khác, nếu chúng tôi thu thập 100 mẫu \(n\) = 50 người tham gia từ một nhóm người tương tự và xây dựng 100 khoảng tin cậy cho mỗi khoảng tin cậy dựa trên từng mẫu trong số 100 mẫu, thì khoảng 95 trong số chúng sẽ chứa giá trị thực của \( . Given that this is a little long winded, we use the shorthand interpretation. we’re 95% “confident” that the true difference in proportions \(p_{seed} - p_{control}\) is between (-0. 238, 0. 302)

There is one value of particular interest that this 95% confidence interval contains. zero. Nếu \(p_{seed} - p_{control}\) bằng 0, thì sẽ không có sự khác biệt về tỷ lệ ngáp giữa hai nhóm. This would suggest that there is no associated effect of being exposed to a yawning recruiter on whether you yawn yourself

In our case, since the 95% confidence interval includes 0, we cannot conclusively say if either proportion is larger. Trong số 1000 mẫu khởi động lại của chúng tôi có thay thế, đôi khi \(\widehat{p}_{seed}\) cao hơn và do đó, những người tiếp xúc với ngáp sẽ ngáp thường xuyên hơn. At other times, the reverse happened

Say, on the other hand, the 95% confidence interval was entirely above zero. This would suggest that \(p_{seed} - p_{control} > 0\), or, in other words \(p_{seed} > p_{control}\), and thus we’d have evidence suggesting those exposed to yawning do yawn more often

Let’s talk more about the relationship between sampling distributions and bootstrap distributions

Recall back in Subsection 7. 2, we took 1000 virtual samples from the

# A tibble: 1 × 1
  mean_year
      
1      1996
988 using a virtual shovel, computed 1000 values of the sample proportion red \(\widehat{p}\), then visualized their distribution in a histogram. Recall that this distribution is called the sampling distribution of \(\widehat{p}\). Furthermore, the standard deviation of the sampling distribution has a special name. the standard error

We also mentioned that this sampling activity does not reflect how sampling is done in real life. Rather, it was an idealized version of sampling so that we could study the effects of sampling variation on estimates, like the proportion of the shovel’s balls that are red. Tuy nhiên, trong cuộc sống thực, người ta sẽ lấy một mẫu càng lớn càng tốt, giống như trong cuộc thăm dò ý kiến ​​của Obama mà chúng ta đã thấy trong Phần 7. 4. But how can we get a sense of the effect of sampling variation on estimates if we only have one sample and thus only one estimate? Don’t we need many samples and hence many estimates?

The workaround to having a single sample was to perform bootstrap resampling with replacement from the single sample. We did this in the resampling activity in Section 8. 1 where we focused on the mean year of minting of pennies. We used pieces of paper representing the original sample of 50 pennies from the bank and resampled them with replacement from a hat. Chúng tôi đã có 35 người bạn của mình thực hiện hoạt động này và trực quan hóa 35 mẫu kết quả có nghĩa là \(\overline{x}\) trong một biểu đồ trong Hình 8. 11

This distribution was called the bootstrap distribution of \(\overline{x}\). We stated at the time that the bootstrap distribution is an approximation to the sampling distribution of \(\overline{x}\) in the sense that both distributions will have a similar shape and similar spread. Thus the standard error of the bootstrap distribution can be used as an approximation to the standard error of the sampling distribution

Bây giờ hãy cho bạn thấy rằng đây là trường hợp so sánh hai loại phân phối này. Cụ thể, chúng ta sẽ so sánh

  1. the sampling distribution of \(\widehat{p}\) based on 1000 virtual samples from the
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    988 from Subsection 7. 2 to
  2. the bootstrap distribution of \(\widehat{p}\) based on 1000 virtual resamples with replacement from Ilyas and Yohan’s single sample
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    964 from Subsection 8. 5. 1

Sampling distribution

Here is the code you saw in Subsection 7. 2 to construct the sampling distribution of \(\widehat{p}\) shown again in Figure 8. 33, with some changes to incorporate the statistical terminology relating to sampling from Subsection 7. 3. 1

# A tibble: 1 × 1
  mean_year
      
1      1996
78

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 33. Previously seen sampling distribution of sample proportion red for \(n = 1000\)

An important thing to keep in mind is the default value for

# A tibble: 1 × 1
  mean_year
      
1      1996
333 is
# A tibble: 1 × 1
  mean_year
      
1      1996
337 when using
# A tibble: 1 × 1
  mean_year
      
1      1996
332. Điều này là do khi lấy mẫu 50 quả bóng bằng xẻng, chúng tôi đang lấy từng quả bóng một mà không thay thế chúng. This is in contrast to bootstrap resampling with replacement, where we resample a ball and put it back, and repeat this process 50 times

Let’s quantify the variability in this sampling distribution by calculating the standard deviation of the

# A tibble: 1 × 1
  mean_year
      
1      1996
045 variable representing 1000 values of the sample proportion \(\widehat{p}\). Hãy nhớ rằng độ lệch chuẩn của phân phối lấy mẫu là sai số chuẩn, thường được ký hiệu là
# A tibble: 1 × 1
  mean_year
      
1      1996
046

# A tibble: 1 × 1
  mean_year
      
1      1996
79

# A tibble: 1 × 1
  mean_year
      
1      1996
0

phân phối bootstrap

Here is the code you previously saw in Subsection 8. 5. 1 to construct the bootstrap distribution of \(\widehat{p}\) based on Ilyas and Yohan’s original sample of 50 balls saved in

# A tibble: 1 × 1
  mean_year
      
1      1996
964

# A tibble: 1 × 1
  mean_year
      
1      1996
1

Một bản phân phối bootstrap được xây dựng như thế nào?

FIGURE 8. 34. Bootstrap distribution of proportion red for \(n = 1000\)

# A tibble: 1 × 1
  mean_year
      
1      1996
2

# A tibble: 1 × 1
  mean_year
      
1      1996
3

Comparison

Bây giờ chúng ta đã tính toán cả phân phối lấy mẫu và phân phối bootstrap, hãy so sánh chúng cạnh nhau trong Hình 8. 35. We’ll make both histograms have matching scales on the x- and y-axes to make them more comparable. Hơn nữa, chúng tôi sẽ thêm

  1. To the sampling distribution on the top. a solid line denoting the proportion of the bowl’s balls that are red \(p\) = 0. 375
  2. To the bootstrap distribution on the bottom. một đường đứt nét ở tỷ lệ mẫu \(\widehat{p}\) = 21/50 = 0. 42 = 42% mà Ilyas và Yohan quan sát được

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 35. So sánh các bản phân phối lấy mẫu và bootstrap của \(\widehat{p}\)

Có rất nhiều điều đang diễn ra trong Hình 8. 35, vì vậy hãy từ từ chia nhỏ tất cả các so sánh. Trước tiên, hãy quan sát cách phân phối lấy mẫu ở trên được căn giữa tại \(p\) = 0. 375. Điều này là do việc lấy mẫu được thực hiện một cách ngẫu nhiên và không thiên vị. Vì vậy, các ước tính \(\widehat{p}\) được căn giữa ở giá trị thực của \(p\)

Tuy nhiên, đây không phải là trường hợp với bản phân phối bootstrap sau. Phân phối bootstrap có tâm là 0. 42, là tỷ lệ màu đỏ của 50 quả bóng lấy mẫu của Ilyas và Yohan. Điều này là do chúng tôi lấy mẫu lại từ cùng một mẫu nhiều lần. Vì phân phối bootstrap được căn giữa theo tỷ lệ của mẫu ban đầu, nên nó không nhất thiết cung cấp ước tính tốt hơn về \(p\) = 0. 375. Điều này dẫn chúng ta đến bài học đầu tiên về bootstrapping

Bản phân phối bootstrap có thể sẽ không có cùng tâm với bản phân phối lấy mẫu. Nói cách khác, bootstrapping không thể cải thiện chất lượng ước tính

Thứ hai, bây giờ chúng ta hãy so sánh mức chênh lệch của hai bản phân phối. chúng hơi giống nhau. Trong đoạn mã trước, chúng tôi cũng đã tính toán độ lệch chuẩn của cả hai bản phân phối. Nhớ lại rằng những hành vi lệch chuẩn như vậy có một cái tên đặc biệt. lỗi tiêu chuẩn. Hãy so sánh chúng trong Bảng 8. 5

BẢNG 8. 5. So sánh các lỗi tiêu chuẩnLoại phân phốiLỗi tiêu chuẩnPhân phối lấy mẫu0. 067Phân phối Bootstrap0. 071

Lưu ý rằng lỗi tiêu chuẩn của phân phối bootstrap là một xấp xỉ khá tốt với lỗi tiêu chuẩn của phân phối lấy mẫu. Điều này dẫn chúng ta đến bài học thứ hai về bootstrapping

Ngay cả khi bản phân phối bootstrap có thể không có cùng tâm với bản phân phối lấy mẫu, nó sẽ có hình dạng và trải rộng rất giống nhau. Nói cách khác, bootstrapping sẽ cung cấp cho bạn ước tính chính xác về lỗi tiêu chuẩn

Do đó, sử dụng thực tế là phân phối bootstrap và phân phối lấy mẫu có mức chênh lệch tương tự nhau, chúng ta có thể xây dựng khoảng tin cậy bằng cách sử dụng bootstrapping như chúng ta đã thực hiện trong suốt chương này

Cho đến giờ trong chương này, chúng ta đã xây dựng khoảng tin cậy bằng hai phương pháp. phương pháp phân vị và phương pháp lỗi tiêu chuẩn. Cũng nhắc lại từ Tiểu mục 8. 3. 2 mà chúng ta chỉ có thể sử dụng phương pháp lỗi tiêu chuẩn nếu bản phân phối bootstrap có dạng hình chuông (i. e. , phân phối chuẩn)

Tương tự, nếu phân phối lấy mẫu có dạng bình thường, thì có một phương pháp khác để xây dựng khoảng tin cậy mà không cần sử dụng máy tính của bạn. Bạn có thể sử dụng một phương pháp dựa trên lý thuyết liên quan đến các công thức toán học

Công thức sử dụng quy tắc ngón tay cái mà chúng ta đã thấy trong Phụ lục A. 2 rằng 95% giá trị trong phân phối chuẩn nằm trong \(\pm 1. 96\) độ lệch chuẩn của giá trị trung bình. Trong trường hợp lấy mẫu và phân phối bootstrap, hãy nhớ rằng độ lệch chuẩn có một tên đặc biệt. lỗi tiêu chuẩn. Nhắc lại thêm ở Tiểu mục 7. 6. 2 bạn đã thấy rằng có một công thức dựa trên lý thuyết để tính gần đúng sai số chuẩn cho tỷ lệ mẫu \(\widehat{p}\)

\[\text{SE}_{\widehat{p}} \approx \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}}\]

Nếu bạn đã quên thực tế này và những gì nó nói về mối quan hệ giữa “độ chính xác” của các ước tính và kích thước mẫu của bạn \(n\), chúng tôi thực sự khuyên bạn nên đọc lại Tiểu mục 7. 6. 2

Nhớ lại từ

# A tibble: 1 × 1
  mean_year
      
1      1996
964 rằng Yohan và Ilyas đã lấy mẫu quả bóng \(n = 50\) và quan sát tỷ lệ mẫu \(\widehat{p}\) là 21/50 = 0. 42. Do đó, một xấp xỉ lỗi tiêu chuẩn của \(\widehat{p}\) dựa trên mẫu của Yohan và Ilyas là

\[\text{SE}_{\widehat{p}} \approx \sqrt{\frac{0. 42(1-0. 42)}{50}} = \sqrt{0. 004872} = 0. 0698 \xấp xỉ 0. 070\]

Hãy so sánh sai số chuẩn dựa trên lý thuyết này với sai số chuẩn của việc lấy mẫu và phân phối bootstrap mà bạn đã tính toán trước đây trong Tiểu mục 8. 7. 1 trong Bảng 8. 6. Notice how they are all similar

TABLE 8. 6. Comparing standard errorsDistribution typeStandard errorSampling distribution0. 067Bootstrap distribution0. 071Formula approximation0. 070

Sử dụng sai số chuẩn dựa trên lý thuyết, hãy trình bày một phương pháp dựa trên lý thuyết để xây dựng khoảng tin cậy 95% không sử dụng máy tính mà sử dụng các công thức toán học. Lưu ý rằng phương pháp dựa trên lý thuyết này chỉ đúng nếu phân phối lấy mẫu có dạng bình thường, do đó chúng ta có thể sử dụng quy tắc 95% về phân phối chuẩn được thảo luận trong Phụ lục A. 2

  1. Thu thập một mẫu đại diện có kích thước \(n\) càng lớn càng tốt
  2. Compute the point estimate. the sample proportion \(\widehat{p}\). Hãy coi đây là trung tâm của “mạng. ”
  3. Compute the approximation to the standard error

\[\text{SE}_{\widehat{p}} \approx \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}}\]

  1. Compute a quantity known as the margin of error (more on this later after we list the five steps)

\[\text{MoE}_{\widehat{p}} = 1. 96 \cdot \text{SE}_{\widehat{p}} = 1. 96 \cdot \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}}\]

  1. Tính toán cả hai điểm cuối của khoảng tin cậy
    • The lower end-point. Hãy coi đây là điểm cuối bên trái của mạng. \[\widehat{p} - \text{MoE}_{\widehat{p}} = \widehat{p} - 1. 96 \cdot \text{SE}_{\widehat{p}} = \widehat{p} - 1. 96 \cdot \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}}\]

    • The upper endpoint. Think of this as the right end-point of the net. \[\widehat{p} + \text{MoE}_{\widehat{p}} = \widehat{p} + 1. 96 \cdot \text{SE}_{\widehat{p}} = \widehat{p} + 1. 96 \cdot \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}}\]

    • Ngoài ra, bạn có thể tóm tắt ngắn gọn khoảng tin cậy 95% cho \(p\) bằng ký hiệu \(\pm\)

    \[\widehat{p} \pm \text{MoE}_{\widehat{p}} = \widehat{p} \pm (1. 96 \cdot \text{SE}_{\widehat{p}}) = \widehat{p} \pm \left( 1. 96 \cdot \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}} \right)\]

Vì vậy, quay trở lại với mẫu quả bóng \(n = 50\) của Yohan và Ilyas có 21 quả bóng màu đỏ, khoảng tin cậy 95% cho \(p\) là

\[ \begin{aligned} 0. 41 \pm 1. 96 \cchấm 0. 0698 &= 0. 41 \, \ chiều \, 0. 137 \\ &= (0. 41 - 0. 137, \, 0. 41 + 0. 137) \\ &= (0. 273, \, 0. 547). \end{căn} \]

Yohan và Ilyas “tự tin” 95% rằng tỷ lệ màu đỏ thực sự của các quả bóng trong bát là từ 28. 3% và 55. 7%. Cho rằng tỷ lệ dân số thực \(p\) là 0. 375, trong trường hợp này họ đã bắt thành công con cá

Ở Bước 4, chúng tôi đã xác định một đại lượng thống kê được gọi là biên sai số. Bạn có thể coi số lượng này là bao nhiêu lưới mở rộng sang bên trái và bên phải của trung tâm mạng của chúng tôi. 1. Hệ số nhân 96 bắt nguồn từ quy tắc ngón tay cái 95% mà chúng tôi đã giới thiệu trước đó và thực tế là chúng tôi muốn mức độ tin cậy là 95%. Giá trị của biên sai số hoàn toàn quyết định độ rộng của khoảng tin cậy. Nhắc lại từ Tiểu mục 8. 5. 3 rằng độ rộng của khoảng tin cậy được xác định bởi sự tác động lẫn nhau của mức độ tin cậy, cỡ mẫu \(n\) và sai số chuẩn

Hãy cùng xem lại kết quả thăm dò ý kiến ​​về tỷ lệ ủng hộ Tổng thống Obama trong giới trẻ Mỹ độ tuổi 18-29 mà chúng tôi đã giới thiệu ở Phần 7. 4. Những người thăm dò ý kiến ​​nhận thấy rằng dựa trên một mẫu đại diện gồm \(n\) = 2089 thanh niên Mỹ, \(\widehat{p}\) = 0. 41 = 41% ủng hộ Tổng thống Obama

Nếu bạn nhìn về phía cuối bài báo, nó cũng nêu rõ. “Sai số của cuộc thăm dò là cộng hoặc trừ 2. 1 điểm phần trăm. ” Đây chính xác là \(\text{MoE}\)

\[ \begin{aligned} \text{MoE} &= 1. 96 \cdot \text{SE} = 1. 96 \cdot \sqrt{\frac{\widehat{p}(1-\widehat{p})}{n}} = 1. 96 \cdot \sqrt{\frac{0. 41(1-0. 41)}{2089}} \\ &= 1. 96 \cchấm 0. 0108 = 0. 021 = 2. 1\% \end{aligned} \]

Kết quả thăm dò ý kiến ​​của họ dựa trên mức độ tin cậy 95% và khoảng tin cậy 95% cho tỷ lệ tất cả thanh niên Mỹ ủng hộ Obama là

\[\widehat{p} \pm \text{MoE} = 0. 41 \pm 0. 021 = (0. 389, \, 0. 431) = (38. 9\%, \, 43. 1\%). \]

Khoảng tin cậy dựa trên 33 mẫu xúc giác

Hãy xem lại các mẫu của 33 người bạn của chúng ta từ

# A tibble: 1 × 1
  mean_year
      
1      1996
988 từ Tiểu mục 7. 1. 3. Chúng tôi sẽ sử dụng 33 mẫu của họ để xây dựng 33 khoảng tin cậy 95% dựa trên lý thuyết cho \(p\). Nhớ lại dữ liệu này đã được lưu trong khung dữ liệu
# A tibble: 1 × 1
  mean_year
      
1      1996
050 có trong gói
# A tibble: 1,750 × 3
# Groups:   name [35]
   replicate name     year
           
 1         1 Arianna  1988
 2         1 Arianna  2002
 3         1 Arianna  2015
 4         1 Arianna  1998
 5         1 Arianna  1979
 6         1 Arianna  1971
 7         1 Arianna  1971
 8         1 Arianna  2015
 9         1 Arianna  1988
10         1 Arianna  1979
# … with 1,740 more rows
6

  1. # A tibble: 1 × 1
      mean_year
          
    1      1996
    052 biến
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    045 đến
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    054, tên thống kê của tỷ lệ mẫu \(\widehat{p}\)
  2. # A tibble: 1 × 1
      mean_year
          
    1      1996
    055 một biến mới
    # A tibble: 1 × 1
      mean_year
          
    1      1996
    056 làm rõ cỡ mẫu là 50
  3. # A tibble: 1 × 1
      mean_year
          
    1      1996
    055 tính toán các biến mới khác
    • Lỗi tiêu chuẩn
      # A tibble: 1 × 1
        mean_year
            
      1      1996
      058 cho \(\widehat{p}\) sử dụng công thức trước đó
    • Biên độ sai số
      # A tibble: 1 × 1
        mean_year
            
      1      1996
      059 bằng cách nhân
      # A tibble: 1 × 1
        mean_year
            
      1      1996
      058 với 1. 96
    • Điểm cuối bên trái của khoảng tin cậy
      # A tibble: 1 × 1
        mean_year
            
      1      1996
      061
    • Điểm cuối bên phải của khoảng tin cậy
      # A tibble: 1 × 1
        mean_year
            
      1      1996
      062

# A tibble: 1 × 1
  mean_year
      
1      1996
4

# A tibble: 1 × 1
  mean_year
      
1      1996
5

Trong Hình 8. 36, hãy vẽ 33 khoảng tin cậy cho \(p\) được lưu trong

# A tibble: 1 × 1
  mean_year
      
1      1996
063 cùng với một đường thẳng đứng tại \(p\) = 0. 375 cho biết tỷ lệ thực sự của các quả bóng màu đỏ của
# A tibble: 1 × 1
  mean_year
      
1      1996
988. Hơn nữa, hãy đánh dấu các tỷ lệ mẫu \(\widehat{p}\) bằng các dấu chấm vì chúng đại diện cho tâm của các khoảng tin cậy này

Một bản phân phối bootstrap được xây dựng như thế nào?

HÌNH 8. 36. 33 khoảng tin cậy ở mức 95% dựa trên 33 mẫu xúc giác có kích thước \(n = 50\)

Quan sát rằng 31 trong số 33 khoảng tin cậy đã “bắt” được giá trị thực của \(p\), với tỷ lệ thành công là 31/33 = 93. 94%. Mặc dù tỷ lệ này không hoàn toàn là 95%, nhưng hãy nhớ rằng chúng tôi mong đợi khoảng 95% khoảng tin cậy như vậy sẽ nắm bắt được \(p\). Tỷ lệ thành công được quan sát thực tế sẽ thay đổi một chút

Các phương pháp dựa trên lý thuyết như thế này phần lớn đã được sử dụng trong quá khứ vì chúng tôi không có khả năng tính toán để thực hiện các phương pháp dựa trên mô phỏng như bootstrapping. Tuy nhiên, chúng vẫn được sử dụng phổ biến và nếu phân phối lấy mẫu là phân phối chuẩn, thì chúng ta có quyền truy cập vào một phương pháp thay thế để xây dựng khoảng tin cậy cũng như thực hiện các kiểm định giả thuyết như chúng ta sẽ thấy trong Chương 9

Loại suy luận thống kê dựa trên máy tính mà chúng ta đã thấy cho đến nay có một tên cụ thể trong lĩnh vực thống kê. suy luận dựa trên mô phỏng. Điều này là do chúng tôi đang thực hiện suy luận thống kê bằng mô phỏng máy tính. Theo chúng tôi, hai lợi ích lớn của các phương pháp dựa trên mô phỏng so với các phương pháp dựa trên lý thuyết là (1) chúng dễ hiểu hơn đối với những người mới làm quen với suy luận thống kê và (2) chúng cũng hoạt động trong các tình huống mà các phương pháp dựa trên lý thuyết và công thức toán học

Tệp tập lệnh R của tất cả mã R được sử dụng trong chương này có sẵn tại đây

Nếu bạn muốn có thêm ví dụ về quy trình làm việc của

# A tibble: 1 × 1
  mean_year
      
1      1996
327 để xây dựng khoảng tin cậy, chúng tôi khuyên bạn nên xem trang chủ của gói
# A tibble: 1 × 1
  mean_year
      
1      1996
327, cụ thể là một loạt các phân tích ví dụ có sẵn tại https. //suy luận. netlify. ứng dụng/bài viết/

Bây giờ chúng ta đã tự trang bị cho mình khoảng tin cậy, trong Chương 9, chúng ta sẽ đề cập đến công cụ phổ biến khác để suy luận thống kê. thử nghiệm giả thuyết. Cũng giống như khoảng tin cậy, các kiểm định giả thuyết được sử dụng để suy luận về tổng thể bằng cách sử dụng một mẫu. Tuy nhiên, chúng ta sẽ thấy rằng khuôn khổ để đưa ra những suy luận như vậy hơi khác một chút

Phân phối bootstrap là gì?

Bootstrapping là quy trình lấy mẫu lại sử dụng dữ liệu từ một mẫu để tạo phân phối lấy mẫu bằng cách lấy lặp lại các mẫu ngẫu nhiên từ mẫu đã biết .

Các mẫu bootstrap được tạo như thế nào?

Bootstrapping là một loại lấy mẫu lại trong đó số lượng lớn các mẫu nhỏ hơn có cùng kích thước được lấy lặp lại, có thay thế, từ một mẫu ban đầu duy nhất. For example, let's say your sample was made up of ten numbers: 49, 34, 21, 18, 10, 8, 6, 5, 2, 1. You randomly draw three numbers 5, 1, and 49.

Các bước liên quan đến bootstrapping là gì?

Phương pháp Bootstrap .
Chọn một số mẫu bootstrap để thực hiện
Chọn cỡ mẫu
Đối với mỗi mẫu bootstrap. Vẽ một mẫu có thay thế với kích thước đã chọn. Tính thống kê trên mẫu
Tính giá trị trung bình của thống kê mẫu được tính toán

Bootstrapping là gì và nó được thực hiện như thế nào?

Bootstrapping mô tả tình huống trong đó một doanh nhân thành lập công ty với ít vốn, dựa vào tiền chứ không phải đầu tư bên ngoài . Một cá nhân được cho là đang tự khởi nghiệp khi họ cố gắng thành lập và xây dựng một công ty từ nguồn tài chính cá nhân hoặc doanh thu hoạt động của công ty mới.