1,000명이 답했으니 모두의 생각일까?

가상의 학교 전체 학생이 도서관 시간에 만족하는지 알고 싶다고 합시다. 알고 싶은 전체가 모집단입니다. 실제로 설문에 답한 학생들은 조사 자료를 구성합니다. 도서관 방문자에게만 QR 코드를 보여주면 방문하지 않는 학생은 응답할 기회를 얻기 어렵습니다.

응답자가 많아도 이런 경로의 문제는 남을 수 있습니다. 표본의 크기를 늘리는 것과 선택 과정의 치우침을 줄이는 것은 별개입니다. 큰 수는 자동으로 좋은 대표성을 보증하지 않습니다.

이용이 불편한 학생이 설문을 볼 기회가 적거나, 의견을 써도 달라지지 않을 것 같아 응답하지 않을 수 있습니다. 반대로 매우 만족하거나 불만이 큰 사람이 더 적극적으로 답할 수도 있습니다. 응답자는 전체에서 단순히 작아진 복사본이 아닐 수 있습니다.

무응답이 있다는 사실만으로 모든 조사가 무효가 되지는 않습니다. 조사 설계와 응답 현황, 보정 방법과 한계를 함께 읽어야 합니다. 독자는 응답률 하나에만 매달리기보다 누가 빠질 수 있었는지와 결과 해석에 어떤 영향을 주는지 확인할 수 있습니다.

“도서관이 조용하고 자료가 충분해 만족하나요?” 는 조용함과 자료의 충분함을 섞습니다. 조용하지만 원하는 책이 없는 학생은 답하기 어렵습니다. 각각을 나누어 물으면 무엇을 개선할지 더 분명해집니다.

“우리 학교의 훌륭한 도서관에 만족하나요?” 처럼 평가를 미리 넣는 표현도 피할 수 있습니다. 질문을 읽는 방식이 달라지면 같은 경험도 다른 응답으로 나타날 수 있습니다. 결과 숫자를 보기 전에 질문지를 읽는 이유입니다.

자발적 온라인 설문이라면 “학교 학생은 모두 이렇게 생각한다”보다 “이 경로로 응답한 학생 중 이런 의견이 나타났다”라고 쓰는 편이 정확합니다. 해석의 범위를 좁혀도 개선할 단서를 얻을 수 있습니다. 제한된 조사와 쓸모없는 조사는 같은 말이 아닙니다.

표본 오차와 선택 편향도 구분해야 합니다. 확률표집의 가정 아래 계산한 오차 범위가 모든 조사 경로의 편향을 해결하지 않습니다. 기술적인 숫자가 붙었다는 이유로 조사 설계의 질문을 건너뛰지 않습니다.