설문척도 만들기 입문: 이 질문에 몇 점을 줘야 하죠?

설문지를 처음 만든다면, 여기서부터

한림대학교 미디어스쿨 대학원 「커뮤니케이션조사방법론 II」 7주차, 2026년 10월 13일에 진행한 수업 자료입니다.

“나는 AI를 잘 쓴다”는 말에서 출발해, 무엇을 묻는 문항인지와 어떤 눈금으로 답을 받을지 직접 바꾸어 봅니다. 정답을 맞히는 활동과 정답 없이 응답 방식을 비교하는 활동을 구분합니다.

아래 읽기 자료에는 43장과 클릭 뒤에 나오는 선택별 해설·힌트를 모두 담았습니다. 직접 조작하려면 인터랙티브 슬라이드를 여세요. 슬라이드 이동은 좌우 방향키, 문항 선택과 응답 도구 조작은 마우스를 사용합니다.

여기서 만든 문항은 연습용 후보입니다. 검증된 척도나 실제 능력 검사로 사용할 수 없으며, 연구에 적용하려면 기존 도구 확인과 응답자 사전 점검이 필요합니다.

01. 이 질문에 몇 점을 줘야 하죠?

설문 문항과 응답 도구를 직접 바꿔 보는 방법론 실험실

방식을 고르고, 직접 답하고, 남은 숫자의 뜻을 따져 봅니다.

A/B/C는 도구·문항 선택. 실제 응답은 나타난 위젯에서 조작합니다.

02. 좋아하지만, 만들 자신은 없다면?

가상 강사 민서: AI는 좋아하지만, 초안을 만들 자신은 낮음

나는 생성형 AI를 좋아하고, 강의자료 초안을 잘 만들 수 있다.

응답 체험 · 정답 없음 · 1·3·5점만 골라 비교

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

A. 높은 점수 (5점)

응답 체험 · 정답 없음

“좋아하는 정도라면 5점이에요.”

호감에 맞춰 답하면 제작 자신감도 높다고 오해할 수 있습니다.

호감과 제작 자신감을 따로 물어봅니다.

B. 낮은 점수 (1점)

응답 체험 · 정답 없음

“초안을 만드는 건 아직 어려워요.”

자신감에 맞춰 답하면 AI를 좋아하지 않는다고 오해할 수 있습니다.

하나의 점수가 무엇을 뜻하는지 먼저 정합니다.

C. 가운데 점수 (3점)

응답 체험 · 정답 없음

“좋아하긴 하는데… 중간으로 할게요.”

3점은 둘 다 보통이라는 뜻일 수도, 두 판단 사이에서 타협한 답일 수도 있습니다.

응답자가 틀린 것이 아닙니다. 질문에 두 판단이 섞여 있습니다.

결론: 점수만으로 호감과 자신감을 구별할 수 없습니다. 다음 개념 구분을 거쳐, 이중질문 실험실에서 문항을 나눕니다.

03. “좋아한다”는 무엇을 재나요?

나는 생성형 AI를 활용하는 일이 좋다.

판별 문제 · 정답 1개 · A/B/C는 수업 답안

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

A. 호감

정답

“AI를 쓰는 일이 마음에 들어요.”

좋고 싫다는 평가를 묻습니다.

이 응답은 AI 활용에 대한 호감으로 해석합니다. 실력 점수가 아닙니다.

B. 사용 빈도

오답

“좋아하지만 이번 주에는 한 번도 안 썼어요.”

좋아하는 정도와 실제 사용 횟수는 다를 수 있습니다.

빈도를 묻고 싶다면 기간과 사용 횟수를 정합니다.

C. 제작 자신감

오답

“좋아해도 자료를 만들 자신은 없어요.”

기분이 좋다는 말만으로 일을 해낼 자신감을 알 수 없습니다.

할 수 있다고 믿는 구체적인 일을 물어봅니다.

04. “지난 7일 중 며칠”은 무엇을 재나요?

지난 7일 동안 강의 준비에 생성형 AI를 사용한 날은 며칠입니까?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

사용 일수 · 0–7일 중 정수로 응답 · 0일=사용 안 함, 7일=매일 사용 (동의 척도 아님)

A. 호감

오답

“좋아하지 않아도 업무 때문에 썼어요.”

사용 일수는 좋아하는 마음과 같지 않습니다.

호감은 별도 평가 문항으로 묻습니다.

B. 사용 빈도

정답

“7일 중 3일 사용했어요.”

기간과 셈의 단위가 정해진 사용 행동입니다.

3일이라는 사용 일수입니다. 3점의 동의나 실력으로 해석하지 않습니다.

C. 제작 자신감

오답

“매일 써도 매번 막혀요.”

많이 사용했다는 사실만으로 제작 자신감을 알 수 없습니다.

현재 특정 일을 할 수 있다고 믿는 정도를 따로 묻습니다.

05. “만들 수 있다”는 무엇을 재나요?

나는 생성형 AI에 요청하여 수업 주제에 맞는 설명 자료의 초안을 만들 수 있다.

판별 문제 · 정답 1개 · A/B/C는 수업 답안

0–10점 자신감 · 정수 11개 중 선택 · 0 전혀 할 수 없음 / 5 어느 정도 / 10 확실히 할 수 있음

A. 실제 제작 실력

오답

“할 수 있다고 생각했는데, 해보니 어려웠어요.”

설문은 자신의 믿음을 받았습니다. 실제 수행 결과를 관찰한 것은 아닙니다.

실력을 보려면 과제 수행과 평가 기준이 필요합니다.

B. 앞으로의 사용 계획

오답

“할 수는 있지만 다음 수업에는 안 쓸 거예요.”

할 수 있다는 믿음과 앞으로 하겠다는 계획은 다릅니다.

계획은 ‘앞으로 사용할 생각이다’처럼 별도로 묻습니다.

C. 제작 자신감

정답

“이 일은 내가 해낼 수 있다고 생각해요.”

특정 일을 수행할 수 있다는 믿음, 즉 자기효능감을 묻습니다.

예: 8점은 높은 수행 자신감입니다. 실제 능력 80점이라는 뜻이 아닙니다.

06. 문항과 응답 눈금이 함께 있어야 합니다.

문항은 묻는 문장, 응답 눈금은 답하는 방식입니다. 숫자를 붙였다고 검증된 척도가 되지는 않습니다.

• 호감 — 1–5점 동의 — 1 전혀 동의 안 함 ↔ 5 매우 동의함
• 사용 빈도 — 0–7일 — 지난 7일 중 사용한 날 수
• 제작 자신감 — 0–10점 — 0 전혀 할 수 없음 ↔ 10 확실히 할 수 있음

07. 커피 한 잔인데, 세 잔이 주문됐네요?

지금 주문할 음료 한 가지를 고르세요.

하나의 범주를 받는 입력 방식부터 직접 비교합니다.

A. 라디오 버튼

단일 선택 · 숫자는 범주 코드

아메리카노 / 라테 / 차

목적에 맞는 선택

하나를 고르면 이전 선택이 해제됩니다. 한 잔이라는 질문과 맞습니다.

빠르게 보이는 짧은 목록에 쓸 수 있습니다.

B. 체크박스

복수 선택 · 중복 응답 가능

아메리카노 / 라테 / 차

현재 목적과 맞지 않음

세 가지를 동시에 고를 수 있죠? 한 잔만 고르라는 질문과 설정이 충돌합니다.

단일 선택으로 바꾸거나 “마시고 싶은 것 모두”로 질문을 바꿉니다.

C. 드롭다운

단일 선택 · 펼쳐서 고르기

아메리카노 / 라테 / 차

목적에 맞는 선택

라디오와 같은 범주를 받지만 목록을 열어야 선택지가 보입니다.

선택지가 길면 유용합니다. 짧은 목록에는 라디오도 가능합니다.

차례로 살펴볼 힌트

• 라디오·체크박스·드롭다운은 화면 형식입니다. 그 자체가 측정 수준은 아닙니다.
• 아메리카노=1, 라테=2라도 라테가 두 배라는 뜻이 아닙니다.
• 질문이 “한 가지”인지 “해당하는 것 모두”인지부터 맞춥니다.

08. ChatGPT도 쓰고, Gemini도 쓰는데요?

지난 7일 사용한 생성형 AI 서비스를 모두 고르세요.

사용한 서비스 목록 · 서비스별 사용 여부

A. 라디오

하나만 선택

ChatGPT / Gemini / Claude / 사용 안 함

현재 목적과 맞지 않음

두 서비스를 쓴 사람도 하나만 남겨야 합니다. 사용한 서비스가 누락됩니다.

모두 고르는 체크박스로 바꿉니다.

B. 체크박스

복수 선택 · “사용 안 함”은 단독 선택

ChatGPT / Gemini / Claude / 사용 안 함

목적에 맞는 선택

서비스마다 사용 여부를 따로 남길 수 있습니다. “사용 안 함”은 다른 선택과 함께 고르지 않습니다.

기타 서비스를 직접 적는 선택지도 실제 조사에서 검토합니다.

C. 사용량 슬라이더

0 전혀 안 씀 ↔ 10 매우 많이 씀

입력 범위: 0–10 / 간격 1

현재 목적과 맞지 않음

정도를 움직일 수는 있지만, 어떤 서비스를 썼는지는 알 수 없습니다.

서비스 종류와 사용량을 별도 문항으로 받습니다.

차례로 살펴볼 힌트

• “모두”라고 써 놓고 하나만 고르게 하지 않았나요?
• 서비스별 0/1은 사용 여부 코드입니다. 선호 순위가 아닙니다.
• 여러 서비스와 “사용 안 함”을 동시에 받으면 응답이 모순됩니다.

09. 아이폰과 갤럭시 사이 1.7은 뭔가요?

현재 주로 쓰는 휴대폰 운영체제는 무엇입니까?

운영체제 한 범주 · A/B/C 입력 방식을 골라 직접 답하기

A. 슬라이더

1 iOS ↔ 2 Android ↔ 3 기타 · 소수 허용

입력 범위: 1–3 / 간격 0.1

현재 목적과 맞지 않음

1.7이라는 응답은 어떤 운영체제일까요? 범주 코드 사이에 연속량을 만든 셈입니다.

서로 다른 종류는 명확한 범주로 받습니다.

B. XY 격자

X 1–9 / Y 1–9 · 두 축 의미 미정

X=1

X=9

Y=1

Y=9

현재 목적과 맞지 않음

점을 찍어도 두 축이 무엇인지 정의되지 않았습니다. 좌표가 질문에 답하지 못합니다.

두 차원을 재는 목적이 없다면 XY를 쓰지 않습니다.

C. 라디오

단일 범주 · 해당 없음 별도

iOS / Android / 기타 / 휴대폰 사용 안 함

목적에 맞는 선택

운영체제를 한 범주로 기록할 수 있습니다. 코드의 평균은 운영체제의 평균이 아닙니다.

“주로 쓰는” 기준과 기타·미사용 범주를 둡니다.

차례로 살펴볼 힌트

• 응답 1.7을 연구자가 해석할 수 있나요?
• 좌표가 두 개 나온다고 정보가 두 배 좋아지는 것은 아닙니다.
• 이 목적에는 C가 적합합니다. 슬라이더 자체가 나쁜 도구라는 뜻은 아닙니다.

10. 지난 7일인데, 8일 썼다고요?

지난 7일 강의 준비에 AI를 사용한 날은 며칠입니까?

사용 일수 · 0–7일 정수

A. 범위 제한 없는 숫자

0 이상 일수 입력 · 상한 없음

입력 범위: 0–상한 없음 / 간격 1 / 일

현재 목적과 맞지 않음

8일도 입력됩니다. 문항의 기간과 입력 허용 범위가 맞지 않습니다.

최대 7일, 정수만 허용하도록 설정합니다.

B. 0–7일 슬라이더

0–7일 · 1일 단위

입력 범위: 0–7 / 간격 1 / 일

목적에 맞는 선택

기간과 단위가 맞습니다. 0일도 유효한 응답입니다.

움직이지 않은 상태를 자동으로 0일이나 중간값으로 저장하지 않습니다.

C. 0–7일 숫자 입력

0–7일 · 정수 입력

입력 범위: 0–7 / 간격 1 / 일

목적에 맞는 선택

숫자로 직접 답해도 같은 일수를 측정할 수 있습니다.

범위를 벗어난 값과 소수를 안내하고 다시 입력받습니다.

차례로 살펴볼 힌트

• 사용 횟수와 사용한 날 수는 다른 변수입니다.
• 0일을 빠뜨리면 미사용자가 답할 곳이 없습니다.
• 슬라이더와 숫자 입력 둘 다 가능합니다. 목적·범위·단위가 핵심입니다.

11. 같은 7점인데, A와 C는 반대일까요?

중국 공산당에 대한 태도를 어떻게 물을까요?

A: “싫다”에 동의 / C: 호오를 직접 평가 · 가상 응답

A. “싫다”에 7점 동의

“나는 중국 공산당이 싫다.” · 1 전혀 동의 안 함 ↔ 7 매우 동의함

1 전혀 아니다 / 2 아니다 / 3 약간 아니다 / 4 어느 쪽도 아니다 / 5 약간 그렇다 / 6 그렇다 / 7 매우 그렇다

조건을 확인할 선택

A의 7점은 “싫다”는 문장에 매우 동의한다는 뜻입니다. 1점은 “싫다는 말에 동의하지 않는다”이지, 반드시 “매우 좋아한다”는 뜻은 아닙니다.

C도 7개 숫자지만 질문과 점수 방향이 다릅니다. A의 1점을 C의 7점으로 바로 바꿀 수는 없습니다.

B. 예 / 아니요

싫다 / 싫지 않다 · 두 범주

싫다 / 싫지 않다

조건을 확인할 선택

고르기는 쉽지만 약간 싫음과 아주 싫음의 차이가 사라집니다. “싫지 않다”가 곧 좋아함도 아닙니다.

호오의 방향만 필요한지, 태도 강도도 필요한지 결정합니다.

C. 싫음 ↔ 좋음 직접 평가

“중국 공산당을 얼마나 싫어하거나 좋아합니까?” · 1 매우 싫음 ↔ 7 매우 좋음

1 매우 싫음 / 2 싫음 / 3 약간 싫음 / 4 좋지도 싫지도 않음 / 5 약간 좋음 / 6 좋음 / 7 매우 좋음 / 잘 모름 / 응답하고 싶지 않음

조건을 확인할 선택

C의 1점은 “매우 싫다”, 7점은 “매우 좋다”입니다. A와 대상은 같지만, 부정문 동의 대신 호오의 양쪽을 직접 묻습니다.

C가 항상 정답은 아닙니다. 측정 목적에 맞는 표현을 고르고, 모름·응답 거부는 중립과 구분합니다.

차례로 살펴볼 힌트

• A의 7점 = “싫다”는 문장에 매우 동의함. C의 7점 = 매우 좋음. 숫자는 같아도 방향이 반대입니다.
• A의 “싫지 않다”는 C의 “좋다”와 같을까요? 무관심이나 중립도 가능합니다. 단순 역코딩을 동등성 증거로 쓰지 않습니다.
• 중간 응답자가 없다고 단정할 수 없습니다. 극단에 몰린다는 이유만으로 7점이 틀리거나 2점이 정답이 되지는 않습니다.

12. 4점: 중립? 모르겠음? 말하기 싫음?

처음 듣는 “정책 Z”에 얼마나 동의합니까?

아무 정보가 없는 가상 응답자의 입장에서 골라 봅니다.

A. 7점 강제 선택

1 전혀 동의 안 함 ↔ 7 매우 동의함

1 전혀 아니다 / 2 아니다 / 3 약간 아니다 / 4 어느 쪽도 아니다 / 5 약간 그렇다 / 6 그렇다 / 7 매우 그렇다

현재 목적과 맞지 않음

모르는 사람에게도 숫자를 요구합니다. 4점에 모름이 섞이면 중립이라고 해석하기 어렵습니다.

중립과 잘 모름을 별도 범주로 구분합니다.

B. 모름을 별도 제공

1–7점 동의 + 잘 모름

1 전혀 동의 안 함 / 2 / 3 / 4 중립 / 5 / 6 / 7 매우 동의함 / 잘 모름

목적에 맞는 선택

잘 모름은 동의 정도 4점이나 0점이 아닙니다. 분석 때 별도 범주/결측 처리 규칙이 필요합니다.

먼저 정책 내용을 중립적으로 제공할 필요가 있는지도 검토합니다.

C. 중간값을 없애기

1 강하게 반대 / 2 반대 / 3 찬성 / 4 강하게 찬성

1 강하게 반대 / 2 반대 / 3 찬성 / 4 강하게 찬성

조건을 확인할 선택

중간을 없애면 의견이 생길까요? 정보 부족이 찬반 중 하나로 바뀌어 기록됩니다.

찬반 강제 선택이 연구 목적에 맞는지 먼저 정당화해야 합니다.

차례로 살펴볼 힌트

• 중립은 태도의 위치이고, 모름은 판단할 정보가 부족한 상태일 수 있습니다.
• 응답 거부와 해당 없음도 각각 다른 이유입니다.
• 중간값의 포함 여부에는 연구 목적과 응답자 검토가 필요합니다. 항상 넣거나 항상 빼는 법칙은 아닙니다.

13. 성별 한 문항으로 두 정보를 알 수 있을까요?

당신의 성별은 무엇입니까?

출생 시 기록과 현재 성별 정체성 · 필요하면 별도 문항으로 측정

A. 남자 / 여자

명목 범주 · 두 가지 선택

남자 / 여자

현재 목적과 맞지 않음

질문이 현재 정체성인지 출생 시 기록인지 불명확하고, 두 범주로 자신을 설명하지 않는 사람은 답하기 어렵습니다.

먼저 필요한 개념을 정하고 대상 집단에 맞게 선택지를 검토합니다.

B. “생물학적”을 붙이기

“당신의 생물학적 성별은 무엇입니까?” · 남 / 여

남 / 여

조건을 확인할 선택

이 단어만으로 출생 시 기록인지, 어떤 신체적 특성인지 명확해지지는 않습니다. 또한 현재의 성별 정체성까지 알 수는 없습니다.

출생 시 기록이 필요한 연구라면 “출생 시 기록된 성별”처럼 그 변수를 구체적으로 묻습니다.

C. 정체성을 별도로 묻기

별도 문항: “현재 스스로 인식하는 성별은 무엇입니까?”

남성 / 여성 / 논바이너리 / 다른 표현 사용 / 응답하고 싶지 않음

조건을 확인할 선택

C는 B를 대체하는 만능 정답이 아닙니다. 출생 시 기록과 현재 정체성이 모두 필요한 연구에서는 C 같은 문항을 따로 측정합니다.

두 응답은 서로 다른 변수로 저장합니다. 목적에 필요 없는 정보까지 반드시 수집하라는 뜻은 아닙니다.

차례로 살펴볼 힌트

• B로 현재의 성별 정체성까지 알 수 있을까요? 서로 다른 정보를 한 문항으로 대신 묻기 어렵습니다.
• 연구에 둘 다 필요하면 ① 출생 시 기록된 성별 ② 현재 성별 정체성을 별도 문항으로 묻습니다. C만 고르면 끝나는 문제가 아닙니다.
• 성적 지향도 또 다른 변수입니다. 연구 목적에 필요한 정보만 수집하고 문구·선택지를 응답자에게 사전 점검합니다.

14. 월 300만 원이면, 두 칸에 걸리는데요?

지난달 개인의 세전 소득은 얼마입니까?

소득 구간을 구분하기 · 가상 인물: 월 300만 원

A. 겹치는 구간

0–300 / 300–500 / 500 이상 · 만 원

0–300만 원 / 300–500만 원 / 500만 원 이상

현재 목적과 맞지 않음

300만 원이 첫째와 둘째 구간에 모두 들어갑니다. 500만 원도 경계가 겹칩니다.

한쪽은 “미만”, 다른 쪽은 “이상”으로 경계를 명확히 합니다.

B. 겹치지 않는 구간

0 이상 300 미만 / 300 이상 500 미만 / 500 이상

0 이상 300만 원 미만 / 300 이상 500만 원 미만 / 500만 원 이상 / 응답하고 싶지 않음

목적에 맞는 선택

300만 원은 둘째 구간 하나에만 해당합니다. 이 예시는 음수가 아닌 소득을 가정합니다.

실제 조사에서는 손실·무소득·모름·응답 거부 처리도 정의합니다.

C. 숫자로 직접 입력

만 원 단위 · 0 이상

입력 범위: 0–상한 없음 / 간격 1 / 만 원

조건을 확인할 선택

금액을 더 세밀하게 받을 수 있지만 기억 부담과 공개 부담이 커질 수 있습니다.

연구에 필요한 정밀도, 소득 정의, 응답 거부 방식을 정합니다.

차례로 살펴볼 힌트

• 범주는 서로 겹치지 않아야 한 응답이 두 칸에 들어가지 않습니다.
• 빠진 구간도 없어야 합니다. “기타”로 모든 설계 문제를 덮을 수는 없습니다.
• 개인/가구, 세전/세후, 월/연, 근로/전체 소득 중 무엇을 묻는지 적습니다.

15. 이 문항, 어떻게 손보면 좋을까요?

나는 생성형 AI를 좋아하고, AI로 강의자료 초안을 만들 수 있다.

판별 문제 · 정답 1개 · A/B/C는 수업 답안

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

A. 이대로 사용한다

오답

“좋아한다에는 5점, 만들 수 있다에는 1점인데요?”

한 번의 응답으로 두 판단을 함께 받으려 합니다.

호감과 제작 자신감을 각각 한 문항으로 나눕니다.

B. ‘나는 AI를 잘 쓴다’로 줄인다

오답

“자주 쓴다는 뜻인가요? 결과물이 좋다는 뜻인가요?”

짧아졌지만 ‘잘’의 뜻은 여전히 사람마다 다릅니다.

무엇을 할 수 있다는 뜻인지 구체적으로 적습니다.

C. 호감과 제작 자신감을 나눈다

정답

“좋아하는 정도와 만들 자신감에 따로 답할게요.”

다른 판단을 따로 받으면 각 점수의 의미를 구분할 수 있습니다.

예: ① AI 활용이 좋다. ② AI로 강의자료 초안을 만들 수 있다. 각각 응답합니다.

16. 사람은 같은데, 점수 분포가 바뀝니다.

5점 동의 응답의 기준을 바꿔 봅니다. 12명은 그대로입니다.

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

가상 12명: 호감↑·자신감↓ 6명 / 호감↓·자신감↑ 3명 / 둘 다 중간 3명

동일한 가상 응답자 12명

응답 기준	1점	2점	3점	4점	5점
앞부분: 호감	0	3	3	0	6
뒷부분: 자신감	6	0	3	0	3
중간으로 타협	0	0	12	0	0

수업용 가상 응답 — 실제 결과 예측이 아님. 같은 12명을 유지하며 응답 기준만 바꾸었습니다. 중간으로 타협하는 경우는 모두 3점을 고른다는 가정이며 산술평균 계산 규칙이 아닙니다. 점수만 보고 어느 판단에 답했는지 알기 어렵다는 뜻입니다.

17. 질문을 나누면, 서로 다른 마음이 보입니다.

① AI를 활용하는 일이 좋다. ② AI로 강의자료 초안을 만들 수 있다.

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

비교 실험에서는 두 문항 모두 1–5점 동의. 최종 자신감 문항은 0–10점으로 별도 설계합니다. 두 눈금을 환산하지 않습니다.

• 민서 유형 · 6명 — 5 — 1
• 준호 유형 · 3명 — 2 — 5
• 유진 유형 · 3명 — 3 — 3

18. 그래프만 보고 알 수 있는 것은?

5점 동의 문항에서 3점(보통)에 응답이 몰렸습니다. 이유를 확정할 수 있을까요?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

A. 모두 정말 보통이다

오답

“둘 다 보통일 수도 있어요.”

가능한 설명 하나지만, 타협해서 가운데를 고른 사람과 구분되지 않습니다.

문항과 응답자가 답한 이유를 함께 확인합니다.

B. 이중질문이 틀림없다

오답

“다른 이유로도 가운데를 고를 수 있죠.”

분포의 모양만으로 문항 결함을 확정할 수 없습니다.

질문의 뜻과 응답 과정을 확인합니다.

C. 분포만으로 이유를 확정할 수 없다

정답

“어느 부분에 답했는지 다시 물어봐야겠어요.”

같은 숫자가 다른 판단에서 나올 수 있습니다.

‘이 질문을 어떻게 이해했나요?’라고 확인합니다.

19. 셋 다 좋은데, 꼭 꼴찌를 만들라고요?

커피를 고를 때 가격·맛·접근성 중 무엇이 더 중요합니까?

각 속성의 중요도와 우선순위를 비교합니다.

A. 순위 매기기

1순위 가장 중요 → 3순위 덜 중요 · 동순위 없음

가격 / 맛 / 접근성

목적에 맞는 선택

반드시 순서를 정하므로 상대적 우선순위를 알 수 있습니다. 1위가 2위보다 얼마나 중요한지는 모릅니다.

동률을 허용할지와 정말 우선순위가 필요한지 정합니다.

B. 각각 평정하기

각 속성 1 전혀 중요 안 함 ↔ 5 매우 중요

가격 / 맛 / 접근성

1 / 2 / 3 / 4 / 5

목적에 맞는 선택

셋 다 5점이 가능합니다. 독립적 중요도를 묻기 때문에 반드시 차이가 나지는 않습니다.

우선순위가 목적이면 별도 순위를 묻습니다. 평정과 순위를 같은 값처럼 해석하지 않습니다.

C. 딱 하나만 고르기

가장 중요한 속성 하나

가격 / 맛 / 접근성

조건을 확인할 선택

최우선 속성은 알 수 있지만 나머지 두 속성의 순서는 알 수 없습니다.

전체 순서가 필요하면 순위를, 첫째만 필요하면 단일 선택을 씁니다.

차례로 살펴볼 힌트

• 순위 1·2·3은 순서입니다. 간격이 같다는 보장은 없습니다.
• 평정에서는 셋 다 중요할 수 있습니다. 그것만으로 잘못된 응답은 아닙니다.
• 순위와 평정은 서로 다른 질문에 답합니다.

20. 예산은 100인데, 합계가 180이네요?

교육 예산 100점을 시설·장학금·수업지원에 나누세요.

제한된 자원의 상대적 배분 · 총합 100

A. 합계 100 배분

각 0–100점 · 합계 100점

시설 / 장학금 / 수업지원

목적에 맞는 선택

한 항목에 더 주면 다른 항목에 줄 점수가 줄어듭니다. 제한된 자원 배분이 드러납니다.

합계 100을 확인하고 0점도 허용합니다. 이 점수는 독립적 만족도가 아닙니다.

B. 각각 0–100점

각 항목 독립 평정 · 합계 제한 없음

시설 / 장학금 / 수업지원

0 / 25 / 50 / 75 / 100

현재 목적과 맞지 않음

모두 높게 줄 수 있지만 총합 100 예산이라는 제약이 사라집니다.

예산 배분이면 합계 제약을 적용합니다.

C. 순위만 정하기

1–3순위

시설 / 장학금 / 수업지원

현재 목적과 맞지 않음

장학금이 1위라고 80점을 줄지 34점을 줄지는 알 수 없습니다.

배분 비중이 필요하면 합계 100 방식을 사용합니다.

차례로 살펴볼 힌트

• “얼마나 좋은가”와 “한정된 돈을 얼마나 줄 것인가”는 다릅니다.
• 합계 제약 때문에 항목들이 서로 영향을 받습니다. 독립적 척도처럼 다루지 않습니다.
• 합계 오류는 입력 검증 문제이고, 무엇을 배분시키는가는 측정 설계 문제입니다.

21. 표로 만들면, 자동으로 같은 척도인가요?

강의실 평가: 깨끗하다 / 조용하다 / 찾아가기 쉽다

각 속성에 대한 동의 · 같은 화면, 서로 다른 내용

A. 행렬 표

각 행 1 전혀 동의 안 함 ↔ 5 매우 동의함

깨끗하다 / 조용하다 / 찾아가기 쉽다

1 / 2 / 3 / 4 / 5

목적에 맞는 선택

한 화면에서 세 판단을 따로 받습니다. 표에 함께 있다고 하나의 구성개념이나 평균 점수가 자동으로 성립하지는 않습니다.

행마다 무엇을 묻는지와 묶어서 사용할 근거를 확인합니다.

B. 전부 한 슬라이더

“깨끗하고 조용하고 찾기 쉽다” · 1–5점 동의

입력 범위: 1–5 / 간격 1

현재 목적과 맞지 않음

깨끗하지만 시끄러운 강의실에는 몇 점을 줘야 할까요? 세 판단이 한 점수로 섞입니다.

서로 다르게 답할 수 있는 판단은 나눕니다.

C. 해당하는 것 체크

해당하는 속성 모두 선택

깨끗함 / 조용함 / 찾아가기 쉬움

조건을 확인할 선택

그렇다고 여기는 속성은 알지만 동의 강도는 잃습니다. 체크하지 않은 이유도 불명확할 수 있습니다.

정도까지 필요하면 행별 평정을, 존재 여부만 필요하면 명확한 이분형을 씁니다.

차례로 살펴볼 힌트

• Matrix는 화면 배열입니다. 척도의 타당성을 보증하지 않습니다.
• 모든 행에 같은 열을 고르는 응답이 실제 생각인지 빠른 통과인지 확인이 필요합니다.
• 큰 표는 읽기 부담이 큽니다. 모바일에서는 행을 나누는 방식도 검토합니다.

22. AI 말투, 차가운가요 따뜻한가요?

방금 본 AI 답변의 말투는 어떻게 느껴집니까?

하나의 양극적 인상 · 의미분별 응답

A. 양극 7점

1 매우 차가움 ↔ 4 중간 ↔ 7 매우 따뜻함

입력 범위: 1–7 / 간격 1

목적에 맞는 선택

두 끝의 의미를 보고 한 축에서 인상의 위치를 고를 수 있습니다.

두 형용사가 이 대상에서 실제로 반대 축인지 응답자에게 확인합니다.

B. 별점 5개

1–5개 · 별의 의미 설명 없음

현재 목적과 맞지 않음

별은 익숙하지만 차가움·따뜻함인지, 만족도인지 알기 어렵습니다.

별의 의미와 양끝을 명시하거나 의미분별 눈금으로 제시합니다.

C. 동의 5점

“이 AI 답변의 말투는 따뜻하다” · 1–5점 동의

1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

목적에 맞는 선택

따뜻하다는 문장에 동의하는 정도를 받습니다. 양극 형용사를 직접 비교하는 질문과는 표현 방식이 다릅니다.

점수 범위와 문구가 다르므로 다른 형식의 값과 바로 합치지 않습니다.

차례로 살펴볼 힌트

• 별 모양이 친숙하다고 뜻까지 자동으로 전달되지는 않습니다.
• “빠르다–정확하다”는 반대말 한 쌍이 아닙니다. 둘 다 높을 수 있습니다.
• 의미분별과 동의 평정은 모두 가능하지만 같은 문항·같은 점수라고 가정하지 않습니다.

23. 배달 음식 별 1개: 맛이 없었나요, 늦었나요?

이번 주문은 전반적으로 얼마나 만족스러웠습니까?

전반 만족과 불만 원인을 구별합니다.

A. 전반 만족 별점

1 매우 불만족 ↔ 5 매우 만족

목적에 맞는 선택

전반 만족은 빠르게 받을 수 있습니다. 별 1개만으로 맛과 배달 중 원인을 특정할 수는 없습니다.

전반 만족이 목적이면 쓰고, 원인 분석은 후속 문항을 둡니다.

B. 항목별 만족 행렬

각 행 1 매우 불만족 ↔ 5 매우 만족

음식의 맛 / 배달 시간 / 가격

1 / 2 / 3 / 4 / 5

목적에 맞는 선택

맛·배달·가격을 따로 받으면 무엇에 불만인지 구분할 수 있습니다.

항목별 점수를 단순 평균해 전반 만족이라고 할지는 별도 검토합니다.

C. 추천 의향 0–10

0 전혀 추천 안 함 ↔ 10 매우 추천함

입력 범위: 0–10 / 간격 1

조건을 확인할 선택

만족과 추천 의향은 관련될 수 있지만 같은 질문이 아닙니다. 만족해도 가격 때문에 추천하지 않을 수 있습니다.

연구 목적에 맞게 전반 만족과 추천 의향을 구분합니다.

차례로 살펴볼 힌트

• 한 숫자로 종합 평가는 가능해도 구체적인 이유까지 알 수는 없습니다.
• 별점은 표시 형식이고, 만족도는 측정하려는 내용입니다.
• 전반 평정과 세부 평정은 역할이 다릅니다.

24. 둘 다 9점인데, 같은 점수일까요?

이 AI 도구를 동료에게 추천할 가능성은 얼마나 됩니까?

추천 의향 · 숫자가 같아도 구성개념은 다를 수 있음

A. 추천 0–10

0 전혀 추천 안 함 ↔ 10 매우 추천함

입력 범위: 0–10 / 간격 1

목적에 맞는 선택

9점은 높은 추천 의향입니다. NPS 방식에서는 9–10점을 추천 고객 범주로 분류합니다.

NPS는 추천 고객 비율에서 비추천 고객 비율을 뺀 집계값입니다. 개인의 9점 자체가 NPS는 아닙니다.

B. 제작 자신감 0–10

0 전혀 만들 수 없음 ↔ 10 확실히 만들 수 있음

입력 범위: 0–10 / 간격 1

현재 목적과 맞지 않음

9점이 나와도 이는 제작 자신감입니다. 추천 의향이라는 질문과 눈금이 어긋납니다.

추천 가능성으로 앵커를 맞춥니다.

C. 만족도 1–5

1 매우 불만족 ↔ 5 매우 만족

현재 목적과 맞지 않음

만족도 눈금으로는 추천 가능성에 직접 답하기 어렵습니다.

추천·만족·자신감을 한 숫자라는 이유로 바꿔 쓰지 않습니다.

차례로 살펴볼 힌트

• 0–10은 숫자의 범위입니다. 그 자체가 측정 개념은 아닙니다.
• NPS의 0–6 / 7–8 / 9–10 분류 규칙을 자신감 문항에 가져오지 않습니다.
• 오늘은 계산보다 질문·눈금·해석이 맞는지 확인합니다.

25. 졸린데, 수업은 재미있어요. 어디 찍죠?

지금 이 수업에 대한 재미와 각성 정도를 각각 표시해 봅시다.

가상 상태: 재미는 높음, 각성은 낮음 · 두 차원

A. 한 줄 슬라이더

1 지루하고 졸림 ↔ 9 재미있고 또렷함

입력 범위: 1–9 / 간격 1

현재 목적과 맞지 않음

재미있지만 졸린 상태를 어느 곳에 둘까요? 한 축의 양끝에 두 판단을 묶었습니다.

재미와 각성을 두 축 또는 두 문항으로 나눕니다.

B. XY 응답 격자

X 재미 1–9 / Y 각성 1–9 · 두 숫자

재미 없음 1

재미있음 9

졸림 1

또렷함 9

목적에 맞는 선택

오른쪽 아래는 재미는 높고 각성은 낮은 상태입니다. 한 점이 두 개의 응답값을 담습니다.

이 격자는 수업용 자체 예시입니다. 검증된 Affect Grid를 복제한 척도가 아닙니다.

C. 두 행 평정

재미·각성 각각 1–9점 · 1/3/5/7/9 선택

재미: 없음 → 높음 / 각성: 졸림 → 또렷함

1 / 3 / 5 / 7 / 9

목적에 맞는 선택

두 차원을 따로 응답할 수 있습니다. XY보다 설명이 쉬울 수 있지만 선택 가능한 값은 여기서 5개입니다.

두 축과 두 문항은 표현 형식이 다릅니다. 이해 부담과 응답 해상도를 비교합니다.

차례로 살펴볼 힌트

• 좋다/나쁘다와 각성 높음/낮음도 서로 다른 차원입니다.
• 좌표 (8,2)는 82점이 아닙니다. X=8과 Y=2라는 두 값입니다.
• XY 응답 격자와 여러 사람 클릭을 집계한 히트맵은 같은 개념이 아닙니다.

26. “등록금 반값!” 어디부터 누르셨나요?

아래 가상 광고에서 가장 먼저 확인하고 싶은 위치 한 곳을 누르세요.

화면에서 선택한 위치 · 시선 추적이 아님

A. 이미지 위치 선택

가로 X·세로 Y 각각 0–100% · 클릭 한 곳

목적에 맞는 선택

선택한 위치가 좌표로 남습니다. 여러 응답자의 위치를 모으면 밀도 그림을 만들 수 있습니다.

지금 보이는 한 점은 한 번의 선택입니다. 실제 시선이나 주의의 원인까지 측정한 것은 아닙니다.

B. 관심도 슬라이더

0 전혀 관심 없음 ↔ 10 매우 관심 있음

입력 범위: 0–10 / 간격 1

현재 목적과 맞지 않음

관심의 정도를 고를 수 있지만 광고의 어느 위치를 눌렀는지는 남지 않습니다.

위치가 목적이면 좌표, 관심 정도가 목적이면 평정으로 받습니다.

C. 영역 라디오

헤드라인 / 조건 / 신청 버튼 · 단일 선택

헤드라인 / 세부 조건 / 신청 버튼

목적에 맞는 선택

어느 영역을 골랐는지는 알 수 있습니다. 영역 안의 세부 좌표는 잃습니다.

연구에 영역만 필요하면 이 방식도 가능합니다.

차례로 살펴볼 힌트

• Qualtrics Heat Map은 이미지 위 클릭 좌표를 수집합니다. 결과 히트맵은 여러 클릭의 집계 표현입니다.
• 클릭하지 않은 곳을 보지 않았다고 단정할 수 없습니다. 눈동자를 추적한 자료가 아닙니다.
• 이 화면은 원리를 재현한 자체 예시이며 실제 제품 화면이나 실제 응답 분포가 아닙니다.

27. “나는 평생 거짓말한 적이 없다.” 정말요?

나는 평생 단 한 번도 거짓말한 적이 없다.

극단적 표현과 사회적으로 바람직한 응답의 가능성

A. 5점 동의

1 전혀 동의 안 함 ↔ 5 매우 동의함

1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

조건을 확인할 선택

“평생”, “단 한 번도”는 기억 부담이 크고 도덕적 평가처럼 읽힐 수 있습니다.

구체적 기간·행동으로 좁히고 응답 맥락을 검토합니다.

B. 예 / 아니요

평생 경험 유무

한 번도 없다 / 한 번 이상 있다

조건을 확인할 선택

두 범주로 줄여도 평생 기억과 평가 부담이 그대로입니다.

입력 도구 변경만으로 질문의 문제를 해결할 수 없습니다.

C. 행동과 기간 좁히기

지난 7일 약속에 늦은 이유를 사실과 다르게 말한 적 · 유/무

있다 / 없다 / 해당 상황이 없었다 / 응답하고 싶지 않음

목적에 맞는 선택

판단할 사건과 기간은 구체적입니다. 그래도 민감한 행동의 자기보고라는 한계는 남습니다.

비밀보장과 수집 필요성을 설명하고 응답 거부를 허용합니다.

차례로 살펴볼 힌트

• 극단 응답이 나왔다고 거짓말이라고 판정할 수는 없습니다.
• 사람이 나쁘게 보이지 않으려는 응답 가능성과 실제 태도를 구별해야 합니다.
• 좋은 화면 위젯이 회상 오류나 사회적 바람직성을 자동으로 없애지는 않습니다.

28. “교수님 수업, 쉽고 재미있죠?”

교수님 수업은 쉽고 재미있죠?

유도 표현과 이중질문을 함께 찾아봅니다.

A. 한 줄 별점

1 전혀 아님 ↔ 5 매우 그럼

현재 목적과 맞지 않음

쉽지만 재미없거나, 어렵지만 재미있을 수 있습니다. “그렇죠?”도 동의를 기대하는 표현입니다.

중립적인 질문으로 바꾸고 난이도와 재미를 나눕니다.

B. 난이도·재미 두 행

각 행 1 낮음 ↔ 5 높음

난이도: 쉬움 → 어려움 / 재미: 없음 → 높음

1 / 2 / 3 / 4 / 5

목적에 맞는 선택

난이도 5는 어렵다, 재미 5는 재미가 높다는 뜻입니다. 어려움 자체가 나쁜 평가를 뜻하지는 않습니다.

행마다 높은 점수의 뜻을 명시하고 두 점수를 단순 합산하지 않습니다.

C. 예 / 아니요

쉽고 재미있음 · 예/아니요

예 / 아니요

현재 목적과 맞지 않음

도구를 바꿔도 두 판단이 한 답에 섞이는 문제는 남습니다.

문장부터 고친 다음 응답 형식을 고릅니다.

차례로 살펴볼 힌트

• 쉽다는 말이 곧 좋은 수업이라는 뜻인가요?
• “그렇죠?”를 빼는 것과 두 판단을 나누는 것은 각각 필요한 수정입니다.
• 한 항목을 뒤집어 코딩해도 다른 개념들이 저절로 한 척도가 되지는 않습니다.

29. 슬라이더를 안 만졌는데, 50점이네요?

이 서비스에 얼마나 만족합니까?

초기 표시값과 실제 응답값을 구별합니다.

A. 0–100 슬라이더

0 매우 불만족 ↔ 100 매우 만족 · 1점 단위

입력 범위: 0–100 / 간격 1

조건을 확인할 선택

손잡이의 초기 위치는 편의를 위한 표시입니다. 조작 전에는 이 실험도 “미응답”으로 표시합니다.

초깃값을 실제 응답으로 자동 저장하는 설정인지 확인합니다.

B. 5점 라디오

1 매우 불만족 ↔ 5 매우 만족

1 매우 불만족 / 2 불만족 / 3 보통 / 4 만족 / 5 매우 만족

목적에 맞는 선택

선택 전에는 빈 상태가 분명합니다. 5개 범주가 필요한 차이를 표현하는지도 검토합니다.

응답 범주가 많을수록 무조건 더 정확하다고 가정하지 않습니다.

C. 0–100 숫자

0 매우 불만족 ↔ 100 매우 만족 · 정수

입력 범위: 0–100 / 간격 1 / 점

조건을 확인할 선택

정확한 숫자를 적게 해도 63과 64의 차이를 응답자가 의미 있게 구별할지는 별도 문제입니다.

필요한 정밀도와 실제 판단 가능한 정밀도를 맞춥니다.

차례로 살펴볼 힌트

• 화면에 50이 보이는 것과 사람이 50을 고른 것은 다릅니다.
• 슬라이더를 움직이지 않아도 50이라고 믿을 수는 있습니다. 중간값을 선택했다는 명시적 확인 방식도 검토할 수 있습니다.
• 7점보다 100점이 항상 좋은 척도라는 규칙은 없습니다.

30. 써 본 적도 없는데, 만족도를요?

이 AI 서비스에 얼마나 만족합니까?

가상 응답자: 이 서비스를 한 번도 사용하지 않음

A. 1–5점 필수

1 매우 불만족 ↔ 5 매우 만족

1 매우 불만족 / 2 불만족 / 3 보통 / 4 만족 / 5 매우 만족

현재 목적과 맞지 않음

한 번도 안 써 본 사람은 어느 점수를 골라야 할까요? 3점으로 밀어 넣으면 보통 만족과 미경험이 섞입니다.

사용 경험을 먼저 확인하거나 해당 없음 범주를 제공합니다.

B. 해당 없음 추가

1–5점 만족 + 사용 경험 없음

1 매우 불만족 / 2 불만족 / 3 보통 / 4 만족 / 5 매우 만족 / 사용 경험 없음

목적에 맞는 선택

미경험을 만족도 점수와 구분할 수 있습니다. “사용 경험 없음”은 0점 만족이 아닙니다.

해당 없음·모름·응답 거부의 처리 원칙을 별도로 정합니다.

C. 경험 선별 질문

사용해 본 적이 있습니까? · 예/아니요

예 / 아니요

목적에 맞는 선택

아니요이면 만족도 질문을 건너뛰도록 설문 흐름을 설계할 수 있습니다.

이 수업 위젯은 선별 응답을 시연합니다. 실제 도구에서는 다음 질문 표시 조건을 설정합니다.

차례로 살펴볼 힌트

• 해당 없음은 중간값도, 최저 만족도도 아닙니다.
• 답할 수 없는 질문에 숫자를 강제하면 분석할 숫자는 생겨도 뜻이 흐려집니다.
• 문항·범주·질문 순서와 분기까지 함께 설계합니다.

31. 오늘 우리가 알고 싶은 것은?

연구 목적: 미디어강사가 AI로 수업에 맞는 초안을 만들 자신감을 알아본다. 맞는 측정 대상을 고르세요.

판별 문제 · 정답 1개 · A/B/C는 수업 답안

A. AI와 관련된 좋은 특성 전부

오답

“좋아하는 마음도, 윤리도, 실력도 모두요?”

너무 넓어 어떤 문항을 남길지 판단하기 어렵습니다.

대상·상황·구체적인 일·판단을 좁힙니다.

B. AI로 강의자료 초안을 만들 자신감

정답

“강의 준비 중 초안을 만들 수 있다고 믿는 정도군요.”

누가, 어떤 상황에서, 무엇을 할 수 있다고 믿는지 정해집니다.

응답은 현재의 제작 자신감 0–10점으로 받습니다. 사용 빈도는 별도 변수입니다.

C. AI 사용 횟수와 결과물의 완성도

오답

“많이 쓰는 것과 잘 만든 것은 다른데요?”

여러 판단을 묶으면 다시 점수의 의미가 섞입니다.

빈도와 완성도는 별도 연구 질문으로 둡니다.

32. ‘할 수 있다’로 끝나면 모두 같은 문항일까요?

공통 조건: 생성형 AI에 요청하는 상황

오늘 정의한 “설명 자료·예시 초안 제작 자신감”에 포함할 문항은?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

0–10점 자신감 · 정수 11개 중 선택 · 0 전혀 할 수 없음 / 5 어느 정도 / 10 확실히 할 수 있음

A. AI로 동영상의 색보정을 할 수 있다

오답

“영상 편집을 말하는 건가요?”

자신감은 맞지만 오늘 정한 설명 자료·예시 초안의 범위를 벗어납니다.

이 연구에서는 제외하고, 필요하면 별도 개념으로 다룹니다.

B. AI를 매일 사용할 수 있다

오답

“시간이 충분하다는 뜻인가요?”

사용 여건이나 지속 가능성을 떠올릴 수 있어 초안 제작 자신감과 다릅니다.

구체적인 제작 과제를 제시합니다.

C. 수강생 수준에 맞는 수업 예시 초안을 만들 수 있다

정답

“내 수업을 위한 예시 초안이군요.”

정의에 포함된 과제를 할 수 있다는 믿음을 묻습니다.

연습용 후보로 남기고 실제 응답자가 같은 뜻으로 읽는지 점검합니다.

33. 한 문항에는 한 가지 판단을 남깁니다.

수정 전: 나는 AI를 좋아하고, 설명 자료 초안을 만들 자신이 있다.

판별 문제 · 정답 1개 · A/B/C는 수업 답안

수정 전: 1–5점 동의 (1 전혀 동의 안 함 ↔ 5 매우 동의함)

A. AI 활용에 긍정적이고 자신 있다

오답

1–5점 동의

“긍정적인 마음과 자신감을 둘 다 말하나요?”

단어만 바꾸어도 서로 다른 판단은 그대로 남습니다.

호감 표현을 제거하고 초안 제작의 믿음만 묻습니다.

B. AI에 요청해 수업 주제에 맞는 설명 자료 초안을 만들 수 있다

정답

0–10점 자신감

“이 일을 해낼 수 있다고 생각하는지 답하면 되네요.”

하나의 구체적인 일을 할 수 있다는 믿음이 남았습니다.

이 문항에는 현재 해낼 자신감을 0–10점으로 답합니다.

C. AI를 좋아한다 / AI를 자주 쓴다

오답

두 문항에 각각 1–5점 동의

“좋아하는 정도와 사용 빈도에 답할게요.”

문항은 나뉘었지만 오늘 재려는 제작 자신감이 빠졌습니다.

문항을 나눈 뒤에도 측정 목적과 맞는지 확인합니다.

34. ‘잘’은 사람마다 다른 장면을 부릅니다.

수정 전: 나는 AI를 효과적으로 잘 활용할 수 있다.

판별 문제 · 정답 1개 · A/B/C는 수업 답안

후보 문항 공통 · 0–10점 자신감 · 0 전혀 할 수 없음 ↔ 10 확실히 할 수 있음

A. AI를 매우 효과적으로 활용할 수 있다

오답

“‘매우’가 어느 수준인가요?”

강조를 더해도 과제가 구체적으로 바뀌지 않습니다.

무슨 자료를 만드는지 적습니다.

B. 나는 다른 강사보다 AI를 잘 활용할 수 있다

오답

“어느 강사와 비교해야 하죠?”

새로운 비교 기준이 필요하고 상대적 자기평가가 됩니다.

다른 사람과 비교하지 않고 자신의 과제 수행 믿음을 묻습니다.

C. AI에 요청해 수업 주제에 맞는 설명 자료 초안을 만들 수 있다

정답

“완성본이 아니라 설명 자료의 초안을 말하네요.”

응답자가 떠올릴 대상과 완성 수준이 구체적입니다.

이 표현도 응답자가 같은 뜻으로 읽는지 사전 점검합니다.

35. 그럴듯한 문항이어도, 오늘의 질문일까요?

문항과 응답 눈금을 함께 보고, 오늘의 측정 목적에 맞는 하나를 고르세요.

다음 중 오늘의 초안 제작 자신감에 가장 가까운 문항은?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

A. 처음 결과가 맞지 않으면 요청을 수정해 필요한 초안을 얻을 수 있다

정답

0–10점 자신감

“첫 결과가 마음에 안 들어도 다시 시도할 수 있다는 믿음이네요.”

초안 제작 상황의 구체적인 어려움을 다룹니다.

후보로 남깁니다. 실제 문항 묶음의 타당성은 별도로 확인합니다.

B. 지난 7일 AI 초안 중 사실 확인한 초안은 몇 %입니까?

오답

지난 7일 검토 비율 · 0–100% / AI 초안 미사용은 해당 없음

“지난 7일 사용한 초안 중 얼마나 확인했는지 세는군요.”

사실 확인 행동의 비율입니다. 초안 제작 자신감과 다릅니다.

검증 행동을 연구할 때 별도 문항으로 다룹니다.

C. AI를 활용하면 수업 만족도가 높아질 것이라고 생각한다

오답

1–5점 동의

“AI 사용의 효과를 예상하라는 뜻이네요.”

결과에 대한 기대이며, 내가 수행할 수 있다는 믿음과 다릅니다.

결과 기대와 수행 자신감을 분리합니다.

36. 같은 개념에 맞는 세 후보를 골라봅시다.

공통 조건: 생성형 AI에 요청합니다. “초안 제작 자신감” 후보 3개를 고르세요.

문항 선별 · 정답 3개 · 후보 번호는 설문 점수가 아님

자신감 공통 눈금: 0 전혀 할 수 없음 / 5 어느 정도 / 10 확실히 할 수 있음. 아직 합산하지 않습니다.

후보 1

수업 주제에 맞는 설명 자료의 초안을 만들 수 있다.

설명 자료 초안이라는 과제를 해낼 수 있다는 믿음입니다.

0–10점 자신감

선정

후보 2

지난 7일 강의 준비에 AI를 사용한 날은 며칠입니까?

기간이 명확한 사용 빈도입니다. 제작 자신감과 다릅니다.

0–7일 (사용 일수)

제외

후보 3

수강생 수준에 맞는 수업 예시의 초안을 만들 수 있다.

수업 예시 초안이라는 과제를 해낼 수 있다는 믿음입니다.

0–10점 자신감

선정

후보 4

생성형 AI를 활용하는 일이 좋다.

AI에 대한 호감입니다.

1–5점 동의

제외

후보 5

첫 결과가 수업 목적에 맞지 않으면 요청을 수정하여 필요한 초안을 얻을 수 있다.

어려움이 있는 제작 상황에서의 자신감입니다.

0–10점 자신감

선정

후보 6

앞으로 모든 강의 준비에 AI를 사용할 생각이다.

미래의 사용 의도입니다.

1–5점 동의

제외

37. 자신감을 묻는 눈금도 맞춰야 합니다.

“AI로 수업 주제에 맞는 설명 자료 초안을 만들 수 있다.” 어떤 응답 눈금이 맞을까요?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

A. 사용 일수: 0–7일

오답

“얼마나 자주 쓰는지 답하게 되네요.”

문항은 자신감을 묻는데 응답 눈금은 사용 빈도입니다.

자신감의 정도로 눈금을 맞춥니다.

B. 자신감: 0–10점 (정수 11개)

정답

“지금 내가 해낼 수 있다고 믿는 정도를 고르면 되네요.”

현재의 수행 자신감과 눈금의 뜻이 맞습니다.

0부터 10까지 정수 중 선택합니다. 0을 포함하므로 응답 범주는 11개입니다.

C. 호감: 1 매우 싫음–5 매우 좋음

오답

“AI를 좋아하는지 고르는 눈금이군요.”

문항이 묻는 수행 자신감과 호감 눈금이 맞지 않습니다.

좋고 싫음 대신 할 수 있다는 믿음에 답하게 합니다.

38. 마지막으로, 새 문항에 적용해 봅시다.

확인 1

“AI는 유용하고 안전하다.” 1–5점 동의 응답 하나로 충분할까요?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

5점 동의 척도 · 1 전혀 동의 안 함 / 2 동의 안 함 / 3 보통 / 4 동의함 / 5 매우 동의함

A. 유용하면 안전하므로 충분하다

오답

“유용하지만 개인정보가 걱정돼요.”

유용성과 안전성에 다른 판단을 할 수 있습니다.

두 판단을 분리합니다.

B. 서로 다른 판단이므로 나눈다

정답

“유용성, 안전성에 각각 답할게요.”

각 판단에 다른 답이 가능한지가 핵심입니다.

연구 목적에 필요한 개념을 고릅니다.

C. 문장이 짧으니 문제없다

오답

“짧아도 두 가지를 묻네요.”

문장 길이와 판단의 수는 다릅니다.

각 부분에 다른 답이 가능한지 봅니다.

확인 2

0–10점 자신감 문항에 9점. 실제 실력이 높다고 결론 내려도 될까요?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

0–10점 자신감 · 정수 11개 중 선택 · 0 전혀 할 수 없음 / 5 어느 정도 / 10 확실히 할 수 있음

A. 아니다. 수행을 따로 봐야 한다

정답

“자신감과 실제 결과는 다를 수 있어요.”

자신감 설문은 수행 결과를 직접 측정하지 않았습니다.

실제 과제와 평가 기준으로 확인합니다.

B. 된다. 본인이 가장 잘 안다

오답

“제 능력을 과대평가했을 수도 있어요.”

자기보고와 수행은 같은 자료가 아닙니다.

자신감으로만 해석합니다.

C. 문항 3개면 실제 실력이다

오답

“질문이 늘어나도 여전히 제 믿음에 답했어요.”

문항 수를 늘려도 측정 대상이 저절로 바뀌지 않습니다.

문항 수보다 측정의 뜻을 확인합니다.

확인 3

0–10점 자신감 후보 세 문항을 만들었습니다. 실제 연구에서 다음 할 일은?

판별 문제 · 정답 1개 · A/B/C는 수업 답안

A. 평균을 내면 검증이 끝난다

오답

“같은 점수로 합쳐도 되는지는 아직 몰라요.”

문항을 합칠 근거는 별도 검토가 필요합니다.

정의와 기존 도구, 응답 이해, 측정 근거를 점검합니다.

B. AI에게 좋다고 확인받으면 끝이다

오답

“응답자는 다른 뜻으로 읽을 수도 있어요.”

AI의 평가는 응답자 점검과 측정 검증을 대신하지 않습니다.

원문과 실제 응답 과정을 확인합니다.

C. 기존 척도 원문과 응답자 이해를 확인한다

정답

“내 대상과 상황에도 맞는지 봐야겠어요.”

연습용 문항과 연구에서 사용할 측정 도구를 구분합니다.

문항·눈금·원래 대상·내 연구와의 차이를 기록합니다.

39. 논문에서는, 적합한 기존 척도부터 확인합니다.

연습용 후보 → 기존 도구와 비교 → 응답자 이해 점검. 합산·평균과 신뢰도·타당도 검토는 후속 과정입니다.

• 원문 보기 — 문항 · 응답 범주와 점수 뜻 · 연구 대상
• 뜻 비교하기 — 내가 정한 개념과 상황에 맞는가
• 읽혀 보기 — “무엇을 묻는 질문으로 읽었나요?”

40. 좋은 숫자는, 답할 수 있는 질문에서 시작합니다.

다음 질문: AI 사용이 잦은 사람의 자신감도 높다면, 사용이 자신감을 만든 걸까요?

• 하나를 정하고 — 무엇을 재는가
• 하나씩 묻고 — 어떤 판단을 받는가
• 읽힌 뜻을 확인하기 — 내 의도와 같은가

41. 함께 움직였다고, 원인이 된 것은 아닙니다.

한 번의 설문에서 두 점수가 함께 높았다는 사실만으로 방향과 다른 설명을 확정할 수 없습니다.

• 사용 → 자신감 — 사용 경험이 자신감을 높였을 수 있다.
• 자신감 → 사용 — 자신 있는 사람이 더 자주 사용할 수 있다.
• 교육 경험 → 둘 다 — 교육 경험이 사용과 자신감을 함께 높일 수 있다.

42. 자료의 출처와, 오늘 만든 예시의 범위

• Babbie · 2021 — The Practice of Social Research, p.253 (보유 PDF p.283). 이중질문과 명확한 문항. Buffalo 시절 사용본인지는 미확인.
• Pew Research Center — Writing Survey Questions. 질문의 표현과 서로 다른 판단을 한 문항에 묶는 문제.
• Bandura · 2006 — Guide for Constructing Self-Efficacy Scales, pp.308–312. 수행 믿음·의도의 구분과 0–10 응답 형식.
• 출발 자료 — Chat 웹 ‘KCI 양적연구 강의안’. 본 덱의 문항·인물·12명 분포는 수업용으로 재구성.

Pew Research Center

43. 응답 도구와 인구학 문항의 근거

• Qualtrics — 공식 Question Types: 선택형, 행렬, 슬라이더, 순위, 합계 배분, NPS, 이미지 Heat Map.
• SurveyMonkey — 공식 Question Types: 단일·복수 선택, 행렬/평정, 슬라이더, 별점, 순위, 숫자 입력 등.
• Australian Bureau of Statistics — 2020 Standard: sex, gender, 성 특성, 성적 지향의 구분. 성별 사례는 자체 작성 번안 연습이다.
• 수업 구현의 범위 — 위젯은 원리 체험을 위한 자체 구현. XY 격자는 검증된 Affect Grid의 대체 도구가 아니다. 제품 기능·이용 범위는 버전·플랜에 따라 다를 수 있다.

참고 자료

참고 자료

참고 자료