## 📝 Key Trigger (1–3 lines)
> [!NOTE]
> 7-6-2026 미디어스쿨 학과 워크샵 
> **"Educational Harness Engineering: AI 시대, 학생들의 꼼수에 강한 수업·평가를 설계하는 법"** 발표자료

##  1. 결과물 중심의 교육 평가 모델 붕괴
### 1.1 영국고등교육정책연구소 (HEPI) 연구결과 (2026)
- **영국고등교육정책연구소 (HEPI) 설문조사 (2026):** 
	- 1,054명 학부생들 대상으로 한 설문조사에서 AI를 학업 용도로 어떤식으로든 활용하는 학생의 증가. 
	- 2024년-2026년동안 **66% → 92%→ 95%** 로 증가하였으며, 
	- 가장 많은 활용은 텍스트 생성 (56%), 요약해줘 (38%), 문장을 고쳐줘 (37%), 번역해줘 (31%), 이미지 그려줘 (22%)의 다섯 가지.
### 1.2 AI 컨닝 및 꼼수는 학생들의 Default다

![{2EB602C5-98DF-4022-8FE5-7D68559A3732}.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791892987381-74724e4c-9148-490b-bc0e-2d3ab9350471.png)

- 연세대학교 비대면 시험 대규모 컨닝 (2025. 10. 15)
	- 온라인 사이트에 접속해 객관식 문제를 푸는 방식 
	- 카메라를 동원하였으나, '에브리타임' 게시판에 올라온 투표 글에 따르면 **'커닝했다'가 211명**
- 서울대학교 '통계학실험' 강의 대면시험 컨닝 (2025. 10월)
	- 30여명이 수강하는 '통계학실험' 강의에서 일부 학생들이 대면 강의실 컴퓨터에서 일부 학생들이 **조교 몰래 AI활용한 정황 포착**
- 고려대학교 카카오톡 정답 공유 사태 (2025. 10. 25)
	- 1400명 가량이 수강중인 '고령사회에 대한 다학제적 이해 (비대면, 교양 수업)' 중간고사
	-  **시험 도중 학생들이 카카오톡 오픈채팅방을 통해 문제와 정답을 공유** (중간고사 결과 전면 무효화 조치)

![aicunning.jpg](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893005051-0c91cc7e-bb85-4015-a47c-0d3f9854840c.jpeg)

### 1.3 국내 대학생들의 '사고의 외주화' 실태
- **AI 편리하지만… “습관적으로 의존해 사고의 필요성 잃어 (한국대학신문 `2026 신년기획/AI&미래고등교육③` , 2026. 1. 31)”**
	- 기사 제목 자체가 **"공부는 쉬워지고 사고의 필요성은 줄었다"** 라는 제목. 
	- 학생들은 높은 편리함을 절대적 장점으로 꼽으면서도, 답을 찾기 위해 고민하고 사고해야 할 필요성을 잃었다고 언급.
- **이 씨(20세·고려대 철학과): "글쓰기 연습 왜 해요?"** 생각을 글로 풀어내는 일은 꼭 필요한 역량이지만, AI를 써도 결과물은 그럭저럭 비슷하게 나오니 스스로 글쓰기를 연습할 이유가 많이 사라졌다  
- **정 씨(26세·경북대 경제학부): "쉽게 해결하지만 나 자신은 그대로"** 공부하면서 이해하기 어려운 점을 AI로 너무 손쉽게 해결할 수 있지만, 내가 성장하는 것이 아닌, 단순히 눈앞에 놓인 어려운 장애물을 쉽게 넘을 수 있을 뿐 나 스스로 넘지 못하는 건 그대로인 것 같다.
- **배 씨(25세·단국대 정치외교학과): "사고 방식이 단순화된 기분"** 조금만 막히는 순간이 있으면 바로 AI에 검색해 찾아보게 된다. 마치 사고하는 방식이 멈춘 것만 같다. 사고방식이 단순화된 기분.

##  2. 탐지와 금지는 답이 아니다
## 2.1 Open AI's Text Classifier : 2023년 중단 (업데이트 없음)
![{4EEF233E-21B4-4C49-A215-E4D8E7DD9A01}.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893009594-33179a93-4c26-463f-b301-3ce36e64da73.png)
> [!quote] OPENAI - "낮은 정확도로 중단" (2023. 7. 20)
> As of July 20, 2023, the **AI classifier is no longer available due to its low rate of accuracy.** We are working to incorporate feedback and are currently researching more effective provenance techniques for text, and have made a commitment to develop and deploy mechanisms that enable users to understand if audio or visual content is AI-generated.

### 2.2 AI detector는 '비영어권' 학생들에게 누명을 씌운다
-  **Liang et al. (2023) - doi: [10.1016/j.patter.2023.100779](https://doi.org/10.1016/j.patter.2023.100779)**
	- 핵심 연구결과1: AI 탐지기는 영어 원어민이 아닌 사람에게 "AI글이네요" 라고 False Positive 누명을 씌우는 문제가 있다. 
	- 핵심 연구결과2: AI글을 쓰고 프롬프트 한줄이면 "AI글이 아닙니다"라고 둔갑시키는 것도 가능하다
- Liang et al. (2023) 
	- GPT 탐지기에 **비원어민(TOEFL) 영어 에세이**를 통과시키자 **절반 이상이 'AI 작성'으로 오탐**(논문 평균 오탐률 61.3%)
		- **"원어민처럼 풍부한 단어를 써줘"** 라는 프롬프트 한줄 만으로 AI 탐지율이 **11.3%로 급감 (false negative 급증)**
		- 실제 8학년 원어민 학생의 글에서 단어/어휘를 제한하자 **오탐률 (false positive)가 5.1%에서 56.9%로 급증**
	- GPT 탐지기의 **비원어민 미국 대학 입학 에세이** 오탐률이 **70.0%** 에 달함
		- **"문학적으로 다양한 표현을 써줘"** 라는 프롬프트 한줄만으로 AI 탐지율이 **3.3%로 급감 (false negative 급증)**
	- GPT 탐지기에 **비원어민이 쓴 논문 초록** 오탐률이 **43.9%** 에 달함
		-  **"문학적으로 다양한 표현을 써줘"** 라는 프롬프트 한줄만으로 AI 탐지율이 **19.1%로 급감 (false negative 급증)**
- **Hadra, Cambridge & Mesbah (2026) - doi: [10.1007/s40979-026-00213-1](https://link.springer.com/article/10.1007/s40979-026-00213-1)** 
	- 핵심 연구결과1: Tuirnitin과 Originality의 에세이 글 AI탐지율 연구결과,
		- **Turnitin**의 **900-1100단어 에세이 오탐률이 32%**
		- **Originality**의 **450-550단어 에세이 오탐률이 37%** 다.
	- 핵심 연구결과2: Turnitin과 Originality 모두 **이공계열 Academic writing에서 오탐지율이 각각 49%, 42%로 굉장히 높다** 
		- 인문학적 writing 탐지율 정확도는 각각 86%, 96%지만, 이공계열 논문 등은 **글 자체가 짧고 수치와 팩트만 쓰게 되어있는 discipline이라 AI 탐지기 자체가 부적합**

### 2.3 "탐지하는" 방식 자체도 한계가 있다
> [!quote] Ardito (2023) - Contra generative AI detection in higher education assessments
> **"탐지 메커니즘에 대한 의존은 AI가 점점 보편화되는 교육 현실과 어긋난다.**
> 견고한 평가 방법과, 생성형 AI를 포용하면서 학문적 무결성을 지키는 교육 정책으로의 전략적 전환이 필요하다."

> [!quote] Ardito (2023) - Contra generative AI detection in higher education assessments
> "전통적인 표절 탐지기와 **AI 탐지기** 는 작동 방식 자체가 다르다. 
> Turnitin과 같은 표절 탐지기는 **'원본 텍스트가 존재하는 경우에 대조하는'** 방식이지만, 
> AI 기반 탐지기는 **'최종 출력물을 기준으로 최종 텍스트가 '일반적인 LLM이 생성했을 문장인 것처럼 여겨지는 문장'** 을 탐지하는 방식이므로, 
> 원본을 대조하는 전통적인 표절 탐지기와 달리 **평과 결과를 독립적으로 검증할 수 있는 수단이 없다** 
> (AI detectors operate on a fundamentally different principle. They assess the degree to which textaligns with the most common outputs of supported large language models and do not provide anymeans to independently verify their assessment.) 

> [!quote] Ardito (2023) - Contra generative AI detection in higher education assessments
> Alice와 Bob이라는 두 명의 학생을 생각해보자. 
> Alice는 **에세이 초안을 작성하고 고민하며 작성하는 모든 과정을 직접 작성**하였는데, **최종적인 '마감'은 AI를 썼다는 이유로** AI유사도가 높게 나왔다.
> Bob은 반대로 **에세이를 GPT를 사용하여 전부 생성하고, 최종 마감 제출 직전에 단어와 문장을 'AI 검사기에 안걸리게 바꿔서'** 제출해서 AI 유사도가 낮게 나왔다.
> **이 경우, AIice의 에세이가 AI 유사도가 높다는 이유만으로 이 학생이 직접 작성한 origianl idea가 아니라고 판단하는 것이 과연 타당한가?**

###  2.4 AI 금지와 AI 탐지도 둘 다 안된다면 - 답은 '설계'다

- **금지 / 방임 / 설계: 세 갈래에서 답은 하나**
	- **금지형 ("AI 쓰지 마"):** 확인 불가능하고, 학생의 AI 활용 역량도 안 자란다.
	- **탐지형 ("탐지기로 잡자"**): 
		- OpenAI의 Text Classifier 공식 폐기
		- 비영어권 학생 및 STEM 계열 학생 편향
		- '탐지기 작동방식'의 근본적으로 다른 설계 - 한계점
	- **방임형 ("AI 써도 돼, 결과물만 내")**: 교수자가 전혀 통제할 수 없는 최악의 방향.

> [!important] 탐지, 금지도 아는 "설계"로의 전환
> **남는 답은 하나 — 설계다.** 
> 학생이 AI를 써도 자기 사고 없이는 통과할 수 없도록 평가를 설계하는 것. 이것이 AI시대 교육의 출발점이다.

## 3. Educational Harness Engineering: "학생들이 꼼수를 뭘 쓸까" 부터 출발한다

### 3.1 Prompt에서 Context로, 그리고 Harness로의 진화

- AI를 활용할때 보통 출발점은 "해줘" 혹은 "더 구체적으로 써줘"와 같이 무엇을 더 '해달라는' 시리즈의 프롬프트로 시작합니다.
- 예를 들어 "팩트체크 해줘"라는 프롬프트를 쓰면 **AI는 팩트체크가 뭔지 모릅니다.** 
	- 팩트체크라는 말 대신, **"한국기자협회 (www.journalist.or.kr) 웹사이트 '이달의 기자상' 페이지에 있는 페이지의 이달의 기자상 수상작 페이지에 있는 기사들의 본문만을 대상으로 여기에 있는 텍스트 내용을 대조해줘"** 라는 식으로 말을 다 풀어서 설명해야 비로소 제대로 작동하기 시작합니다. 이것이 바로 **Context Engineering**입니다.
- 그런데 잘 생각해보면, "한국기자협회 사이트에서만 대조해줘"라는 말은 사실 "이 사이트 이외에는 네 멋대로 참조하지 마"라고 **제약 조건을 더 쎄게 명시하는 것과 같습니다.**
	- 무언가 더 구체적으로 명시하는 것은 **사실 '하지 마'라는 금지 시리즈/제약 조건을 더 쎄게 명시하는 것**과 같습니다. 이것이 바로 **Harness Engineering** 입니다.

![harness1.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893021091-02a1d937-6d00-466d-9440-7510aa442b58.png)

### 3.2 사고방식의 전환: "공격자처럼 생각하라"

> [!QUOTE] Bruce Schneier — The Security Mindset (2008)
> *"Good engineering involves thinking about how things can be made to work; the security mindset involves thinking about how things can be made to fail. It involves thinking like an attacker, an adversary or a criminal. ... if you don't see the world that way, you'll never notice most security problems."*
> (좋은 공학은 무엇이 *작동하게* 만들지를 생각한다. 보안 마인드셋은 무엇이 *실패하게* 만들 수 있을지를 생각한다. 공격자·적·범죄자처럼 보지 않으면, 대부분의 보안 문제를 결코 알아채지 못한다.)

### 3.3 Educational Harness Engineering
- 나쁜 방식 (하네스 실패):
	-  **"내가 이렇게 열심히 시험문제/과제를 만들었는게 네가 감히 꼼수를!"**
- 좋은 방식 (하네스 성공):
	- **(GPT 혹은 AI를 동원해서 하네스 기획/설계/컨설팅 검토)**
	- "자, 내가 비대면 시험/과제로 이런 방식의 instruction으로 시험/과제를 내려고 해. 첨부파일은 내 시험/과제 instruction이고 시험은 이런이런식으로 진행하려고 해. 이렇게 했을 때 학생들이 어떻게든 어떻게든 어떻게든 본인 스스로 '절대' 생각을 안하고 에세이를 "AI야 써줘"식으로만 하고 대충 내려고 할건데, 
		- **a) 학생들의 꼼수가 어떤 것들이 있을 수 있으며,**
		- **b) 학생들이 아무리 치팅/꼼수를 쓰더라도 AI만 의존하는 식으로는 반드시 실패할 수 밖에 없도록 하는 설계 혹은,**
		- **c) 학생들이 본인 스스로 생각/기획/검토/비판을 안하면 logical error를 단번에 반드시 잡아낼 수 있도록 "사고 과정"을 평가 방식으로 설계하려면 어떻게 해야할까?**

![harness2.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893041212-e8d92e02-39fd-4768-9826-1c2865051c4e.png)

## 마인드를 바꾸셔야 합니다.
## 학생들이 꼼수를 쓴다면, 
## 교수님 본인께서 학생들이 "꼼수를 쓸 것 까지 감안해서" 틀어막는 평가 디자인 설계에 실패한 것입니다.
## 학생들은 "반드시" 생각을 안하려는 꼼수를 씁니다.
## 아예 모든 시험과 과제 평가를 거기에서 부터 출발해야 합니다.

## 4. Educational Harness Engineering 실제 사례1: AI활용조사방법론
### 4.1 AI활용조사방법론 - 수업 구성
- 수업시간 및 편성 : **대면수업**
	- 매주 월요일 수업 (3시간)
- 수업 진행 방식: **강의 + 토론 + 실습**
- 강의내용: **사회과학 조사방법론 + 프롬프트 엔지니어링 및 AI활용법** 
	- 사회과학 커뮤니케이션 관점의 전통적인 조사방법 이론 및 방법론 소개 
	- 사회과학 관점의 AI활용법 (Top-down thinking vs. Bottom-up thinking)
- 토론 및 실습: **NotebookLM 활용 + 영어 논문 읽기**
	- 제한시간 15-20분 동안 AI를 활용해서 프롬프트 엔지니어링에 대한 논문 등 읽기
	- 교수자: 소크라테스식 질문으로 학생들 스스로 직접 말로 설명할 수 있는지 되묻기


> [!quote] Achmage's Socratic Questioning Example
> 교수자 : "해당 논문 (Attention is all you need)에서 무슨 내용을 읽었죠?"
> 학생: **(화면을 보고 눈으로 읽으며)** "저는 논문에서 수식에 대해 물어봤는데요, AI설명에 따르면.."
> 교수자: **(의도적으로 말 끊기, 학생을 똑바로 쳐다보기)** "아, 수식이나 이런 거는 됐고, 그래서 이 논문에 따르면  LLM은 어떻게 작동하는지 설명할 수 있나요?"
> 학생: **(잠시 고민하다가)** "죄송합니다, 잘 모르겠습니다."

> 모르겠으면 "**나 아직도 잘 이해가 안되는데 더 쉽게 설명해줘, 초등학생도 이해할 수 있을 수준으로 설명해줘**, 라고 물어봐서 끝까지 내가 이해할 때까지 되물어봐야죠. 그래도 이해 안되면 옆에 '슬라이드 생성' 버튼으로 **이 논문을 쉽게 이해하기 위한 어린이용 학습만화를 그려줘,** 라고 프롬프트를 쳐서 읽어봐서라도 끝까지 이해를 해야죠. **그게 바로 프롬프트 엔지니어링의 첫 걸음 입니다.**"

### 4.2 AI활용조사방법론 - In-class 글쓰기

- 매 주차마다 수업 시간에 **매 주 30분 - 1시간 정도** '나 자신이 사회현상을 어떻게 바라보는지' 학습자가 스스로 파악하기 위한 글쓰기를 진행
- 글쓰기 주제는 **AI가 대신 작성해주는 것이 전혀 의미가 없는** 주제로 선정

|            주차             |        종류         |                       질문1 - A type                        |                             질문2 - B type                              |
| :-----------------------: | :---------------: | :-------------------------------------------------------: | :-------------------------------------------------------------------: |
|      **2주차 (3/16)**       |   자기 인식과 자기 서사    |     **나는 나를 어떤 사람이라고 생각하는데, 최근 그 생각이 흔들린 순간은 언제였는가?**     |       **나는 남들이 보는 나와 내가 생각하는 내가 다르다고 느낀 적이 있는가? 있다면 무엇이 달랐는가?**       |
|      **3주차 (3/23)**       |     말과 행동의 틈      |      **나는 중요하다고 자주 말하지만, 실제로 꾸준히 지키지 못하는 것은 무엇인가?**       |              **나는 싫다고 말하면서도 반복해서 하게 되는 행동이 있는가? 왜 그런가?**              |
|      **4주차 (3/30)**       |     판단 기준 해부      |      **나는 사람을 처음 볼 때 무엇을 보고 믿을 만한 사람인지 아닌지를 판단하는가?**      |              **나는 어떤 글이나 말을 들을 때 무엇을 보고 ‘그럴듯하다’고 느끼는가?**              |
|       **5주차 (4/6)**       |   관계에 따라 달라지는 나   |       **나는 혼자 있을 때의 나와 사람들 사이에 있을 때의 내가 어떻게 다른가?**        |      **나는 어떤 사람 앞에서는 말이 많아지고, 어떤 사람 앞에서는 조용해지는가? 그 차이는 왜 생기는가?**      |
|      **6주차 (4/13)**       |      규칙과 순응       |    **나는 평소에 당연하게 따르는 규칙 하나를 고른다면, 그것은 누구에게 유리한 규칙인가?**    |            **나는 이상하다고 생각하면서도 그냥 따르는 규칙이 있는가? 왜 계속 따르는가?**             |
|      **7주차 (4/20)**       |      비교와 공정성      |     **나는 무엇을 볼 때 ‘공평하다’고 느끼고, 무엇을 볼 때 ‘억울하다’고 느끼는가?**     |           **같은 결과라도 어떤 경우에는 납득하고 어떤 경우에는 화가 나는 이유는 무엇인가?**            |

### 4.3 AI활용조사방법론 - 기말고사 프로젝트
- 기말고사 프로젝트: 6/1 - 6/21까지 **총 3주간 학생 개개인이 매일 글쓰기 챌린지**
- 핵심 목표: **"나는 사회 현상을 어떻게 바라보는가?"를 글쓰기를 통해 학습자 스스로 깨닫게 하기**
- **Phase 1: 일상의 관찰과 기록 (6/1 ~ 6/11)**
	- "나는 매일 사회현상을 어떻게 바라보는가?"
		- 방법: 매일 하루에 최소 1개 이상, 나 자신과 사회 현상에 대한 생각을 옵시디언 노트로 작성합니다.
		- 내용: 뉴스를 보고 느낀 점, 길거리에서 한 생각, 사람들과 대화하며 발견한 나의 관점 등 무엇이든 좋습니다.
		- 목표: 내 생각의 조각들을 휘발시키지 않고 텍스트로 잡아두는 습관 형성하기
- **Phase 2: AI 메타인지 분석 리포트 기반 심화 글쓰기 (6/12 ~ 6/21)**
	- "나의 사고방식을 자각한 후의 기록은 어떻게 달라지는가?"
		- 기점: 6/12(보강 주차)에 제공될 **'AI 메타인지 분석 리포트'** 와 '인클래스 실습' 이후 2단계로 돌입합니다.
		- 방법: 분석을 통해 알게 된 나의 사고 취약점(Blind Spot)과 무의식적 패턴을 스스로 의식하며 매일 기록을 이어나갑니다.
		- 목표: 피드백을 반영하여 단순히 현상을 나열하는 것을 넘어, 한 차원 더 깊고 정교해진 심화 글쓰기 실천하기.

### 4.4 AI활용조사방법론 - AI 메타인지 분석 리포트 (학생 개별 맞춤)
- 매주 수업시간에 작성한 마크다운 글쓰기 (.md) 묶음을 학생별로 제출
- **AI 메타분석:** 학생 개인이 제출한 글쓰기 묶음을 전부 통합 분석하는 스킬스 (Skills) 프롬프트 설계
- **본문 근거기반:** 
	- 모든 피드백은 학생이 직접 제출한 글쓰기 내용을 기반으로 피드백하도록 AI 프롬프트 설계. 아첨 혹은 가스라이팅 금지 - 반드시 학생이 작성한 본문을 기준으로 피드백/반박하도록 설계
	- AI 피드백 예시: "학생이 2주차에 제출한 글쓰기 내용을 보면, '나는 타인을 판단할 때 쉽게 속단하지 않는 것 같다'고 쓰셨습니다. 하지만 본인의 주장과는 달리, 7주차 글쓰기 내용을 보면 '사람들은 왜 저러는지 모르겠다'거나 '이러이러한 것 같다'고 본인의 판단 기준으로 쉽게 근거없이 단정하는 문장들이 자주 등장합니다. 이러한 부분은 본인 스스로 생각하는 타인에 대한 기준에 대한 의식과, '실제로 타인에게 적용해서 판단하는 잣대' 사이에 인저적 갭/편향이 있다는 것을 드러냅니다. "
- **2-track feedback**
	- **사고·메타인지 프로파일 (Track A)**: 메타인지 점검, 자기조절과 실행, 사회현상 프레임, 정보 신뢰 판단, 자기서사와 변화,  자기불일치와 역할 긴장, 귀인과 책임 배분, 감정 해석 방식 등 8가지 이상 축으로 종합적인 평가
	- **글쓰기 역량 프로파일 (Track B):** 조직·구조, 논증·전개, 어휘·표현, 문체·목소리, 표현 명확성, 메타적 글쓰기 등 5가지 이상 축으로 글쓰기 문장 자체의 약점 + 글에서 드러나는 사고방식의 취약점 등을 동시에 평가
- **이론 기반**
	- 모든 학생의 피드백은 **사회과학 커뮤니케이션 이론에 근거해서** 메타인지 분석을 하도록 설계
	- 모든 분석 리포트에 **이론 논문 원문 링크 및 출처 (참고문헌)를 포함하도록** 설계

### 4.5 AI활용조사방법론 - AI 메타인지 분석 리포트 (예시화면)

![image.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893060162-6f48c07c-6a2c-432e-92e9-5295dd77ab9f.png)![image.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893063968-968c416b-717f-4686-8ebb-30122918e097.png)

![image.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893069130-7daeffe9-6ab2-41e1-aee4-d5b1650ec651.png)![image.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893073969-b80c617a-87b9-4c53-a52b-4d241dd87baf.png)
### 4.6 AI활용조사방법론 (2026-1) 기말고사 (대면시험 - 서술형/당일공개)

- **AI가 읽은 나, 내가 다시 읽은 나:**
	- 이번 학기 동안 여러분은 매주 자기 자신, 관계, 규칙, 공정성, 정보 신뢰, 디지털 습관, 실패와 책임, 감정 해석 등에 대해 직접 글을 써 왔습니다. 이후 여러분의 글 묶음을 바탕으로 개인별 **메타인지 분석 리포트**가 제공되었습니다. 또한 6/1~6/21 동안 매일 글쓰기를 이어가며, 6/12 이후에는 자신의 사고 취약점과 반복 패턴을 의식하며 기록하도록 안내받았습니다. 이번 기말고사는 AI가 만든 분석을 그대로 받아들이는 시험이 아닙니다. 오히려 여러분이 직접 쓴 기록을 근거로, AI 분석을 **확인하고, 반박하고, 고치고, 확장하는 능력**을 평가합니다.
- **시험문제:**
	- 다음 세 가지 자료를 바탕으로 하나의 완성된 에세이를 작성하시오.
		- 본인의 **메타인지 분석 리포트**
		- 6/1~6/11에 작성한 **Phase 1 매일 글쓰기 기록**
		- 6/12~6/21에 작성한 **Phase 2 매일 글쓰기 기록**
- **a) AI 리포트가 나를 어떻게 읽었는가:**
	- 본인의 메타인지 분석 리포트에서 가장 중요하다고 생각한 분석 1~2개를 고르시오.예를 들어 다음과 같은 항목 중에서 고를 수 있습니다.
		- 사회현상을 바라보는 프레임
		- 자기서사
		- 정보나 사람을 믿는 기준
		- 실패와 책임을 해석하는 방식
		- 감정이 생기고 해석되는 방식
		- 사고의 취약점
		- 글쓰기 습관
	- 단, 단순히 리포트 내용을 요약하지 말고, **왜 그 분석이 본인에게 중요하게 느껴졌는지** 설명하시오.
- **b) 나는 그 분석에 동의하는가, 동의하지 않는가:**
	- AI 리포트의 분석에 대해 다음 중 하나의 입장을 정하시오.
		- 동의한다
		- 부분적으로 동의한다
		- 동의하지 않는다
		- 처음에는 동의했지만 기록을 다시 보니 생각이 바뀌었다
		- 처음에는 동의하지 않았지만 기록을 다시 보니 일부 맞다고 느꼈다
- 답안에는 반드시 본인의 글쓰기 기록에서 **직접 근거 2개 이상**을 제시하시오. 직접 근거란 다음과 같은 것입니다.
	- 내가 실제로 쓴 문장
	- 내가 반복해서 쓴 표현
	- 비슷한 상황에서 반복된 판단 방식
	- 6/12 전후로 달라진 기록 방식
- **주의: AI 리포트가 맞다/틀리다를 단순히 말하는 것이 아니라, 내 기록을 근거로 AI 분석을 다시 판단하는 과정을 보여주어야 합니다.**
- **c) 6/12 전후, 나의 글쓰기는 어떻게 달라졌는가:**
	- 6/12 이전의 Phase 1 기록과 6/12 이후의 Phase 2 기록을 비교하시오.
	- 다음 질문에 답하시오.
		- 6/12 이전의 나는 사회현상이나 나 자신을 주로 어떤 방식으로 기록했는가?
		- AI 메타인지 리포트를 받은 뒤, 나는 무엇을 더 의식하며 쓰게 되었는가?
		- 내 사고 취약점이나 반복 패턴을 의식한 뒤, 글의 깊이·근거·질문·표현 방식 중 무엇이 달라졌는가?
		- 달라지지 않은 부분은 무엇인가?
		- 달라지지 않았다면, 왜 아직 그대로 남아 있다고 생각하는가?
	- **주의: 여기서 중요한 것은 “좋아졌다”고 쓰는 것이 아닙니다.  정말 달라진 것과 아직 그대로인 것을 구분하는 것이 중요합니다.**
- **d) AI는 나를 잘 읽었는가, 아니면 그럴듯하게 오해했는가**:
	- AI 리포트에서 본인을 잘 읽었다고 생각되는 부분과, 잘못 읽었거나 맥락을 놓쳤다고 생각되는 부분을 각각 하나 이상 쓰시오. 답안에는 반드시 다음 내용을 포함하시오.
		- AI가 잘 읽은 부분
		- 그렇게 판단한 이유
		- AI가 놓친 맥락
		- AI가 다르게 해석할 수도 있었던 부분
		- 앞으로 AI가 나를 더 정확히 읽으려면 어떤 자료나 질문이 더 필요했을지

### 4.7 AI활용조사방법론 (2026-1) 기말고사 - 학생 결과물 예시

> [!Quote] 학생A
> 나는 여태껏 '글'을 제대로 써본 적이 없다. 간단한 메모정도야 단지 내 할일을 기억하기 위해 쓰는 정도였고, 내 생각과 이야기를 풀어준 것은 이번이 처음이라고 할 수 있을 것 같다... (중략)
> ...(AI 메타인지 분석) 리포트를 읽기 전의 나는 대부분 주장을 질러놓고 글이 길어질수록 주장이 모호지고 확신이 없어지는 패턴을 보인다. **그래서 항상 끝맺음이 글을 읽는 독자에게 책임을 전가한다**... (중략).. 그러나 리포트를 받은 이후, **크게 달라진 점은 내 주장에 대한 내 생각을 명확히 전달하고 타인입장도 생각하며 '이해'를 해보려고 하기 시작했다.** 나조차도 리포트를 읽고 간파당한 느낌에 '핑계'가 아닌 방식을 택한 것이다.

> [!quote] 학생 B
> **내 글의 단점은 습관적으로 '굉장히'라는 단어를 사용하고 문장 끝마다 '~인 것 같다'를 붙여 내 생각을 자신감 없이 흐리는 버릇이 있다는 것이다.** 그동안 아무런 생각없이 써온 표현들이 단점이 될거라고 생하지 못했다. 내 글쓰기 습관을 알게 되고 습관적으로 '굉장히'를 쓰고 있는 것을 알아차리고 곧바로 지웠ㄷ다. 내 단점을 스스로 직접 확인하고 난 후, 앞으로 모호한 부사로 문장을 포장하지 않고 정확한 어휘를 선택해야겠다고 다짐했다. 
> **나도 모르는 나의 단점을 알게되어 어떠한 부분보다 글쓰기 습관이 가장 중요하게 느껴졌다.** (AI 메타인지 분석) 리포트를 읽고 난 후에 글을 쓸 때 조금 힘들었다. 몰랐던 단점을 고치려고 하니까 글을 쓰는데 계속 멈칫했다.... (중략) 6/12 이후 단점을 고치려고 의식하면서 글을 작성했다. **글을 매일 쓰다보습관이 점점 바뀌고 있는 것을 느꼈다.** 원래 같으면 '남을 비난하고 자극하는 글들은 잘못된 것 같다' 라작성했겠지만 지금은 '남을 비난하고 자극하는 글들은 잘못됐다' 라고 작성한다. **지금 보면 습관을 고친 글이 더 자연스러운데 과거에는 왜 저렇게 썼을까 하는 생각이 든다.**

> [!quote] 학생 C
> (중략) ...제 속마음을 어떻게 하기 싫었던 것이었습니다. 그냥 쉬고싶고 스트레스를 풀어야 한다는 생각을 더 하기가 싫었습니다. **이러한 점들을 글쓰기에 담아내자 오히려 머리가 맑아지고 뭔가 힘주고 살던 것들이 없어지면서 시간이 느리게 가는 것처럼 느껴졌습니다.** 신기한 경험이었고 이전의 글들과 비교하며 왜 이 글이 더 눈에 잘 들어왔는지 살펴보았습니다.
> 이전의 글들의 특징은 "긍정적인 생각을 하자. 워라밸은 틀린 문장이다"와 같이 어떠한 주장이나 느낀 점들을 적어도 멋있게 적으려고 한 것들이 보였습니다. 물론 몇개의 에세이는 맘에 들고 그랬지만 이거는 나 같지는 않다 라는 에세이들도 보였습니다.  그래서 그 이후부터는 생각이 나는 대로 두서없이 적기도 하고 "짜증난다. 더럽다"와 같은 말들도 적어내기 시작했습니다. 그 과정에서 이러한 글들을 적는 나도 내 모습 중 하나임을 받아들이게 되어 조금은 뻔뻔하게 사는 것도 좋겠다, 재미있겠다 하는 생각이 들었습니다. 그래서 그 며칠동안 제 글들을 보면 초딩같은 글도 있고 청년의 글도 보입니다. 다채로워진 제 모습을 보이면서 **내가 나를 잘 알면 그걸로 충분하고 좋다라는 게 뭔지 조금은 알 것 같습니다.**

> [!quote] 학생 D
> 크게 2가지를 뽑을 수 있었습니다. 첫째, 나는 문제 상황을 긍정적으로 바라보는 재인식 능력을 갖고 있다는 점입니다. 이는 제가 평소 사고하는 방식이 글쓰기에서도 확연하게 드러난다는 것을 보며 놀랐습니다. 둘째, AI 리포트는 제가 '정보를  무조건적으로 수용하는 태도를 지닌 사람'이라고 말합니다. 유브 혹은 관련 종사자(사람들)에게 들은 말을 아무런 검증 없이 쉽게 믿곤 한다고 분석했습니다.
> 그렇다면 이 (AI 메타인지 분석) 리포트를 읽고 난 후의 글쓰기는 어떻게 달라졌을까요? 6/12 이전의 글쓰기를 통해 저는 사회현상이나 자신을 초긍정의 시선으로 바라보며 어쩔 땐 지나친 낙관주의적 태로 기록하며 사고했습니다. 하지만 AI 리포트를 받은 뒤, **저는 '지나친', '과도한' 긍정의 태도는 역설적으로 나태함과 안일함을 가져온다는 것을 깨닫고 나의 문제 상황, 사회 문제를 더욱 날카롭게 바라보며 기록하려 했습니다.**
> ...(중략) **미처 제가 생각하지 못한 부분을 글쓰기를 보고 '사고 방식과 글쓰기 습관'까지 꿰뚫어 분석하것을 보고 놀라울 따름이었습니다.** AI가 분석한 지나친 긍정적 재인식 능력과 무조건적 수용 태도는 앞으로 살아가면서 꼭 돌아보며 성찰해 개선해 나가야 했던 부분입니다. **수업을 통해 '기록'의 힘은 얼마 위대한 것인지 그로 인해 발전된 '나'를 마주하는 것은 또 얼마나 의미있는 것인지 깨달았습니다.** 

### 4.8 AI활용조사방법론 (2026-1) - 한 학기 성과 요약
- **사회과학적 현상과 나 자신에 대한 글쓰기 실습 토탈:** 
	- In-class 글쓰기 : **8회**
	- 3주 간 매일 글쓰기 챌린지 (글쓰기) : **6/1~6/21 (21일, 3주)**
	- AI 메타인지 학생 개별 맞춤 분석 : **각 1회 (6/12)**
- **학생들의 전반적인 메타인지력 및 문제의식의 비약적 향상:**
	- 90% 이상의 학생들이 글쓰기 문장 습관 + 사고의 인지적 취약점을 스스로 깨닫고 설명하는 글쓰기를 제시 (**기말고사 제출물 기준 - 디지털 기기 전혀 없이 자필 글쓰기로 이룬 성과**)
	- 커뮤니케이션 능력 향상: 
		- "한 학기 수업을 통해 얻은 것들에 대해 개인적인 소감을 말해보라"라고 교수자가 제시
		- **모든 학생들**이 노트북 화면을 보지 않고 **교수자와 Eye-contact을 유지하며 자연스럽게 스스로의 감정을 차분하게 목소리 떨림 없이 진솔하게 말할 수 있을 정도로 비언어적 커뮤케이션 능력이 대폭 향상**되었음

## 5. Educational Harness Engineering 실제 사례2: AI Digital Graphic Design (2026-1)
### 5.1 AI DGD - 수업 예시
- 수업시간 및 편성 : **대면수업**
	- 매주 화/목 (3-2-2)
- 수업 진행 방식: **강의 + 실습**
- 강의내용: 
	- 전반부 (중간고사까지) : Affinity v3를 이용한 Traditional 2D 그래픽 디자인 실습
	- 후반부 (기말고사까지) : AI를 활용한 HTML + 바이브 디자인 + 바이브 코딩

### 5.2 AI DGD - 기말고사 (Instruction)

| 항목    | 내용                                                                                                                                                                                                         |
| ----- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| 시험 방식 | 제한 시간 안에 HAI-GPT를 활용하여 HTML PPT 제작                                                                                                                                                                         |
| 주제    | **실제로 청년 창업 지원금 또는 투자 지원금을 받기 위한 경쟁 발표에 참가했다고 가정하고,** 자신이 가장잘 알고 있는 관심사·전공 지식·취미·교내외 활동·아르바이트 경험·동아리 경험·프로젝트 경험 등을 바탕으로 창업 아이디어 또는 투자 제안 HTML PPT를 제작하시오. **발표 대상은 교수가 아니라 실제 심사위원이라고 생각하시오**              |
| 평가기준  | 왜 지금 이 문제가 중요한가?<br>이 문제에 대해 내가 직접 알고 있는 것은 무엇인가?<br>내 주장을 뒷받침하는 실제 자료는 무엇인가?<br>내가 참고한 자료는 실제 웹에 존재하는가?<br>HTML PPT 안에서 그 자료로 바로 이동할 수 있는가?<br>AI가 만든 말을 내가 확인했는가?<br>이 발표 자료를 만들기 위해 어떤 생각과 작업 과정을 거쳤는가? |
| 제출물   | HTML PPT 8장짜리 + **AI 채팅창 작업과정 전체 로그 (미제출시 50% 즉시 감점)**                                                                                                                                                     |

| 구분    | 예시                                     | 왜 그런가                         |
| ----- | -------------------------------------- | ----------------------------- |
| 나쁜 주제 | AI 기반 쇼핑몰 창업                           | 너무 넓고, 본인이 아는 내용인지 알기 어려움     |
| 나쁜 주제 | 대학생 대상 앱 만들기                           | 누구의 어떤 문제인지 불분명함              |
| 좋은 주제 | 교내 외국인 유학생을 위한 지역 생활 정보 HTML 뉴스레터      | 실제 사용자와 정보 문제가 비교적 분명함        |
| 좋은 주제 | 운동 초보자를 위한 학교 주변 헬스장·운동 루틴 비교 서비스      | 본인 경험, 자료조사, 비교표, 시장성 설명이 가능함 |

| 항목                 | 기준                                     |
| ------------------ | -------------------------------------- |
| 클릭 가능한 웹 출처        | 최소 5개 이상 권장                            |
| 공식성 있는 출처          | 정부/공공기관/대학/기업 공식 페이지/논문/보고서 중 1개 이상 권장 |
| 출처 표시 위치           | 해당 슬라이드 하단 또는 참고자료 슬라이드                |
| 링크 형식              | 클릭하면 실제 페이지로 이동해야 함                    |
- **좋은 출처 예시:** 
	- 정부 또는 공공기관 웹사이트
	- 대학 또는 연구기관 자료
	- 기업 공식 웹사이트
	- 실제 서비스 소개 페이지
	- 신문 기사
	- 논문 또는 보고서
	- 통계청, 지자체, 공공 데이터
	- 창업 지원사업 공식 안내 페이지
- **나쁜 출처 예시:**
	- AI가 “그럴듯하게” 말한 출처
	- 클릭해보면 없는 링크
	- 출처는 있지만 PPT 주장과 실제 내용이 맞지 않는 경우
	- 출처 표기를 했지만 링크가 클릭되지 않는 경우

> [!Important] 핵심평가기준
> 디자인 퀄리티에 상관 없이 **기획의도가 명확한가** 여부를 핵심 평가 기준으로 적용하겠다고 설명

### 5.3 AI-DGD 기말고사 (실제 예시)

![image.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893078236-60ec786a-4000-467b-aa5c-cdd600e5fe9b.png)
![image.png](https://pub-acf6ad93f2ec4a5e8fa12e94d0c9b151.r2.dev/1791893082020-c52f6f8e-5038-44e5-8e97-3210b9493bc1.png)

### 5.4 AI-DGD 기말고사 (교수자 평가 예시)
- **앱 UX/UI 부재:** 관광 "앱"인데 왜 앱 시안이 하나도 없어요?
- **예산 편성의 문제:** 바이브 코딩으로 자본금 0원으로 되려 매출을 1000만원을 올렸다는 사람도 있는 시대인데, **왜 지원금을 받으면 개발을 그때부터 하겠다는 사람에게 예산을 줘야하는가?**
- **근거 부재:** '해외 타겟 마케팅'이라고 해놨는데 그래서 구체적으로 어떻게 인플루언서를 유치할것인가?
- **디자인 미스:** '한류' 색깔 톤이 이게 맞아요? **(일관성 없는 브랜드 키컬러)**

> [!Important] 평균 채점 시간: 5분 미만
> "앱"이나 "플랫폼"이라는 키워드가 등장했는데 **앱/플랫폼** 시안이 없음 : **자동적으로 낮은 점수**
> 기획/컨셉이 레드오션이거나 근거 부족: **자동적으로 낮은 점수**
> "내가 왜 굳이 너네한테 돈줘야하는데?": **자동적으로 낮은 점수**

### 5.5 AI-DGD (2026-1) - 교수자 관점 시사점
#### A. 과제 설계 원리 (Input Design)
- **기획/Logical Loop 을 설계할 것:** GPT를 '무지성으로' 돌리면 절대 해결할 수 없는 논리적인 Logical error 함정에 반드시 빠지도록 하는 과제를 설계
- **꼼수를 써도 아예 소용없도록  설계할 것:** "AI를 돌려도 소용이 없을 정도로" 혹은 AI-DGD 과목처럼 "AI를 쓸 것을 감안해서" 실무 기준으로 난이도를 대폭 올리기
- **AI가 대체 불가능한 주제를 고를것:** AI활용조사방법론의 '글쓰기' 예시 - **"너 자신에 대한 글쓰기를 AI한테 해달라고 하면 그걸 도대체 어디다 써먹을건데??"**
- **과정을 제출하도록 요구헐것:** 작업로그 미제출시 시험/과제점수 50% 즉시 감점 등

#### B. 평가/채점 방식 (Output Evaluation)
- **사고 과정 자체를 평가:** 최종 결과물과 과정을 동시에 평가. 작업 기록도 제출하게 하면서 시험 제한시간을 줄여버리면 아무리 AI를 돌려도 반드시 사고의 취약점을 드러내게 되어있음
- **소크라테스식 구두 검증:** 발표를 외워서 하는 느낌이 있으면 **그 즉시 학생의 말을 끊어버리고 질문을 연타**로 하세요. 
- **정답이 있는 문제를 내지 말 것:** 학생들은 공통적으로 '정답이 없는 문제'에 취약합니다. 그리고 교수는 '정답이 없는 문제'를 학생이 스스로 어떻게 해결하는지 보면 **단 몇 분 만에 채점할 수 있습니다.**

#### C. Educational Harness 핵심 (Core)
- **공격자처럼 생각하기:**  "꼼수를 쓸 것"을 전제로 설계
	- 1차적으로 시험이나 과제를 설계한다음,
	- GPT 등으로 "이렇게 과제/시험을 내면 학생들이 꼼수를 무엇을 쓸지" 생각해보도록 리뷰 (skills 개선/리뷰와 같은 원리)
	- 꼼수를 감안해서 위 A/B 내용들을 반영한 설계로 개선해달라고 제안
- **탐지/금지가 아닌 설계:** 
	- 실패 시 학생 탓이 아니라 설계 실패 ("실패한 프롬프트")
	- AI 프롬프트 조차도 "실패한 프롬프트"를 왜 실패했는지 반영을 해야 비로소 잘 작동합니다 (하스 엔지니어링의 핵심 원리)
	- **이렇게까지 했는데 요런 꼼수는 쓸 줄 몰랐네, 라고 무작정 격분하기만 할 것이 아니라, 새로운 '꼼수' 사례를 교수자 노트로 즉시 기록하고 다음학기 수업에 반영하세요 (하네스 업데이트)**

## AI를 막지 마십시오. 
## AI를 써도 '생각' 없이는 통과 못 하게 설계하십시오. 
## 그것이 바로 Educational Harness Engineering 입니다.