바다에 퐁당 Ꙭ̮ ꉂ ◡̈⋆*

초등 인공지능 교육을 위한 설명 가능한 인공지능의교육적 의미 연구(2021)

박다빈․신승기, 서울교육대학교 교육전문대학원 인공지능교육전공

1. ‘설명가능한’ 인공지능의 필요성 제고 (국제적 경향)

• 대통령 직속 4차산업혁명위원회의 ‘인공지능의 대중화’를 위한 대국민 인식조사 결과 많은 국민들이 인공지능(Artificial Intelligence, AI)시대의 도래를 공감하면서도, 교육경험, 활용수준, 신뢰도 부분은 향상이 필요하다고 답하였다.  (인공지능의 신뢰도 향상에 대한 윤리적인 요구 또한 증가)
• 유럽: 인공지능의 의사결정에 관한 신뢰도를 높이기 위하여 XAI 지속적으로 강조
  이는, 유럽인들의 삶에 영향을 미치는 누군가의 의사결정에 대하여 설명해야 한다는 유럽일반정보보호규정(General Data Protection Regulation)에 부합하는 개념이다[21].
• 미국: 인공지능 기술이 도입된 주택대출, 신용카드 발급 등의 금융 분야에서 인공지능의 의사결정에 이유를 제공하도록 법적으로 의무화하고 있다[22].
• 인공지능은 점점 인간의 삶에서 중요한 부분에서 의사결정을 내리고 있으며 그 결정에 대한 이해 및 신뢰도를 높이기 위해서는 사용자에게 인공지능 의사결정의 이해를 알기 쉽게 설명해주고 의사결정을 보장해주는 법적인 제도와 윤리적인체계가 요구된다.

2. XAI가 필요한 이유

• A. Adadi, M. Berrada(2018)
  1. 인공지능의 결정에 대해 정당하게 설명하기 위한 근거가 된다(Explain to justify). 특히, 예기치 못한 인공지능의 결정에 대한 정당한 설명을 제공한다.
  2. 인공지능의 잘못된 것을 바로잡을 수 있다(Explain to control). 중요한 결정 상황에서 심각한 오류 등을 방지할 수 있다.
  3. 인공지능을 지속적으로 개선하기 위함이다(Explain to improve)
  4. 새로운 지식을 얻을 수 있다(Explain to discover).누군가에게 설명을 요청하는 것은지식을 얻기 위한 새로운 사실을 배우는 데 도움이 되는수단이다. 설명 가능한 인공지능 모델은 다른 분야에서의 통찰을 제공해줄 수 있다[2]
• Arrieta et al(2020)
  • 인공지능과 관련된 대상에 따라서 왜 XAI가 필요한지 달라진다고 하였다.
  • 데이터 과학자, 개발자 등은 상품이나 제품의 효과성, 연구, 새로운 기능들을 확인하고 개선시키기 위해
  • 인공지능 모델의 의사결정에 의해 영향을 받는 사용자의 경우에는 그러한 결정이 공정한지 입증하기 위해서 ✅

3. XAI을 주제로 한 교육 사례

Jose M. Alonso(2020)가 고등학생을 대상으로 하는 ‘XAI4TEENS’라는 XAI 교육 프로그램을 개발하였다.

- 농구 선수 데이터를 가지고 스크래치로 코딩하고 의사결정트리 분류기를 활용하여 선수 데이터를 분류

- 시각화 하여 그래프로 결과를 나타내본다.

효과: 학생들은 신체적인 특성과 과거의 점수 데이터만을 활용하여 성별과 피부색에 관계없이 선수를 선발할 수 있는 설명 가능한인공지능을 만들고 체험할 수 있다.

4. XAI가 설명을 제공하는 원리

1. Samek, W et al(2017)
   1. SA(Sensitivity Analysis)기법
      입력 변화에 대한 예측 결과의 변화량을 정량화하여 어떤 부분이 결과 도출에 큰 영향을 끼쳤는지 설명
   2. LRP(Layer-Wise Relevance Propagation)기법: 딥러닝 모델에서 각 레이어별 기여도를 측정하는 방법
   3. 이 모델을 이해시키기 위한도구로서 히트맵(heat map)을 사용한다. 이러한 시각화도구는 어떤 모델이 적절한지, 어떻게 인공지능이 구현되었는지를 설명하는 중요한 장치가 된다.
2. Gunning, D., & Aha, D.(2019)
   • Explanation interface: 인간의 이해와 모델을 연결할 수 있는 방법
     • 그래프, 그림 등으로 시각화(visualization) 기법
     • 인공지능 사용자의 심리적인 모델(Mental model)을 만들어 이해의 평가도구로 활용
3. Derek Doran et al(2017): 현재 대부분의 설명 가능한 인공지능의 문제들은 해석 가능하고 이해하기 쉬운 모델에 관한 연구가 대부분이라고 말한다. 하지만, 설명 자체를 제시하지 않는 점이 한계라고 말한다. 따라서, 설명 가능한 인공지능을 구현하는 과정에서 가장 중요한 것은 명시적인 자동 추론 기능을 공식화하는 것을 강조한다. 즉, 기계에서 표현되는 기호 — 그 기호로 설명되는 개념을 연결시키는 것이 추론 엔진이며 이것이 설명 가능한 인공지능의 핵심이라고 주장한다[5]

<설명 가능한 인공지능 모델에 적합한 해석 기법을 적용하기 위한 두 가지 분류 기준>
Arrieta, A. B. et al(2020)*어떤 상황의 경우 두 가지 분류기준에 모두 속하기도 한다

• 투명한 모델(Transparent models)이란 모델 그 자체가 어느 정도의 해석력을 지니는 것을 의미한다. 모델을 기반으로 인공지능의 결정에 대한 해석이 구조적으로가능
• 사후 설명가능성(Post-hoc explainability)은 쉽게 해석할 수 없는 모델을 위해 고안된 것이다. 이 방법은 외부 기법에 의해 설명되는 것인데 주로 사용되는 기법은 텍스트 설명, 시각적 설명, 부분 설명, 예시 설명, 단순화 설명 등이 있다.
  1. 텍스트 설명(Text explanation)이란, 모델의 기능을 심볼(symbol)로 생성하는 것을 의미하는데 인간의 언어나 수식 등을 활용
  2. 시각적 설명(Visual explanation)이란, 모델의 행동을 시각적으로설명하는 것으로 가장 많은 방법들과 함께 사용되어인간의 이해도를 높인다
  3. 부분 설명(Local explanation)은전체 모델의 일부만을 집중하여 설명하는 것
  4. 예시 설명(Example explanation)은 특정 모델로 인해 생성된결과와 관련된 예시를 추출하는 방식
  5. 단순화 설명(Simplification explanation)은 훈련된 모델에 기초하여 복잡한 것을 줄이며 설명을 위한 새로운 시스템을 만드는 방법

5. 설명 가능한 인공지능의 교육적 의미

1. 설명 가능한 인공지능교육은 인공지능의 블랙박스 문제를 해결하는 것을 목표로 한다. 그리고, 인공지능의 블랙박스 문제는 인공지능과 함께 살아가는 사람의 삶과 연관되어 있다. 그 문제를 해결하기 위해서는 인공지능 알고리즘 교육과 실생활 문제와 관련된 인공지능 모델을 이해하는 것을 넘어 언어와 그림으로 설명할 수 있는 교육이 동시에 이루어져야 한다. 이러한 문제 해결 과정을 통해 학생들은 문제해결력을 기르고, 인간과 관련된 인공지능 문제를 해결함으로써 사람 중심의 인공지능 교육을 가능하게 한다.
2. 알고리즘 교육을 통해 인공지능의 원리를 이해하고 실생활 문제 상황과 관련된 인공지능 모델을 설명하며 인공지능의 활용 분야까지 확장할 수 있다.
3. 인공지능 교육의 영역이 서로 간 연계가 되어야 한다는 점에서 볼 때[1], 설명 가능한 인공지능 교육은 인공지능의 원리, 활용, 윤리적인 부분까지 다룬다는 점에서 인공지능 교육 요소에 중요한 부분이다

6. 초등학교에서 설명 가능한 인공지능 교육 방안

1. 실제 삶과 관련된 문제를 설명 가능한 인공지능 교육 전반에 적용될 수 있도록 해야 한다.
2. 초등 인공지능 알고리즘 교육에서는 알고리즘 자체가 해석력을 지닌 것을 사용하는 경우가 많다. 인공지능 모델을 설명하는 활동에 자체 해석력을 확보한 모델을 사용하는 것이 좋을 것이다.
3. 인공지능 모델의이해가 설명으로 나아가기 위해서는 다양한 교수학습방법 및 도구를 활용해야 한다. 누군가를 이해시키는데가장 효과적인 기법 중 하나는 시각화이다.

본 논문은, "교육에서 XAI가 필요한 상황/필요성"이 무엇일지 고민해보게 했다.

1. 학생들로 하여금 인공지능의 개념과 원리를 이해를 돕기 위해 XAI를 사용?
2. 실제 (교육) 상황 속에서 인공지능을 사용할 때, 인간 중심적으로,주체적인 사용자가 되기 위해 X를 필요로 하는 것?
3. 데이터 (인공지능) 리터러시 교육의 측면에서..?

필자가 교육 분야에서 XAI가 필요하다고 주장할 때, 주로 2번 상황에 국한해왔으나 본 논문은 '초등 인공지능 교육을 위한'이라는 제목에서 짐작할 수 있듯, XAI 도입 사례를 소개할 때 1번 상황에 더 집중한 것 같다.

그러나 '모든 학생들에게 인공지능 개념 교육을 시행해야하는가?'라는 질문에 회의적인 입장으로서, XAI의 필요성을 논할 때 2번과 3번 상황에 더욱 방점을 두어야 한다고 생각한다.

(한편으로는, 2와 3을 제대로 실현하기 위해서는 1번이 선행되어야 하는가?라는 질문도 생긴다.)

더불어, 초등 인공지능 교육이라는 주제에서 벗어나 교육에서의 XAI의 활용을 더 넓게 생각하자면, 투명한 모델 중심으로 XAI를 활용하는 방식에는 한계가 상당히 클 것 같다. 사후 설명가능성 모델을 도입할 때 각각의 설명 기법이 어느 시점에 어떠한 빈도와 형태로 제시되어야 하는지에 대한 고민이 필요할 것이다.

https://www.youtube.com/watch?v=Z2Vm62QXR_Y 

Deep Knowledge Tracing; DKT: 딥러닝을 이용하는 '지식상태'의 추적

- 문제를 풀어감에 따라 학생의 지식 상태의 예측도 변해간다.

- 입력: 문제와 정답여부 & 출력: 예측한 지식 상태

- 모델을 훈련하려면 출력을 라벨링해야 하는데, 학생의 지식상태는 라벨링하기 매우 어려움. 따라서 학생의 예측한 지식 상태 자체를 예측하는 것이 아니라, [대안] 출력한 지식 상태를 기반으로 '다음 문제를 맞출지 여부'를 예측함. (다음 문제의 정답 여부는 이미 라벨링되어 있음)

- 다음 문제가 정답일 경우 이해도 증가 vs 오답일 경우 하락: 다음 문제에 한해서 지식의 이해도를 수정

특징

- 데이터가 많아질수록 지식상태 예측은 더욱 정밀해짐

- 데이터가 적을수록 과적합 가능성 높아짐.

DKT의 필요성

공부 방향의 제시 (취약한 부분 진단)

가장 효율적인 문제 풀이 순서를 제안해줄 수 있음 (어떻게 하면 취약한 부분을 효율적으로 학습할 수 있는지.)

맞춤형 교육

1. 데이터 전처리

interation

문제와 응답을 하나로 묶어서 데이터로 다룰 경우, 이를 DKT에서는 interaction이라고 부른다.

DKT에서 interaction을 encoding하는 일반적인 방법:

문제 종류가 n개, 응답의 종류가 m개이면 원핫인코딩은 모통 nm 크기의 벡터. (틀리면 좌측에서, 맞으면 우측에서 원핫인코딩을 진행함)

데이터 증강 (data augmentation)

적은 데이터 개수에 valid set까지 사용하면 개수 더 줄어들게 됨 => 최대 시퀀스 길이를 넘어서 잘린 데이터를 이용하자.

max length가 n이라고 할 때 하나의 시퀀스에서 n만 잘라 쓰는 게 아니라, 시퀀스를 n단위로 자른 조각들 각각을 모두 사용함.

but 

이러한 단순 window 방식은 오히려 오버피팅이 일어날 수 있음 (쪼갠 단위 내에 정답 데이터가 한 개 뿐이면..)

-> 차라리 문제별로 나누는 것이 더 효율적이지 않을까 성찰.

2. 모델

=> 출력: 3차원 텐서 형태.

=> 벡터 각각이 문제별 이해도(지식상태)를 나타냄.

3. 성능 향상에 기여한 것

1. data augmentation & 10 k-fold 평균 앙상블

2. 하이퍼파라미터 튜닝

3. 성능 향상을 위해 가장 중요한 것

3.1. 최대 시퀀스 길이

3.2. 마지막 쿼리로만 하는 loss 계산 + BCE LOSS

- 같은 문제가 연속으로 묶여있음. 길이가 1~1907.

- 같은 문제를 연속으로 푸는데도 그 문제가 맞을지 틀릴지 장담하기 어려움. => 정오답이 나열된 정보만을 가지고 예측, 나아가 동전 던지기 영역에 더 가까워 보임. (특히 데이터가 매우 적기 때문에 모델이 정오답 패턴을 파악하는 것은 어려워 보이)

- "many to one" : 베르누이 모수 개념(베르누이 분포 모수 추정 방식)에 착안해보자. (4개를 맞추고 1개를 틀리면 모수가 0.8이 됨. 정, 오답 여부 결정할 때에도 실제 TEST에서도 해당 모수 0.8에 더 가까운 것을 선택함) (물론 비유적인 표현)

- 모든 정답 여부를 출력하지만 마지막 쿼리만을 사용하여 loss를 계산함. (many to many보다 훨씬 성능 더 좋음)

* 데이터가 충분할 경우 transformers 기반 모델이 효과적일 수 있지만,

데이터가 적으면 오버피팅 발생하기 쉬우므로 차라리 light한 GRU를 선택.

오늘 교육공학 연구실 세미나에서 배우고 느낀 점을 이하와 같이 정리해보고자 한다.

나의 의견에 대한 반박과 아이디어는 언제나 환영,,, 🌝

1. 인간의 직관 VS 빅데이터 기반 딥러닝

+

차이점 1번과 관련하여 떠오르는 아이디어가 있다

자신이 '이 부분은 정확히 예측할 것 같다(=나는 input에 대해 잘 알아)' 혹은 '정확히 예측하지 못할 것 같다(=나는 input에 대해 잘 몰라)'를 사전에 판단할 수 있는 인공지능도 있을까?

혹은 현재 input에 대한 예측 정확도는 n%야 라고 설명하는 인공지능이 개발되었을까?

--- 나아가 XAI와 관련된 아이디어인 것 같다는 생각도 든다.

+ 

사실 차이점 2번과 관련하여서는 내 의견에 대한 확신이 부족하다. 사실 인공지능의 예측 과정 자체가 블랙박스라, 인공지능에게도 어떠한 특별한 역량이 있다고 혹은 없다고 단정짓기 어려워 보인다.
+ 그렇지만 여전히, 인공지능은 주로 단일한 형태의 정형화된 데이터에 상당히 의존적인 모델이라고 생각한다.

이와 달리 인간의 직관은 상대적으로 더 입체적이고 다양한 방식으로 생성된다는 이미지가 있다. 예컨대, 경험 데이터의 형식이 훨씬 다양하고 정형화되어있지 않으며, 각 경험이 개인의 직관을 구성하는 방식 역시 역동적일 것이다.

+ 흠... 오히려 공통점에 가까운가..?

+ 그렇다면 차이점에 무엇이 또 있을까...?

2. 분야별로, 교과별로 필요한 직관은 서로 다르다. 

3. 나의 탐구 주제:

"인간과 AI 간 관계가 보다 신뢰롭고 긍정적이도록 형성하려면 어떤 전략/요소가 필요할까?"

"XAI에서 X한다면 어떤 방식으로 제공되는 것이 적절할까? 어느 시점에? 학습자가 X를 원하는 경우는 언제일까?"

-저작자표시

-비영리

-변경금지 !!!