들어가기전
이 레포트는 2024년 6월 석사 1학년에 인지 감성과 AI 수업(이상원 교수님)에서 작성한 레포트이다. 이전 레포트(위 링크)를 통해 Intelligence Personal Assistant 디바이스인 Rabbit r1의 Large Action Model을 기반으로 한 Action teach mode의 문제점을 도출한 것을 바탕으로 가설을 세우고 검증할 수 있는 실험까지 설계한 과제이다. 본 과제를 통해 두가지 다른 Action teach mode의 인터페이스를 통해 사용자에게 미치는 영향을 매개 변수 모델로 알아보고자 하였다.
1. Introduction
1.1 Motivation
현대 사회에서 인공지능 기반의 지능형 개인 비서(Intelligent Personal Assistants, IPA)는 사용자들의 일상생활을 지원하는 중요한 도구로 자리잡고 있다. 특히, 음성 인식 기술과 자연어 처리 기술의 발전으로 IPA의 활용 범위는 점차 확대되고 있다. 그러나, 이러한 시스템이 사용자들에게 신뢰를 얻기 위해서는 단순히 명령을 수행하는 것을 넘어, 사용자의 기대와 요구에 부응하는 학습 능력을 갖추어야 한다. 현재 IPA 디바이스인 Rabbit r1의 LAM(Large Action Model)은 사용자가 학습하고자 하는 동작을 녹화하여 학습하는 시스템이지만, 이 과정에서 사용자는 학습이 잘 되고 있는지에 대한 여부를 알 수 없는 블랙박스의 문제가 존재한다. 사용자 개입과 피드백이 부족할 경우 학습 시스템에 대한 신뢰성이 떨어질 수 있다(Shin, 2022). 이러한 문제를 해결하기 위해 본 연구는 IPA의 녹화기반 학습 시스템에서 사용자 개입을 통해 자율성(Autonomy)을 낮추어 신뢰성을 높이고자 한다.
1.2 Research Domain
본 연구는 IPA의 녹화기반 학습 시스템이라는 시나리오에서 자율성, 학습 지각도, 사용자 감정 반응, 신뢰성들의 관계를 직렬 매개분석(Serial Mediation Analysis) 방법론을 통해 모델링하고 분석하고자 한다. 이를 바탕으로 자율성과 신뢰성에 학습 지각도, 사용자 감정 반응이 어떻게 매개되는지를 파악하는 직렬 매개 모델(Serial Mediation Model)을 도출하고자 한다.
2. Background
2.1 Intelligent Personal Assistants
IPA는 인공지능 기술과 첨단 기술의 결합으로 음성, 텍스트를 통해 사용자의 언어를 이해하며, 사용자의 의도를 추출하고 요청을 처리하는 등 사용자에게 특화된 서비스를 제공해주는 소프트웨어를 의미한다(Seo, 2017). 특히 LLM(Large Language Model)의 성능이 올라가면서 IPA를 통해 세밀한 작업이 가능 해졌다. 사용자는 IPA에게 원하는 지시사항을 언어로 입력하면 IPA는 지시사항에 대한 맥락까지 파악하여 행동으로 반응한다.
이런 기술의 발전으로 IPA 또한 빠르게 발전하고 있다. 특히 온디바이스 LLM 탑재 시스템을 통해 사용자의 일상생활에서 보다 쉽고 편리하게 IPA를 사용 가능하도록 하여 서비스를 제공한다. 대표적인 예시로 아이폰의 Siri, Rabbit r1 등이 있다. 이런 IPA 사람이 인터페이스를 직접 조작하는 것처럼 자연스럽고 효율적으로 동작할 수 있도록 설계된다.
IPA의 주요 목표 중 하나는 사용자의 명령으로부터 어플의 UI를 직접 조작하여 행동을 수행하는 것이다. 하지만 세상엔 너무 다양한 어플 UI가 존재하고 모든 UI에 대한 동작을 IPA 인공지능에 학습하는 것은 한계가 존재한다. 이런 문제를 해결하기 위해 1차적으로 앱 UI의 동작들을 학습시킨 VPT(Video Pre-Training) 인공지능에 2차적으로 내가 하고자 하는 앱 UI의 동작의 영상을 넣어 스스로 학습하는 모방학습(Imitation Learning)의 기술을 활용한다(Kim, 2023). 이를 통해 IPA는 다양한 인터페이스를 관찰하여 안정적으로 학습을 하게 된다. 하지만 이는 사용자가 인공지능의 학습이 잘 되고 있는지에 대한 정보를 알 수 없는 블랙박스 문제가 존재한다.
2.2 Intelligent Personal Assistants Teach Mode Interfaces
본 과제에서는 사용자와 IPA 인공지능 학습 과정에 대한 시나리오에서 자율성과 신뢰성에 학습 지각도, 사용자 감정 반응의 관계를 파악하기 위해 IPA 디바이스인 Rabbit r1의 학습 시스템을 주요 실험군으로 잡고 비교하기 위한 자극물을 설계하였다.
기존 Rabbit r1의 학습 시스템은 <그림 1>처럼 단순히 사용자의 인터페이스 화면에 대한 녹화만 진행 후 녹화가 종료가 되면 학습을 한다. 이때 사용자는 녹화만 업로드하고 이후 아무런 참여를 하지 않는 자율성이 높은 학습 시스템이다. 이런 자율성이 높은 IPA 학습 시스템은 사용자에게 IPA가 잘 학습이 되었는지에 대한 신뢰도에 영향을 줄 수 있다(Shin, 2022).
이런 기존 학습 시스템보다 자율성이 낮고 사용자의 개입이 많은 시스템을 설계하여 실험을 통해 비교하고자 한다. 비교 자극물에 대한 설명은 아래 4.1 Less Autonomy Learning System Design 부분에서 보다 자세히 다루도록 하겠다.
2.3 Autonomy of Intelligent Personal Assistants
IPA의 인공 자율성(Artificial Autonomy)은 인간의 특정한 개입 없이 인간의 업무를 수행할 수 있는 시스템적 능력이다(Hu et al., 2021). 선행 연구에선 자율성의 수준에는 함께 일하고 싶은 의지(Weiss et al., 2009)에 영향을 미친다고 한다. 또한 사람들은 자율 로봇이 비자율 로봇보다 인간에게 더 위협적이라고 느껴지며 부정적인 영향을 준다고 한다(Złotowski et al., 2017). 이처럼 자율성은 에이전트에 대한 사용자 인식에 중요한 요소로 영향을 미친다(Lee et al., 2015). 이러한 자율성은 낮음부터 높은 수준과 같은 연속적인 개념으로 작용한다(Beer et al., 2014). 이런 선행연구들을 고려하여 실험에서는 이런 자율성을 독립변수로 보고자 한다.
2.4 Credibility of Intelligent Personal Assistants
신뢰성(Credibility)이란 사용자가 이 학습 시스템에 대해 얼마나 신뢰하는지에 대해 느끼는 정도이다. 인간은 환경을 제어하려는 욕구인 효율 동기(White, 1959) 때문에 IPA 시스템의 자율성을 높이게 될 경우 신뢰성 문제와 직접 연결될 수 있다(Shin, 2022). 또한, 신뢰성은 사용자가 시스템의 학습 과정과 결과를 얼마나 예측 가능하고 일관되게 받아들일 수 있는지를 반영한다. 이에 따라 기존 IPA 연구와 달리 본 연구에서는 IPA 학습 시스템이라는 시나리오에서 이런 기능을 종속변수로 설정하고 검토하고자 한다. 이를 통해 자율성이 낮을 때 사용자는 학습 시스템의 신뢰성을 높게 인식할 것이라는 아래의 가설 ①에 대한 검증을 할 수 있을 것이다.
2.5 Mediating Role of User Perception of IPA Learning
마음 지각(Mind Perception)의 하위 요소인 능력(competence)은 IPA가 얼마나 능력 있고 효율적으로 업무를 수행할 수 있는지를 사용자들이 어떻게 지각하는지를 의미한다(Fiske et al., 2007). 학습 지각도(User Perception of IPA Learning)는 이러한 능력(competence)에 IPA 학습의 맥락을 반영한 것으로, 사용자가 IPA 학습이 얼마나 잘 수행되고 있는지에 대해 인식하는 정도를 의미한다. 이에 따라 본 연구에서는 IPA 학습 시스템이라는 시나리오에서 학습 지각도가 자율성과 신뢰성 사이에서 어떻게 매개되는지를 보고자 한다. 이를 통해 자율성이 낮을 때 사용자는 학습 시스템이 잘 학습되고 있는지에 대한 학습 지각도가 높을 것이라는 아래의 가설 ②에 대한 검증을 할 수 있을 것이다.
2.6 Mediating Role of Emotional Response
감정 반응(Emotional Response)이란 인간이 주어진 환경에서 느끼는 감정에 대한 행동적 반응이다. 본 실험에서는 IPA가 학습되는 과정에서 사용자가 느끼는 감정적 반응의 정도를 의미한다. 즉, IPA 학습 시스템에서 자율성에 따라 사용자가 어떤 감정을 느끼는지에 대해 감정 반응이란 매개 변수로 보고자 한다. 이를 통해 자율성이 낮을 때 사용자는 시스템에서 자신의 기대에 부합한 방식으로 학습하고 반응하여 긍정적 감정을 경험할 것이라는 아래의 가설 ③에 대한 검증을 할 수 있을 것이다.
2.7 Serial Mediating Role of User Perception of IPA Learning and Emotional Response
본 연구에서는 학습 지각도와 감정 반응이 학습 자율성과 사용자 신뢰성 간의 관계에서 연쇄적인 매개 역할을 할 것이라고 가정한다. 이는 두 가지 매개 변수가 단일한 매개 경로를 통해 순차적으로 영향을 미친다는 것을 의미한다. 이를 통해 직렬 매개 모델(Serial Mediation Model)에서 학습 자율성이 학습 지각도를 통해 사용자 감정 반응에 영향을 미치고, 이러한 감정 반응이 다시 신뢰성에 영향을 미치는 경로를 가지게 될 것이라고 가정한다. 이를 통해 학습 지각도를 통해 사용자 감정 반응에 영향을 미치는지에 대해 아래의 가설 ④에 대한 검증을 할 수 있을 것이다.
3. Hypotheses Development
위에서 설정한 독립변수, 종속변수, 매개변수를 검증하기 위한 가설 3가지를 설정해보았다.
① IPA 학습 시스템에서 높은 자율성의 조건은 사용자의 신뢰성을 낮출 것이다.
② IPA 학습 시스템에서 학습 지각도는 자율성과 신뢰성에 대한 연결을 매개할 것이다.
③ IPA 학습 시스템에서 사용자 감정 반응은 자율성과 신뢰성에 대한 연결을 매개할 것이다.
④ IPA 학습 시스템에서 학습 지각도와 사용자 감정 반응은 자율성과 신뢰성에 대해 순차적으로 매개할 것이다.
이런 설정 가설에 대한 검증을 하기 위해 각 변수 항목마다 설문조사를 한 후 직렬 매개분석(Serial Mediation Analysis)으로 검증하고자 한다. 자세한 실험 설계, 분석 내용은 바로 뒤 4. Method에서 자세히 다루도록 하겠다.
4. Method
4.1 Less Autonomy IPA Learning System Design
IPA 학습 시스템의 자율성을 낮춰 줄 수 있는 자극물을 만들어 <그림 1>과 같은 기존의 자율성이 높은 시스템과 실험에서 비교하고자 한다. 이 자극물은 2가지의 사용자 개입 과정을 통해 학습을 수행하여 자율성을 낮춘다. <그림 2>처럼 사용자는 녹화를 마치고 난 후 바로 녹화를 학습하지 않고 내가 앱 UI를 동작하는 도중 불필요한 동작이 없는지 점검하고 있었다면 영상 편집을 하게 된다. 또한 <그림 3>처럼 사용자의 동작에 대해 1차적으로 추론한 Labeling 결과를 보고 사용자는 자신의 의도와 다르다고 판단되는 Label을 수정할 수 있다. 이런 과정을 통해 불필요한 동작이 학습 과정에서 이상치로 작용할 수 없게 하며 사용자는 학습에 개입을 하여 자율성을 낮출 수 있다.
이를 통해 자율성이 낮은 경우와 높은 경우인 두가지의 IPA 학습 시스템에서의 신뢰성, 학습 지각도, 사용자 감정 반응의 관계를 보고자 하는 실험을 진행한다.
4.2 Experimental Design
본 실험의 목적은 IPA의 학습 시스템에서 자율성이 사용자 신뢰성에 미치는 영향을 분석하고자 한다. 자율성이 높을 때와 낮을 때 두 가지 시스템에서 비교하고, 사용자 피드백과 감정 반응이 이 관계를 어떻게 매개하는지 조사하고자 한다.
이 실험은 다양한 인지 스타일과 인구 통계학적 특성을 균형 있게 반영한 60명 이상의 피험자를 대상으로 수행한다. 각 피험자들은 무작위로 두 그룹(<그림 1>의 높은 자율성 시스템 vs <그림 2, 3>의 낮은 자율성 시스템) 중 하나로 배정된다. 이 그룹들은 모두 동일한 학습 과제를 수행하며, IPA를 학습하는 과정에서 각 그룹에 맞게 피험자는 학습 과정에 관여하게 된다.
- 높은 자율성 그룹: 피험자는 단순한 녹화만으로 IPA가 학습하도록 한다. 이때 시스템이 자동으로 학습하는 동안 관찰만 하며, 중간에 피드백을 제공하지 않는다.
- 낮은 자율성 그룹: 피험자는 학습 과정에서 적극적으로 개입하여 피드백을 제공하고, 필요시 시스템의 학습 결과를 편집하고 수정할 수 있다.
학습을 완료한 후, 피험자들은 시스템의 신뢰성, 학습 지각도, 감정 반응 등에 대한 평가 설문지를 작성한다. 이때 설문 항목들은 모두 리쿼트 척도(Likert scale)로 평가하게 된다.
- 신뢰성: 시스템의 학습 정도에 대해 얼마나 신뢰할 수 있는지에 대해 낮음(1점) ~ 높음(5점)으로 설문을 실시함
- 학습 지각도: 피험자가 IPA가 얼마나 학습을 잘 수행하고 있는지에 대해 인식하는 정도에 대해 낮음(1점) ~ 높음(5점)으로 설문을 실시함
- 감정 반응: IPA가 학습되는 과정에서 사용자가 느끼는 감정적 반응의 정도에 대해 부정(1점) ~ 긍정(5점)으로 설문을 실시함
이를 통해 데이터를 수집하고 이 데이터를 직렬 매개분석(Serial Mediation Analysis)에 활용하여 직렬 매개 모델(Serial Mediation Model)을 도출하고자 한다.
4.3 Serial Mediation Model
우선 실험을 분석하기 전, 연구에 사용된 조작을 검증하기 위해 paired sample t-test를 실시한다. 이를 통해 자율성 시스템의 두 집단 간 유의미한 차이가 있는지를 확인하고자 한다.
이후, 자율성이 학습 지각도와 사용자 감정 반응을 매개로 신뢰성에 미치는 계열적 매개 효과를 검증하기 위해 각각의 변수 간 경로를 경로 분석(Path analysis)을 통해 검증한다. 경로 분석은 변수들 사이의 인과 관계를 평가할 수 있는 방법론으로, 여러 관측 변수들 간의 관계를 종합적으로 분석할 수 있다.
또한, 실험에서 설정한 두 가지 매개 변수가 종속 변수에 미치는 영향을 분석하기 위해 회귀 분석을 사용하여 직렬 매개 분석(Serial Mediation Analysis)을 진행한다. 이를 통해 직렬 매개 모델(Serial Mediation Model)을 도출하고 각 경로가 유의미한지를 검증할 수 있다.
이 과정에서 신뢰 구간을 추정하기 위해 5000번의 반복 표본을 추출하는 bootstrapping 과정을 사용하여 95% 신뢰 구간 내에서 유의성을 판단한다.
<그림 4>는 설계된 직렬 매개 모델 (Serial Mediation Model) 예시로 자율성이 학습 지각도와 사용자 감정 반응을 통해 사용자 신뢰성에 미치는 직렬적 매개 효과를 명확히 검증하고, 각 경로의 유의미성을 확인할 수 있을 것이다.
5. Expected contribution
본 연구를 통해 자율성과 신뢰성에 학습 지각도, 사용자 감정 반응이 어떻게 매개되는지를 파악하는 이론적인 직렬 매개 모델(Serial Mediation Model)을 도출할 수 있을 것이다. 이를 통해 사용자 개입의 중요성을 이론적으로 입증하고, IPA의 자율성 수준이 시스템 신뢰성에 어떤 영향을 미치는지에 대한 새로운 인사이트를 제공할 수 있을 것이다. 또한 이런 자율성과 신뢰성 사이에서 사용자 피드백이 시스템 학습에 미치는 영향을 학습 지각도를 통해 볼 수 있을 것이다. 마찬가지로 이때 사용자 감정 반응이 시스템 신뢰성에 미치는 영향을 분석함으로써, 사용자 경험 설계에 있어 감정적 요소의 중요성을 보고자 한다.
이런 이론적인 시사점을 기반으로 Rabbit r1의 LAM 학습 시스템을 개선하고, 사용자 경험을 향상시킬 수 있는 구체적인 방안을 제시하고자 한다. 이처럼 다양한 IPA 서비스의 사용자 상호작용 시스템에 적용될 수 있는 실무적인 인사이트까지 제공하고자 한다.
6. References
신영진. (2023). The Effects of Autonomy on Using Smart Home Intelligent Personal Assistants: Mediating Effect of Mind Perception and Uncanniness [석사학위논문, 연세대학교]. http://www.riss.kr/link?id=T16626786
Rabbit. (2024). Rabbit™. Retrieved from https://www.rabbit.tech/
Seo, J. (2017, November 30). 지능형 가상비서서비스 동향과 전망 - 개인 가상비서 시대가 도래한다. Kisti OA Repository. https://repository.kisti.re.kr/handle/10580/8211
Hu, Q., Lu, Y., Pan, Z., Gong, Y., & Yang, Z. (2021). Can AI artifacts influence human cognition? The effects of artificial autonomy in intelligent personal assistants. International Journal of Information Management, 56(October 2020), 102250. https://doi.org/10.1016/j.ijinfomgt.2020.102250
Weiss, A., Wurhofer, D., Lankes, M., & Tscheligi, M. (2009, March). Autonomous vs. tele-operated: How people perceive human-robot collaboration with HRP-2. In 2009 4th ACM/IEEE International Conference on Human-Robot Interaction (HRI) (pp. 257-258). IEEE.
Złotowski, J., Yogeeswaran, K., & Bartneck, C. (2017). Can we control it? Autonomous robots threaten human identity, uniqueness, safety, and resources. International Journal of Human Computer Studies, 100(December 2015), 48–54. https://doi.org/10.1016/j.ijhcs.2016.12.008
Lee, J. G., Kim, K. J., Lee, S., & Shin, D. H. (2015). Can Autonomous Vehicles Be Safe and Trustworthy? Effects of Appearance and Autonomy of Unmanned Driving Systems. International Journal of Human-Computer Interaction, 31(10), 682–691.https://doi.org/10.1080/10447318.2015.1070547
Beer, J. M., Fisk, A. D., & Rogers, W. A. (2014). Toward a framework for levels of robot autonomy in human-robot interaction. Journal of human-robot interaction, 3(2), 74.
Fiske, S. T., Cuddy, A. J., & Glick, P. (2007). Universal dimensions of social cognition: Warmth and competence. Trends in cognitive sciences, 11 (2), 77-83.
'기술 > UX' 카테고리의 다른 글
| Enhancing Human Information Processing in Rabbit r1: Analytical Report and Solutions (0) | 2024.06.12 |
|---|---|
| UI Design Guidelines (0) | 2024.06.03 |
| Finda 앱 UX측면의 역기획 (0) | 2024.06.03 |
