여러 명의 학생들이 시험문제를 푼다고 가정하자. 시험 문제는 다양한 분야에서 출제될 수 있고, 오로지 객관식 문제만 출제된다고 한다면 시험의 결과는 학생이 정답을 맞혔는지 그렇지 못했는지로 나눌 수 있을 것이다. 시험이 모두 종료된 후 출제자는 학생들이 어떤 분야를 가장 어려워하는지를 찾고자 한다. 이 경우 출제자는 각 분야의 평균 점수를 비교하여 학생들이 어떤 분야의 문항을 가장 어려워하였는지 측정할 수 있을 것이다.
위의 사례와 같이 특정 분야의 점수를 비교하여 난이도를 측정할 수도 있겠지만 각 문항이 개별적인 속성을 가지고 있다고 생각하고 이를 측정할 수도 있다. 문항반응이론(Item Response Theory, 이하 IRT)은 시험문제, 혹은 설문 문항에 대한 응답자의 능력과 개별 문항에 대한 난이도를 측정하기 위한 이론이다. IRT에서 가장 고전적인 모형 중 하나인 Rasch모형은 다음과 같은 식으로 표현할 수 있다.
$logit(P(Y_{j,i} = 1 \mid \alpha_j, \beta_i)) = \alpha_j + \beta_i$
위의 식에서 i는 문항을, j는 응답자를 의미한다. logit은 logistic function으로, 0 혹은 1로 표현되는 binary 자료를 확률값으로 변환시켜주는 역할을 한다. 즉, 위의 모형은 어떤 문항의 "정답"을 맞출 확률을 문항에 의한 효과(난이도)와 응답자에 의한 효과(응답자의 능력)로 설명하고자 한다. 편의상 시험문제의 예를 들어 "정답"이라는 표현을 사용하였지만 정답이 없는 설문 문항에 대해서도 유사한 방식으로 해석할 수 있을 것이다.
Rasch 모형은 다음과 같은 가정을 필요로 한다.
- 문항의 난이도($\beta_i$)와 다른 응답자의 능력($\alpha_j$)이 주어졌을 때, 서로 다른 응답자들의 각 문항에 대한 응답은 서로 독립이다.
- 응답자의 능력이나 문항의 난이도와는 관계없이 어떤 응답자의 각 문항에 대한 응답은 서로 독립이다.
- 동일한 능력을 가진 응답자들이 문제를 맞힐 확률은 동일하고, 동일한 난이도를 가진 문항에 대해 각 응답자가 문제를 맞힐 확률은 동일한다.
그러나 위의 가정들은 실제 상황을 충분히 반영하지 못한다. 같은 난이도의 문제를 같은 능력을 가진 사람들이 풀더라도 다른 결과가 나올 수 있기 때문이다. 이러한 경우 우리가 측정하지 못하는 어떤 변수의 영향을 받았을 것으로 짐작할 수 있다. 잠재적인 변수들의 영향을 측정하기 위해 각 문항과 응답자 사이의 반응(정답 여부)을 일종의 네트워크라고 보고, 이전에 소개한 Latent Space Model의 개념을 이용하여 측정되지 않는 변수들의 영향을 모형에 반영하고자 한 것이 Latent Space Item Response Model(이하 LSIRM)의 목적이다.
LSIRM의 식은 다음과 같다.
$logit(P(Y_{j,i} = 1 \mid \alpha_j, \beta_i, a_j, b_i) = \alpha_j + \beta_i + g(a_j, b_i)$
$\alpha_j, \beta_i$는 Rasch 모형의 식과 동일하게 각각 응답자에 의한 효과와 문항에 의한 효과를 나타내며, $a_j$와 $b_i$는 각 응답자와 문항의 잠재공간에서의 위치를 나타낸다. g는 $a_j$와 $b_i$에 대한 실함수로, 고려하고자 하는 효과에 따라 자유롭게 선택할 수 있다. 예를 들어 두 좌표 사이의 거리를 모형에 반영하고자 한다면 g는 distance function이 된다.
앞에 얘기한 거리 대신 내적($a_j^T b_i$)으로 표현할 수도 있는데, 만약 두 좌표 벡터의 내적이 0이라면 두 벡터가 서로 영향을 주지 않는다고 볼 수 있기 때문이다. 다만 논문에서는 거리를 사용하는 것이 더 직관적이라고 하였다. 특히 $a_j$와 $b_i$의 거리가 다르지만 내적은 0이 되어 서로 직교하는 경우, 두 좌표벡터의 각도뿐만 아니라 거리까지 고려할 필요가 있어 상호작용의 해석이 복잡해지기 때문에 g를 distance function으로 선택하는 것이 직관적인 해석에 더 유리하다.
LSIRM의 가장 큰 장점은 잠재공간의 좌표를 시각화하여 연구자가 각 응답자 집단(혹은 문항 집단)의 특성을 직관적으로 파악할 수 있다는 것에 있다. 아래의 그림은 논문에서 DRV(Competence Profile Test of Deductive Reasoning-Verbal assessment; Spiel et al.2001) 데이터로부터 2차원 잠재공간을 시각화한 것이다.
그림을 보면 문항이 4개의 집단으로 나뉘어 있는 것을 확인할 수 있다. 우측 그림처럼 벡터를 선으로 표현하면 이를 좌표축으로 간주하고 문항 집단 사이의 관계를 해석할 수도 있다. 예를 들어 집단 1(2,3,6,7)과 집단 4(1,5,4,8)는 서로 반대의 경향을 보이고, 집단 1과 집단 2(10,11,14,15,18,19,22,23)는 서로 유사한 경향을 보인다고 해석할 수 있다.
LSIRM을 실제 데이터에 적용할 수 있도록 R package가 구현되어 있다. lsirm12pl은 1PL LSIRM모형과 2PL LSIRM모형을 모두 지원하는 패키지이며, 데이터에 결측치가 존재하는 경우에도 내부 함수를 이용하여 모형 적합이 가능하다. 자세한 내용은 이곳을 참조하면 된다.
본 게시글에는 최대한 직관적인 이해를 위해 각 모수의 추정 방법(MCMC) 및 prior의 선택(spike and slab prior for 2PL LSIRM)에 대한 내용은 따로 적지 않았다. 이 부분은 추후 포스팅에서 MCMC와 베이지안 모형에 대해 서술할 때 LSIRM의 예시를 들어서 설명할 것이다.
LSIRM은 설문조사 데이터뿐만 아니라 Bipartite Network(두 종류의 Node로 이루어진 네트워크)의 형식으로 표현할 수 있는 데이터라면 적용이 가능하다. 예를 들어 문서의 주제(topic)와 각 주제에 속한 단어들을 토픽모델링을 통해 찾아내었다면 이를 Bipartite Network로 보고 본문의 내용과 동일한 방식으로 각 주제와 단어들의 잠재공간에서의 위치를 시각화하여 Node 간의 상호작용을 직관적으로 확인할 수 있다.
LSM에 대한 게시글에서 언급한 것과 동일하게 네트워크의 크기가 커지면 각 모수를 추정하는 데에 시간이 걸리는 단점이 있다. 이 부분은 MCMC를 사용하여 모수를 추정할 때 생기는 문제로, Variational Inference와 같은 방법을 사용하면 추정하는 시간을 줄일 수 있다. 하지만 이 방법 역시 나름의 약점이 존재하므로, 추후 MCMC와 Variational Inference에 대한 포스팅을 작성할 때 자세히 서술해보고자 한다.
[출처]
Jeon, M., Jin, I. H., Schweinberger, M., & Baugh, S. (2021). Mapping unobserved item–respondent interactions: a latent space item response model with interaction map. psychometrika, 86(2), 378-403.
https://link.springer.com/article/10.1007/s11336-021-09762-5
'논문 리뷰' 카테고리의 다른 글
| [논문 리뷰] Latent Space Approaches to Social Network Analysis (0) | 2022.12.22 |
|---|
댓글