조용한 상담실에서 시행한 어음인지검사 결과지가 동일하게 90%로 나온 두 사람이 있다고 하자. 한 사람은 정상청력이고 다른 한 사람은 경도에서 중등도 사이의 감각신경성 난청을 가진 보청기 착용자다. 검사지만 보면 두 사람의 어음 처리 능력은 동등해 보인다. 그러나 실제로 그 90%에 도달하기까지 두 사람이 동원한 인지적 자원의 양은 같지 않을 가능성이 높다. 난청인은 저하된 말초 청각 정보를 보완하기 위해 작업기억, 주의, 추론 같은 상위 인지 자원을 더 많이 끌어다 쓰며, 이 과정에서 쓰이는 비용을 청취 노력(listening effort)이라 부른다.

같은 점수, 다른 비용

청취 노력이라는 개념 자체는 오래전부터 임상가들 사이에서 경험적으로 공유돼 왔지만, 이를 이론적으로 체계화한 대표적 틀이 노력 기반 효과적 청취 이해 프레임워크(FUEL)다. 이 프레임워크는 Kahneman의 1973년 주의 용량 모델을 청취 상황에 적용해 효과적 청취 이해를 설명하는 틀을 제안했다. 비슷한 시기에 등장한 언어이해 용이성 모델(ELU model) 역시 말소리 처리 과정에서 작업기억 용량이 핵심적인 역할을 한다는 점을 설명하며, 신호가 저하될수록 명시적이고 노력이 드는 인지 자원이 동원된다고 본다. 두 이론은 독립적으로 발전했지만 결론은 수렴한다. 어음인지점수라는 정확도 지표는 그 점수에 도달하기 위해 소모된 인지적 비용을 전혀 반영하지 못한다는 것이다.

동공측정, 눈으로 보는 인지 부하

청취 노력을 객관적으로 정량화하려는 시도 중 가장 많이 인용되는 방법이 동공측정(pupillometry)이다. 동공의 확장은 교감신경계 각성과 연동되는데, 인지 부하가 커질수록 동공이 커진다는 심리학적 기반 위에서 청각학 연구자들은 이를 청취 노력의 생리적 지표로 발전시켰다. 네덜란드 연구진의 대표적 연구는 문장 명료도 수준이 낮을수록 동공 반응이 더 커진다는 것을 보여주었으며, 과제로 유발된 동공 반응이 명시적인 노력 처리 부담을 반영한다고 해석했다. 이 연구는 Zekveld, Kramer, Festen이 2010년 Ear and Hearing지에 발표한 것으로, 이후 동일 연구팀은 더 큰 동공 확장이 소음 속 말소리 지각 시 더 높은 수준의 청취 노력과 연관된다는 것을 확인하며 이 방법론을 확장했다.

흥미로운 지점은 동공측정이 단순한 소음 유무뿐 아니라 방해음의 종류에도 민감하다는 것이다. 단일 화자가 방해음으로 제시될 때는 의미 간섭이 더해지기 때문에 같은 신호대잡음비에서도 추가적인 처리 부담이 발생하는데, 이를 확인한 연구에서는 단일 화자 방해음이 있을 때 추가적인 청취 노력이 동공 확장을 통해 드러난다는 결과를 보고했다. 동공측정은 피험자의 주관적 판단에 의존하지 않고 실시간으로 처리 과정을 포착한다는 장점이 있지만, 과제가 지나치게 어려워 포기 상태에 가까워지면 오히려 반응이 줄어드는 비선형성이 보고돼 있어 해석에 주의가 필요하다.

이중과제, 행동으로 드러나는 자원 배분

동공측정이 고가의 장비와 통제된 실험실 환경을 요구하는 반면, 임상 현장에 더 가까운 접근으로 이중과제(dual-task) 패러다임이 있다. 기본 논리는 간단하다. 사람이 쓸 수 있는 인지 자원은 한정돼 있으므로, 말소리를 듣고 이해하는 1차 과제에 자원을 많이 쓸수록 동시에 수행하는 2차 과제, 예를 들어 간단한 산술 판단이나 시각 반응 과제의 수행 속도나 정확도는 떨어진다는 것이다. 이 원리를 보청기 소음감소 알고리즘 평가에 처음 적용한 연구 중 하나는 Sarampalis, Kalluri, Edwards, Hafter가 2009년 미국언어청각학회지(JSLHR)에 발표한 논문으로, 보청기의 소음감소 알고리즘이 객관적인 어음명료도 개선이 전혀 없는 상황에서도 주관적 이득을 제공할 수 있다는 역설적 문제를 다루었다. 이 연구는 어음인지점수에는 변화가 없더라도 2차 과제의 반응시간이 소음감소 조건에서 개선될 수 있음을 보여주면서, 정확도와 노력이 분리될 수 있는 변수임을 행동 데이터로 입증한 초기 사례로 평가된다.

이후 산술 과제를 2차 과제로 사용한 연구들도 이어졌다. 한 연구는 청취 노력을 측정하는 유망한 인지행동적 접근으로 이중과제 패러다임을 제시하면서, 단일 마이크 소음감소가 어음명료도의 객관적 개선 없이도 주관적 이득을 줄 수 있다는 기존 관찰을 반응시간 데이터로 재확인했다. 다만 이중과제법은 1차 과제와 2차 과제 사이의 자원 배분 전략이 피험자마다 다를 수 있고, 2차 과제 자체의 난이도 설정에 결과가 민감하다는 방법론적 한계가 꾸준히 지적된다.

주관적 평가, 가장 오래됐지만 여전히 유효한 창

생리적, 행동적 측정이 발전해 온 한편 자기보고식 주관적 평가 역시 청취 노력 연구에서 독립적인 가치를 유지하고 있다. NASA 과제부담지수(NASA-TLX)와 같은 다차원 척도는 원래 항공 분야 작업부하 연구에서 개발됐지만 청각학 연구에 광범위하게 차용됐다. 원어민과 비원어민 청자를 비교한 한 연구에서는 소음, 잔향, 화자의 외국어 억양 같은 열악한 음향 조건이 주관적으로 측정했을 때 더 많은 노력이 드는 청취를 요구했으며, 이 주관적 척도가 문장 회상을 넘어서는 이중과제보다 더 민감했다고 보고했다. 즉 특정 상황에서는 정교한 생리 측정보다 단순한 자기보고 척도가 오히려 더 높은 민감도를 보일 수 있다는 것이다.

청취 노력을 다차원 구성개념으로 바라봐야 한다는 관점도 있다. 한 연구는 지각된 어려움, 지각된 수행, 좌절감 등 청취 노력의 여러 차원을 평가함으로써 더 포괄적인 평가를 얻을 수 있다고 제안했다. 이는 단일 숫자로 환원되는 어음인지점수와 달리, 노력이라는 구성개념이 애초에 다면적임을 시사한다. 다만 주관적 평가는 피험자의 반응 편향, 사회적 바람직성, 과거 경험에 대한 기억 왜곡 등의 영향을 받을 수 있어 생리적, 행동적 지표와 병행 해석하는 것이 바람직하다는 것이 중론이다.

소음감소 알고리즘, 정확도가 아니라 노력을 줄인다는 관점

보청기 소음감소 알고리즘의 임상적 가치를 어음인지점수만으로 평가하면 종종 통계적으로 유의한 차이를 찾기 어렵다. 그런데 바로 이 지점에서 청취 노력 패러다임이 임상적 설명력을 갖는다. 소음과 소음감소가 처리 부담에 미치는 영향을 동공측정으로 분석한 연구들은, 소음감소 알고리즘이 어음인지 과제 수행 중 더 작은 동공 반응을 유발한다는 것을 일관되게 관찰했다고 정리한다. 다시 말해 알아듣는 단어의 개수는 같아도, 그 단어를 알아듣기 위해 쓰는 인지적 비용은 소음감소 기능을 켰을 때 더 적다는 것이다.

더 나아가 순간적인 노력이 아니라 지속적인 청취 상황에서의 피로 누적을 살핀 연구도 있다. 동공측정과 뇌파를 함께 사용한 연구는 지속적 청취 노력의 변조, 예를 들어 보청기 소음감소에 의한 변화가 동공 크기와 부교감신경 활동 지표로 나타난다는 것을 보고했다. 이러한 결과들은 소음감소 알고리즘의 임상적 가치를 재조정할 근거를 제공한다. 즉 소음감소 기능의 효과를 어음인지점수의 향상 여부로만 판단한다면 과소평가될 위험이 있으며, 노력과 피로라는 축을 더해야 알고리즘의 실질적 기여를 온전히 평가할 수 있다는 것이다. 이는 또한 임상 현장에서 소리는 또렷한데 왜 하루 종일 쓰면 피곤하다고 하는가 같은 환자 보고를 설명하는 이론적 근거가 되기도 한다.

참고문헌