세계 ​최상위 2% 과학자 릴레이 인터뷰② - 경영학부 조은성 교수

“세계가 인용한 연구방법론 전문가, 판별타당도 평가의 새 기준을 제시하다” 

광운대학교 교수 18명이 미국 스탠퍼드대와 엘스비어가 선정한 세계 상위 2% 과학자에 선정되었다. ‘최상위 2% 세계 과학자’ 명단은 전 세계 연구자의 연구 영향력을 공정하고 표준화된 방식으로 비교·평가하기 위해 스탠포드대 존 이오아니디스(John P.A. Ioannidis) 교수 연구팀이 개발한 복합 지표(Composite Score)를 기반으로 발표된다. SCOPUS 데이터를 바탕으로 논문 인용 수, H-지수, 공동저자 보정 지수 등을 종합하여 연구자의 생애 업적(Career-long)과 최근 1년 성과(Single-year)를 기준으로 선정한다.

18인의 연구자를 통해 다시 한번 광운대학교의 연구 경쟁력과 학문적 저력이 세계적 수준에 도달해 있음을 증명했다. 전세계 학계가 주목하는 광운대 교수진의 이야기를 통해, 그들의 연구 여정과 성과, 그리고 다음 도전을 들어본다. 

- 세계 최상위 2% 연구자로 선정되신 소감 부탁드립니다.

작년에도 선정되었기에 올해도 가능할지 조심스레 기대하고 있었습니다. 다시 선정되었다는 소식을 듣고 기뻤습니다. 무엇보다 제 연구가 널리 읽히고 인용되었다는 점에서 보람을 느낍니다.

- 현재 연구하고 계신 분야와 주요 관심 연구 주제 소개 부탁드립니다.

저는 최근에는 연구방법론 분야에 주로 집중하고 있습니다. 즉, 연구를 수행하는 방법 자체를 연구합니다. 그중에서도 측정오차가 존재하는 상황을 다루는 기법에 관심을 두고 있습니다. 회귀분석과 같은 잘 알려진 통계기법은 측정오차가 거의 없는 변수를 다룰 때 적합합니다. 예를 들어 키나 체중은 매우 정밀하게 측정할 수 있어 오차가 크게 문제가 되지 않습니다. 반면 지능이나 성격과 같은 심리적 특성은 측정오차가 무시하기 어려운 수준입니다. 저는 이러한 상황에서 활용되는 요인분석, 구조방정식, 문항반응이론 등 관련 기법과 현상에 대해 주로 연구하고 있습니다.

주요 관심 주제는 신뢰도와 판별타당도입니다. 신뢰도는 어떤 측정 결과가 얼마나 일관되는지를 나타내는 개념입니다. 예를 들어 동일한 사람이 지능검사를 받았을 때 어떤 때는 120, 다른 때는 80이 나온다면 신뢰도가 낮은 것입니다. 신뢰도는 연구방법론 분야에서 가장 오래 연구되어 온 주제 중 하나인데, 그만큼 최근에는 이 분야에 집중하는 연구자가 드물어졌습니다. 저는 오히려 이러한 점에서 새로운 연구 기회가 많다고 생각했습니다. 예를 들어 과거에 널리 알려졌으나 현재의 기준에서는 부정확하거나 잘못된 것으로 밝혀진 내용들이 여전히 교과서 등에 반영되지 못한 경우가 많습니다. 또한 지난 수십 년간 다양한 신뢰도 추정 기법이 제안되었음에도, 어떤 기법이 더 정확한지에 대한 체계적인 비교가 충분하지 않았습니다. 저는 이러한 문제들을 다루는 연구를 몇 편 썼습니다.

- 교수님의 대표 연구 성과 중 하나를 소개 부탁드립니다. 또한 해당 연구가 학문적·산업적으로 어떤 의미나 파급력을 가졌는지도 함께 말씀해주세요.

2022년 Organizational Research Methods(ORM)에 게재된 논문(“An updated guideline for assessing discriminant validity”)을 들 수 있습니다. 기존에 널리 사용되어온 판별타당도 평가 기법, 특히 Fornell과Larcker가 제안한 ‘평균 분산추출’이라는 기법은 지금까지 14만 회 이상 인용될 정도로 큰 인기를 얻고 있지만, 실제로 판별타당도와 관련이 있는지에 대해 비판적으로 검토한 연구는 거의 없었습니다. 제 연구에서는 이 기법이 판별타당도를 평가하는 것과 거의 관련이 없다는 점을 이론적·실증적으로 설명하고, 그 외에도 여러 기존 기법들의 한계를 비판하였습니다. 더 나아가 이러한 단점을 보완할 수 있는 새로운 분석 방법을 제안하였습니다.

기존 방법을 완전히 대체하겠다는 목표에는 한참 못 미쳤지만, 나름 의미 있는 반응을 얻고 있습니다. ORM 홈페이지에서는 최근 6개월 동안 해당 저널 전체 논문 중 세 번째로 많이 읽힌 논문으로 소개되고 있으며, Google Scholar 기준 약 1500회 인용되고 있습니다. 이는 2022년에 게재된 해당 저널 논문 중 가장 많은 인용이며, 두 번째로 많이 인용된 논문의 두 배를 넘는 수치입니다.

- 연구 과정에서 특별히 기억에 남는 실패나 어려움이 있었다면 말씀 부탁드립니다.

아무래도 연구방법론, 특히 신뢰도를 주제로 첫 논문을 쓸 때 가장 어려움을 크게 느꼈습니다. 저는 연구방법론에 대한 논문을 요즘 쓰고 있지만, 박사과정에서 이 분야를 전공한 것은 아닙니다. 사회과학 분야 연구자라면 누구나 연구방법론을 배우지만, 연구방법론 자체를 연구 대상으로 삼는 경우는 흔하지 않습니다. 공학 전공 교수님이 연구에서 수학을 활용하지만 수학 자체에 대한 논문을 쓰는 것은 매우 드문 것과 비슷합니다.

나이 마흔이 넘고, 박사 논문을 쓴 지 10년이 지난 뒤에야 새로운 분야에 뛰어들었기 때문에 생소한 개념을 스스로 익혀야 하는 어려움이 컸습니다. 특히 신뢰도에 관한 첫 논문은 기존에 널리 퍼져 있던 오해를 바로잡는 데 초점을 둔 리뷰 논문이었는데, 기존 연구의 설명 중 무엇이 정확하고 부정확한지 스스로 완벽하게 이해하고 구별해야 했습니다. 그 과정이 참으로 고되었지만, 가장 크게 배운 시간이기도 했습니다.

- 연구를 진행하시면서 난관을 겪을 때, 주로 어떻게 극복해 오셨는지 말씀 부탁드립니다.

연구를 하다 보면 해결책이 보이지 않는 난관에 자주 부딪히게 됩니다. 저 역시 그런 경우가 많았습니다. 그런데 시간이 지나고 돌아보면, 운이 좋았던 것인지 어찌어찌 풀리곤 했습니다. 굳이 그 과정을 일반화해 보자면, 일종의 divide-and-conquer 전략에 가까운 것 같습니다.

겉으로 보기에는 너무 큰 문제처럼 느껴져 어디서부터 손대야 할지 막막할 때가 있습니다. 그러나 이런 큰 문제도 결국 여러 작은 문제들이 모여 있는 것이라고 생각합니다. 막연한 불안에 머무른 채 가만히 있으면 해결책은 보이지 않습니다. 하지만 문제를 세분화하고, 지금 당장 할 수 있는 가장 작은 단계부터 하나씩 해결해 나가다 보면 어느 순간 다음에 어디로 나아가야 할지도 보이는 것 같습니다. 그렇게 한 걸음씩 꾸준히 전진하다 보면, 결국 해결되는 경우가 많았습니다.

- 장기간 연구를 지속한다는 것은 결국 삶의 태도와도 연결되는 일인데요. 교수님께서는 연구와 삶을 대하는 기본적인 태도, 혹은 지금의 교수님을 만든 개인적인 원칙·철학이 있으신가요?

연구를 계속하려면 무엇보다 연구에서 재미를 느껴야 합니다. 세상에는 재미있는 것들이 정말 많은데, 그 어떤 것보다 더 매력적이어야 연구가 삶에서 우선순위를 차지할 수 있습니다. 그러기 위해서는 자신의 연구를 긍정적으로 바라보고, 스스로 의미를 부여하는 태도가 필요합니다. 하지만 연구를 발전시키기 위해서는 또 한편으로 매우 비판적인 시각도 갖추어야 합니다. 즉, 상황에 따라 어떤 때는 자신을 격려하고, 어떤 때는 누구보다 냉정하게 비판할 수 있어야 하며, 이 두 태도 사이에서 균형을 잡는 것이 무엇보다 중요합니다.

저는 석사, 박사과정 시절에는 비판적이고 비관적이기만 했던 것 같습니다. 학계에서는 대체로 문제점을 지적하는 문화가 강하고, 장점을 칭찬받는 일은 드뭅니다. 그러다 보니 저는 제 연구가 별 가치가 없다고 느껴졌고, 연구 자체가 점점 즐겁지 않게 되었습니다. 자연스럽게 연구를 피하게 되기도 했습니다.

나이가 들면서 조금 뻔뻔해진 것이 도움이 되었습니다. 예를 들어, 연구의 한계에 대한 지적을 나 자신에 대한 공격으로 받아들이지 않고, 연구를 개선할 수 있는 소중한 피드백으로 받아들이는 태도입니다. 이런 관점을 갖추고 나서야 비로소 연구에서 다시 재미를 찾을 수 있게 되었습니다.

- 앞으로 집중하고 싶은 연구 방향과 목표 말씀 부탁드립니다.

지금까지 신뢰도에 대한 논문을 많이 써왔는데, 앞으로는 신뢰도 말고 다른 주제로 확장하려고 합니다. 목표는 매년 탑저널에 논문을 한 편 이상 게재하는 것입니다.

- 교수로서 학생들에게 하시고 싶은 조언이나, 연구자로서 후학들에게 전하고 싶은 메시지가 있으시면 자유롭게 말씀 부탁드립니다.

인공지능의 발전으로 연구 환경이 과거에 비해 훨씬 편리해졌습니다. 예를 들어, 예전에는 필요한 논문을 찾는 일조차 쉽지 않았지만, 이제는 그러한 검색도 인공지능이 큰 도움을 줍니다. 하지만 인공지능은 주어진 일을 수행하는 데에는 뛰어나더라도, 스스로 무엇을 할지 결정하지는 못합니다. 결국 중요한 것은 좋은 질문을 던지는 능력입니다. 이 능력만 갖추고 있다면, 지금은 연구자로서 성공할 수 있는 기회가 더욱 넓어진 시대라고 생각합니다.