연구 평가 지표 시리즈의 마지막 글인 '3. 논문 영향력 지수'이다.
이전 글은 '1. 저널 영향력 지수', '2. 연구자 영향력 지수' 였었다.
0. 논문 영향력 지수란?
아무리 좋은 저널에 실려도, 아무리 유명한 저자가 써도 알고보면 별로인 논문이 있을 수 있고,
좀 안 좋은 저널에 실려도, 신인이 썼어도 좋은 논문이 있을 수 있다.
특히 이런 문제점은 유행하는 주제가 있는 분야가 심한 것 같다.
내 친구는 고생해서 논문을 좋은 데에다 냈더니만 그 기술 자체가 사장되어(더 좋은 기술이 개발됨) 아무도 안 읽어준다.
그러면 논문은 진짜 고생하고 열심히 썼지만 논문 영향력 지수가 떨어질 수밖에 없다.
또 어떤 교수님이 쓰는 논문은 방법론적으로 해당 분야에서는 아무도 안 쓴 논문이라서 저널에서 계속 까여서 impact factor가 낮은 저널에 간신히 투고될 수 있을 것 같다(투고될 수 있겠지...?)
만약 그 교수님이 쓴 방법론이 해당 분야에서 나중에 굉장히 유용하다!고 결론이 나오면
해당 논문의 영향력은 엄청 높아질 것이다.
그래서 저널이나 연구자가 아닌, 개별 논문의 영향력을 파악하기 위한 지표가 논문 영향력 지수이다.
1. 피인용수(Citation impact)
논문의 영향력을 파악하는 가장 간단한 방법으로,
해당 논문이 몇 번이나 인용되었는지를 확인하는 것이다.
많이 인용되었다 = 많은 논문의 참고문헌이 되었다 = 과학의 발전에 기여한 바가 크다
...뭐 이런 개념이랄까.
피인용수는 구글 스칼라에서 간단히 확인할 수 있다.
다른 검색 엔진에서도 피인용수를 제공해주는데
각자의 엔진에서 검색되는 논문에 대해서 정리해서 제공하는 것이므로
조금씩 수치가 다를 수 있다.
이 지표의 단점은 연도별, 분야별, 논문 종류별로 수치가 달라진다는 것이다.
연도별: 코로나 시절 감염분야 논문의 피인용수는 어마어마하게 높다.
그게 비록 허접한 케이스 보고라고 하더라도 말이다.
분야별: 의학 관련 논문의 피인용수는 수학 논문보다 훨씬 많다.
그래서 다른 분야 친구들과 대화할 때 "뭐야 인용 별로 안 되었네"라고 말하는 것은 금기이다.
"야 우리 분야는 이 정도면 많이 된거야~"라는 반박을 들을 수 있다.
논문 종류별: 리뷰 논문의 경우는 많은 논문의 결과를 정리한 것이라서 원 논문보다 많이 인용된다.
솔직히 의학 분야는 서론에 '해당 질병은 뭐뭐뭐한 질병이다'를 꼭 적는데
인용은 꼭 해야 하니까 해당 질병 관련 리뷰 논문을 아무거나 갖다 붙이는 경우가 많다.
나는 그게 맞나? 싶어서 만날 교과서를 붙여넣고 있는데 교과서가 오래된 버전만 있을 때에는 고민이 많다.
이 사소한 한 줄을 위해 누굴 인용해주지...ㅋㅋㅋㅋ
또한, Open access 논문이 그렇지 않은 것보다 더 많이 인용된다.
그 외에도 제목이 짧은 논문이 많이 인용되는 특징이 있고,
쓴 지 오래되면 자연스럽게 인용수가 올라가는 특징도 있다고 한다.
그리고 지표의 단점은 아니고 몇몇 나쁜 연구자들의 잘못인데,
구글 스칼라에서는 피인용수 조작을 한 경우가 있다고 한다.
(관련 뉴스: https://www.nature.com/articles/d41586-024-01672-7)
근데... 어차피 인용하기 전에 논문 한 번씩 훑어본다면 피인용수가 높아도 별로인 논문을 금방 걸러낼 수 있을 것이다.
2. FWCI, CNCI
위에 있는 피인용수의 단점을 방지하기 위해 만들어진 지표이다.
출판연도, 주제분야, 논문 종류를 고려해서 상대적으로 만들었는데,
전세계 평균은 1이며, 1보다 작으면 평균이하, 1보다 크면 평균이상이다.
또한, 만약 지표가 1.5라면 평균보다 1.5배 영향력이 큰 것이다.
식으로 따지면 "(A라는 논문 인용수)/(A랑 같은 연도, 주제, 출판 형태의 전 세계 평균 인용수)"이다.
이러면 다른 시기에 쓰인 다른 주제의 다른 논문 형태더라도 어떤 논문이 더 영향력이 큰지 알 수 있다.
FWCI는 Field-Weighted Citation Impact의 약자이고, Scopus와 SciVal을 기반으로 한다.
CNCI는 Category Normalized Citation Impact의 약자이고, InCites를 기반으로 한다.
두 지표의 계산식이 같아서 차이점도 별로 없어보이지만
기반으로 하는 곳이 달라서 인용 데이터 범위와 세분화되는 정도가 다르다.
CNCI가 더 구체적으로 세분화해서 계산한다고 한다.
그렇다면 내가 썼던 논문을 기반으로 FWCI와 CNCI를 비교해보겠다.
참고로 난 지금까지 출간된 논문은 2개인데,
하나는 세포에 물질 처리 실험을 했던 생물학 분야이고
다른 하나는 의학인데 2차 자료로 통계를 돌려서 낸 논문이 있다.
즉, 분야가 완전 다른 논문이다.
FWCI는 소속기관이 Scopus나 SciVal을 구독하고 있다면 소속기관을 통해 들어가서 확인할 수 있다.
SciVal은 계정생성하고 무슨 과정이 있길래 귀찮아서 패스하고
Scopus에서 저널 검색해서 클릭하면 아래 화면과 같이 논문 아래에 바로 수치가 나온다.
자, 지금 보면 내 논문이 2개인데 좌측에 있는 게 IF가 더 낮았던 논문인데, FWCI가 더 높다.
그렇다면 CNCI는 어떨까?
CNCI는 소속기관이 구독하고 있다면 소속기관을 통해 InCites에서 보면 된다.
참고로 InCites는 Web of Science를 제공하는 Clarivate에서 만든 곳이다.
근데 InCites는 소속기관이 구독하더라도 개별회원을 만들어서 들어가야한다.
(약간... 개별회원을 만들라는게 SciVal 느낌이다.)
성공적으로 InCites에 접속하였다면, "Analyze > Research Areas"를 들어간다.
이후 좌측에 있는 column의 설정을 변경하여 원하는 연구자를 찾아준다.
나 같은 경우는 내 ORCID ID를 이용해서 찾았다.
그러면 본인이 작성한 논문이 속하는 분야와 CNCI를 확인할 수 있다.
흥미롭게도 아까 FWCI가 높았던 논문이 CNCI가 낮게 나왔다.
즉, 분야의 설정이 달라지니까 더 영향력 있다고 설정된 논문이 달라진 것이다.
개인적으로는 학술지의 IF를 고려했을때, 물론 두 논문의 분야가 완전 달라서 동일선상에서 비교하기는 어렵지만,
2번 논문이 IF가 더 높았기 때문에 CNCI가 더 믿을만하지 않을까...하는 생각이 좀 있다.
뭐쨌든 하나가 평균이하고 하나가 평균이상이면 평균적인 연구자는 하고 있는거겠지!
연구 평가 지표 시리즈 글의 끝이다 ㅎㅎ
그럼 다들 좋은 지표를 갖는 연구하길 바란다!
[연구 평가 지표] 글 시리즈
- 저널 영향력 지수: 종류와 확인법 - Impact factor, CiteScore 등등
(https://miretia.tistory.com/716) - 연구자 영향력 지수: h-index, g-index, i10-index
(https://miretia.tistory.com/720) - 논문 영향력 지수: 피인용수(Citation impact), FWCI, CNCI
(https://miretia.tistory.com/725)