인공지능 리뷰어
재이의 논문이 인공지능 최고 학회 AAAI에 실렸다. 연구실 행정 선생님이 만원 짜리 케이크를 사서 랩미팅에 들고왔다. 연구실 사람들 한 입 씩 먹어도 부족할 작은 생크림 케이크였다. 다들 주뼛주뼛 눈치를 보며 못 먹고 있었다. 교수님은 한 조각 잘라서 종이컵에 담더니 재이에게 건넸다.
“축하해, 재이. 재이는 안 시켜도 알아서 잘해.”
다른 대학원생 들으라고 하신 말씀은 아니겠으나, 괜시리 조바심과 질투가 났다.
재이는 나보다 1년 늦게 들어온 석사과정생이었다. 재이가 처음 들어왔을 때 참 엉성한 친구라고 생각했다. 연구실에 집 열쇠를 놓고 퇴근하는 바람에 다시 연구실로 돌아오는 건 흔한 일이다. 종종 커피 머신에 머그컵을 올려놓지 않은 채 커피를 뽑았고, 심지어 자기 지갑을 연구실 냉장고에 둘 때도 있었다. 덜렁거리는 모습에 챙겨주고 싶은 마음이 들어 이것저것 가르쳐주었다. 요즘은 이런 모델이 대세니까 먼저 시도해보라고 권했다.
재이도 점점 내게 의지를 했다. 먼저 도움을 청하기도 했다.
“선배, 이것 좀 봐주세요. 이렇게 모델을 구성하면 rotation invariance가 있다고 주장할 수 있죠?”
나는 쉽게 생각해내지 못할 독창적인 모델을 아무렇지도 않게 만들어왔다. 짐짓 놀랐지만 자존심 때문에 시큰둥하게 ‘어, 그렇네’ 하며 끄덕였다. 머리 좋은 친구는 이런 식으로 연구를 하는구나 싶어 자극을 많이 받았다.
재이가 2년차에 접어들고는 집에 잘 안 갔다. 연구가 저렇게 재밌나 싶었다. 그러더니 기어이 일을 낸 것이었다. AAAI라니!
랩미팅이 끝나고 노트를 정리하는 재이의 표정이 마냥 즐거워보였다. 그 모습이 부러웠다. 친한 후배가 잘되면 열등감을 느끼지 말고 축하해줘야 하는데, 마음이 마음대로 안 되었다. 나쁜 마음을 털어내고자 재이에게 말을 걸었다.
“재이야, 논문 억셉 기념으로 퇴근하고 치맥 안 할래?”
“네, 좋아요!”
“재이, 넌 어쩜 그렇게 척척 해내?”
맥주 몇 모금이 들어가고 재이의 재능을 시기하는 마음을 살짝 내보였다. 재이는 씩 웃더니 이야기를 시작했다.
“선배도 AAAI에서 작년부터 인공지능 심사를 진행하는 거 아시죠?”
인공지능 심사라면 들어봤다. 심사위원이 논문을 평가할 때 저자의 이름이나 소속 학교의 이름에 영향을 받는다는 논의는 오래 전부터 이루어져왔다. 명문 학교 특히 대가의 논문은 같은 논문이라도 한 번 더 보게 되고 후한 평가를 받게 된다는 논의였다. 사회과학 쪽에서 일어났던 논의가 자연과학과 공학으로도 확장되었다. 논문 심사의 불공정성을 개선해야 한다는 주장이 제기되었다. 공정한 논문 심사를 위해 저자 이름과 소속을 가리는 블라인드 심사를 도입했으나, 그림과 모델 이름으로 교묘하게 저자를 암시하는 꼼수가 성행했다.
그래서 작년 AAAI에서는 인공지능 심사를 도입했다. 저자나 학교에 흔들리지 않고 공정하게 심사를 하겠다고 했다.
“응, 알지. 너도 인공지능 리뷰어한테 리뷰 받은 거지?”
“네, 근데 인공지능 심사에도 허점이 있어요. 대가의 문체를 보면 후한 평가를 내리게 된다는 거예요. 인공지능 리뷰어가 무얼 보고 학습했겠어요? 그동안 최고 학회들에 실린 논문을 토대로 학습한단 말이죠.”
학회들에 실린 논문들에는 대가의 글이 많다. 자연스럽게 모델도 대가의 글을 높게 평가할 것이라는 게 재이의 가설이었다. 가설에 입각하여 재이는 대가의 논문을 읽고 또 읽었다고 했다. 대가의 문체를 따라 썼다. 그것은 논문의 질과는 상관 없는 일이었지만 논문이 좋은 평가를 받으려면 어쩔 수 없었다. AAAI에 억셉된 것은 재이 연구의 독창성일까 흉내낸 대가의 문체일까?
자랑스럽게 얘기하는 재이 앞에서 나는 무언가 뒤틀리는 것을 느꼈다. 재이는 그랬다. 함께 웃다가도 이질감이 느껴지는 찰나가 있었다. 보통 사람이라면 하지 않을 생각들을 하고, 보통 사람이라면 느낄 감정을 느끼지 못했다. 어떻게 이 뒤틀림을 설명할 수 있을까 한참을 고민하다가 어렵게 문장을 뱉었다.
“재이야, 달을 보기 위해서는 달을 가리키는 손가락 끝이 아니라 달을 봐야해. 대가의 문체를 베끼는 건 과학의 본질과 멀어지는 일이야.”
“알죠. 그렇지만 어떻게 멋진 일만 하고 살겠어요? 이건 과학의 본질은 아닐지 모르지만 해야 하는 일이예요.”
재이는 쉽게 말했다. 어쩌면 내가 순진했고, 재이가 옳았을지도 모른다. 재이의 주장은 얼마 지나지 않아 트렌드가 되었으니까.
몇 년 후 전세계 모든 연구실에서 인공지능 리뷰어 입맛에 맞는 논문을 쓰기 위해 애썼다. 과학자들은 논문의 질을 높이는 것보다 대가의 문체를 따라하는 데에 시간을 더 썼다. 우스운 일이었다.