한빛출판네트워크

검색 시대의 종말, 더 이상 AI 해자는 없다

“검색의 시대는 끝났다.”

카이스트 김대식 교수가 유튜브에서 강조한 말이다. 궁금한 건 네이버나 구글에서 검색한다. 검색 초기에는 주로 궁금증을 해소하는 역할을 했지만 이제는 실생활에 필요한 것을 찾고 돕는 역할을 한다. 집에 오는 손님을 위해 요리법을 검색하고 가고 싶은 여행지와 먹고 싶은 음식점을 검색하는 건 이제 일상이다. 삶에 필요한 모든 정보를 검색으로 찾을 수 있다.

최근 검색의 자리가 AI에 의해 위협받고 있다. 검색은 사용자가 인터넷에 입력한 검색어와 연관된 정보의 주소를 전달하고 사용자는 직접 클릭하며 원하는 정보를 찾는다. 원하는 정보를 찾을 때도 있지만 그렇지 못하는 경우도 많다. 특히 너무 많은 검색 결과는 어디부터 확인해야 할지 고민해야 하는 선택에 대한 피로를 유발한다. 정보의 홍수 시대에 수많은 검색 결과 대신 내가 원하는 정보를 알아서 정리하여 알려주면 좋겠다는 생각을 자주 한다. 

생성형 AI^{Generative AI}, GenAI가 대안으로 떠올랐다. GenAI는 사용자가 검색한 질문에 관련된 정보를 찾아 확인하고 분석한 후 자신이 가지고 있는 지식까지 보태어 통합한 결과를 ‘스스로 생성’하여 사용자에게 전달한다. GenAI 는 수많은 검색 결과를 늘어놓지 않는다. 

‘여행지’ ‘근처 맛있는 식당’ ‘저렴한 여행 상품’ 같은 사용자 질문에 “당신에게 적합한 여행지는 OOO이고 그곳에는 OOO 식당의 음식이 맛있으니 꼭 가기를 추천하며 가장 저렴한 여행 상품은 OOO에서 구매할 수 있습니다”라고 알려준다. 검색을 위한 수많은 클릭이 필요 없다. 또한 GenAI가 주는 결과는 스스로 생성한 것이므로 기존 검색으로는 찾을 수 없는 정보다.

GenAI에게 원하는 정보를 얻으려면 ‘대화의 기술’이 필요하다. 사람 사이 대화도 그렇듯 AI에게도 질문을 잘해야 좋은 답을 얻을 수 있다. 이를 프롬프트 엔지니어링^{prompt engineering}이라고 하는데 대화창을 통해 텍스트나 음성으로 AI와 대화하는 기술이다. 검색에서 서치^search라고 할 수 있으며 AI 시대에 질문의 중요성은 더욱 커졌다.

 질문과 함께 또 하나 중요한 부분은 GenAI가 생성한 답을 잘 구분하는 것이다. GenAI는 자신이 학습한 데이터를 바탕으로 지식을 만든다. 즉, 학습한 데이터의 성격에 따라 지식은 편향적일 수 있고 부정확할 수 있다. 따라서 질문에 대한 답이 사실이 아닐 가능성이 있는데 이를 할루시네이션^{hallucination}(환각현상)이라고 한다. 

할루시네이션은 AI 시대에 심각한 사회문제로 대두되고 있으며 전 세계가 해결책을 모색하고 있다. 이 책을 쓰면서 나는 참고자료를 찾기 위해 GenAI에게 “오픈의 성격을 잘 설명하는 서적을 추천해줘”라고 질문했고 여러 권의 책을 알려줬다. 그중 몇 권은 직접 사서 읽어보려고 온라인 서점에 제목을 입력했지만 찾을 수 없었다. 물론 인터넷 검색을 통해서도 결과는 마찬가지였다. 그 책들은 GenAI가 스스로 생성한 세상에 없는 가짜 책이었다. 

할루시네이션은 아니지만 GenAI는 틀린 답을 하는 경우도 있다. 특히 초기(지금도 아직 해결해야 할 부분이 많지만) 사용자에게 알려준 답이 과거 정보여서 논란이 있었다. “2024년 현재 미국 대통령은 누구지?”라는 질문에 “미국 대통령은 도널드 트럼프 입니다”라거나 또는 “UEFA 유로 2024 우승국은 어디지?”라는 질문에 “우승국은 이탈리아 입니다”라는 식의 답을 하는 이유는 GenAI가 최신 정보를 학습하지 못했기 때문이다. 이탈리아는 4년 전 우승국이며 지난 7월 스페인 우승으로 끝난 UEFA 정보까지는 AI가 아직 학습하지 못했다.

선거철에 많이 듣는 ‘팩트 체크’가 AI 시대에 필수다. 팩트 체크를 위해 후보들은 자신의 공약을 오픈하고 적극적으로 대중에게 설명한다. 오픈하지 않은 공약은 공신력이 없고 후보의 경쟁력을 떨어뜨린다. 스스로 체크하는 팩트도 의미 없다. 오히려 대중의 불신만 키울 뿐이다. 기업은 데이터의 정확성과 최신성 그리고 투명성을 높여 자신의 AI 기술이 안전하고 신뢰할 수 있음을 주장하고자 노력한다. 가짜 정보와 틀린 결과를 생성하는 AI 기술은 살아남을 수 없다. 요즘 AI 관련 학회는 논문 제출 시 연구에 사용한 데이터를 반드시 함께 제출하도록 한다. 데이터를 확인하지 않고서는 논문 결과를 신뢰할 수 없기 때문이다.

지난 3월 현재 미국 공화당 부통령 후보인 J.D. 밴스^{J.D. Vance}는 소셜미디어를 통해 AI의 투명성을 강조하며 해답으로 ‘오픈소스’를 언급한 바 있다. “AI와 관련된 위험이 분명히 존재합니다. 가장 큰 위험 중 하나는 편향적인 사람들이 AI를 이용하여 정치 경제의 모든 부분에 좌파 성향을 주입하는 것입니다. 구글의 GenAI인 제미나이^Gemini는 정확한 역사를 제공할 수 없습니다. 챗GPT는 대량 학살 개념을 홍보합니다. 해결책은 오픈소스입니다.” 또한 최근 메타의 CEO 마크 주커버그는 생성형 AI 기술인 라마 3.1 버전을 발표하며 자사 홈페이지를 통해 “오픈소스 AI는 앞으로 나가야 할 길입니다”라고 강조했다.

“우리에게 해자는 없다”

작년 5월 구글의 개발자 노트가 외부로 공개되어 알려졌다. 핵심 내용은 구글과 오픈AI 모두 자신만의 AI를 지켜줄 해자^moat(성을 지키기 위해 둘레를 파 설치한 구덩이)는 없고 이미 오픈소스가 해자를 무너뜨리고 있다는 것이다. 또한 지난 6월에는 구글과 오픈AI 전현직 직원들이 ‘AI 발전에 대한 경고문’이라는 성명서를 발표하며 기업 내부에 감추어진 AI 위험성과 우려를 외부에 오픈하고 공개적인 비판 문화를 통해 AI를 안전하게 발전시킬 것을 촉구하고 나섰다. AI가 인류에 미칠 영향을 특정 기업만이 아니라 대중에게 오픈하여 함께 해결하자는 것이다.

새로운 AI 시대, 시장은 투명성을 요구하고 기업은 더 똑똑한 AI를 위해 끊임없이 데이터를 갈구하고 있다. AI 발전은 인터넷에 오픈된 데이터 없이 불가능하며 오픈의 힘이 지속적으로 강해질 수밖에 없는 이유다. 물론 검색도 인터넷에 오픈된 정보가 없다면 유명무실하긴 마찬가지다. 

‘트민남 트민녀’라는 신조어처럼 AI는 사용자와 더 가까워지기 위해 최신 트렌드에 민감해야 한다. 사용자의 질문에 트렌드가 지난 정보를 생성하여 알려주는 서비스는 살아남을 수 없다. GenAI는 ‘뇌색남 뇌색녀’가 되기 위해 집요하게 사용자에게 다가와 그들의 곁에 머무르며 원하는 것을 알아내려고 끊임없이 노력할 것이다.

제한적인 오픈 범위, 제약적 라이선스 등 ‘오픈소스 AI’에 대한 비판적 시각도 있다. 시작은 언제나 불완전하다. 오픈소스 소프트웨어도 그랬다. 아직은 ‘오픈소스 AI’가 초기 단계이므로 글로벌 기업과 개발자들이 어떻게 구체화하는지 오픈의 시각에서 눈여겨봐야 할 관전 포인트다.

“오픈소스는 순수하지 않다”

공유와 협업의 가치 뒤에 숨은 ‘오픈’의 본질
리눅스 재단 최고운영진이 들려주는 오픈의 시대를 항해하는 지침서

오픈, 공유와 협력이라는 선의 뒤에 숨은 속내를 분명히 알아야 한다. 오픈소스는 순수한 동기처럼 보이지만 순수하지 않은 이유를 여러 사례를 통해 ‘오픈’이 주는 효용과 해악을 알려주고, 그 가운데 우리가 오픈을 해야 하는 이유를 스스로 깨닫게 한다. 성공한 오픈의 조건과 글로벌 빅테크가 선택한 오픈은 어떤 결과로 이어지고 있는지, 오픈의 세계를 살아가는 우리가 오픈을 어떤 방향으로 이끌어야 하는지 기꺼이 가이드 역할을 자청한다. 비즈니스 암투 속에서 살아남기 위해, 오픈이라는 광야에서 길을 잃지 않기 위해 지금 바로 책의 첫 장을 오픈하라.