디엠티랩스는 상명대학교와 공동으로 수행한 연구 논문 「When Should LLMs Search? Counterfactual Supervision for Search Routing」라는 주제로 arXiv에 논문을 공개했으며, 해당 연구가 ICML 2026 FAGEN Workshop 포스터 발표로 선정됐다고 밝혔다.
이번 연구는 검색 도구를 사용할 수 있는 대규모 언어모델이 모든 질문에 대해 검색을 수행하는 것이 항상 바람직하지 않다는 문제의식에서 출발했다. LLM은 최신 정보나 장기 지식이 필요한 질문에서는 외부 검색을 통해 답변 품질을 높일 수 있지만, 이미 내부 지식으로 답변 가능한 질문이나 모호한 질문에서는 검색이 오히려 비용을 증가시키거나 잘못된 근거를 유입할 수 있다.논문은 이러한 문제를 Search Routing, 즉 LLM이 질문별로 검색을 수행할지 여부를 판단하는 문제로 정의했다. 연구진은 동일한 질문에 대해 검색 없이 답변한 경우와 강제로 검색을 수행한 경우의 결과를 비교하고, 이를 바탕으로 NO SEARCH, SEARCH, UNSOLVED로 구성된 counterfactual routing oracle을 설계했다.
이를 통해 모델이 단순히 검색 사용 빈도를 높이거나 낮추는 것이 아니라, 실제로 검색이 필요한 질문에서는 검색을 수행하고, 검색이 불필요하거나 부적절한 질문에서는 검색 없이 답변·정정·명확화·기권할 수 있도록 학습하는 방법을 제안했다.
실험 결과, 제안 방법은 Gemma E2B와 Qwen3.5-4B 모델 모두에서 Search Routing 성능을 개선했다. 특히 지도학습과 Preference Optimization을 적용한 결과, 두 모델 모두에서 routing macro-F1이 향상되었으며, Gemma 계열 모델은 불필요한 검색을 줄이는 방향으로, Qwen 계열 모델은 검색이 필요한 사례를 놓치는 문제를 줄이는 방향으로 개선되는 양상을 보였다.
디엠티랩스 관계자는 “LLM 기반 AI Agent가 실제 서비스 환경에서 활용되기 위해서는 단순히 검색 기능을 붙이는 것만으로는 부족하며, 언제 검색하고 언제 검색하지 않아야 하는지를 판단하는 능력이 중요하다”며 “이번 연구는 검색 증강 LLM과 AI Agent의 신뢰성, 비용 효율성, 응답 품질을 높이기 위한 기반 기술이라는 점에서 의미가 있다”고 밝혔다.
디엠티랩스는 이번 연구 성과를 바탕으로 실시간 통번역, 도메인 특화 AI Agent, 검색 증강 질의응답, 기업 내부 지식 기반 RAG 시스템, AI4Science 등 다양한 서비스에 적용 가능한 LLM 검색 판단 기술을 지속 고도화할 계획이다.
이번 연구는 검색 도구를 사용할 수 있는 대규모 언어모델이 모든 질문에 대해 검색을 수행하는 것이 항상 바람직하지 않다는 문제의식에서 출발했다. LLM은 최신 정보나 장기 지식이 필요한 질문에서는 외부 검색을 통해 답변 품질을 높일 수 있지만, 이미 내부 지식으로 답변 가능한 질문이나 모호한 질문에서는 검색이 오히려 비용을 증가시키거나 잘못된 근거를 유입할 수 있다.논문은 이러한 문제를 Search Routing, 즉 LLM이 질문별로 검색을 수행할지 여부를 판단하는 문제로 정의했다. 연구진은 동일한 질문에 대해 검색 없이 답변한 경우와 강제로 검색을 수행한 경우의 결과를 비교하고, 이를 바탕으로 NO SEARCH, SEARCH, UNSOLVED로 구성된 counterfactual routing oracle을 설계했다.
이를 통해 모델이 단순히 검색 사용 빈도를 높이거나 낮추는 것이 아니라, 실제로 검색이 필요한 질문에서는 검색을 수행하고, 검색이 불필요하거나 부적절한 질문에서는 검색 없이 답변·정정·명확화·기권할 수 있도록 학습하는 방법을 제안했다.
실험 결과, 제안 방법은 Gemma E2B와 Qwen3.5-4B 모델 모두에서 Search Routing 성능을 개선했다. 특히 지도학습과 Preference Optimization을 적용한 결과, 두 모델 모두에서 routing macro-F1이 향상되었으며, Gemma 계열 모델은 불필요한 검색을 줄이는 방향으로, Qwen 계열 모델은 검색이 필요한 사례를 놓치는 문제를 줄이는 방향으로 개선되는 양상을 보였다.
디엠티랩스 관계자는 “LLM 기반 AI Agent가 실제 서비스 환경에서 활용되기 위해서는 단순히 검색 기능을 붙이는 것만으로는 부족하며, 언제 검색하고 언제 검색하지 않아야 하는지를 판단하는 능력이 중요하다”며 “이번 연구는 검색 증강 LLM과 AI Agent의 신뢰성, 비용 효율성, 응답 품질을 높이기 위한 기반 기술이라는 점에서 의미가 있다”고 밝혔다.
디엠티랩스는 이번 연구 성과를 바탕으로 실시간 통번역, 도메인 특화 AI Agent, 검색 증강 질의응답, 기업 내부 지식 기반 RAG 시스템, AI4Science 등 다양한 서비스에 적용 가능한 LLM 검색 판단 기술을 지속 고도화할 계획이다.