최근 로봇 제어, 고해상도 시각 인식, 데이터 활용, 툴 연동, 프롬프트 보안, 스트리밍 영상 처리 등 다양한 분야에서 에이전트의 성능과 안전성을 향상시키려는 연구가 활발히 진행되고 있습니다. 이러한 논문들을 한데 모은 이유는 동일한 “Agents”라는 키워드 아래, 서로 다른 적용 환경에서 에이전트가 직면하는 공통 문제와 각 접근 방식의 차이를 비교함으로써, 개발자가 자신의 시스템에 맞는 설계 방향을 빠르게 파악하도록 돕기 위함입니다.
첫 번째와 두 번째 접근은 에이전트가 외부 환경과의 직접적인 상호작용에서 발생하는 문제를 다룹니다. 「JustRUA: A Controlled Study of GPT-6 Robot-Use Agents」는 로봇 팔을 고정 하네스에 연결해 제어하는 방식에서, 하네스 설계와 테스트 서브셋이 동시에 바뀌어 어느 요소가 성능 향상에 기여했는지 파악하기 어렵다는 점을 제시합니다. 반면 「ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization」은 초고해상도 이미지에서 질문에 답하기 위해 필요한 영역을 줌인하는 과정에서, 에이전트가 증거를 읽기보다 상식에 의존하는 문제를 지적하고, 대비 집합을 이용해 에이전트를 훈련하는 Cross-Input Relative Policy Optimization 방식을 제안합니다. 두 연구 모두 환경 인식·제어 단계에서의 설계 선택이 성능에 미치는 영향을 밝히고, 각각 하드웨어 연결 방식과 학습 목표 설정을 변화시켜 문제를 해결하려 합니다.
세 번째와 네 번째 접근은 데이터와 툴 연동 측면에서 에이전트의 한계를 탐구합니다. 「AgentSSL: Can MLE Agents Leverage Unlabeled Data?」는 라벨이 부족하고 비지도 데이터가 많음에도 기존 MLE 기반 에이전트가 라벨 의존적인 학습에 머물러 있음을 지적하고, 비지도 데이터를 활용할 수 있는 방법을 모색합니다. 「When Tool Names Are Not Identities: Measuring Provider Misbinding in MCP-Based AI Agents」는 모델 컨텍스트 프로토콜(MCP) 하에서 외부 툴을 선택·호출할 때, 툴 메타데이터와 실제 제공자 신원이 일치하지 않아 발생하는 오인 바인딩 문제를 측정하고, 신뢰할 수 있는 툴 식별 메커니즘의 필요성을 강조합니다. 두 논문 모두 데이터·툴 신뢰성을 확보하기 위해 라벨링 전략과 메타데이터 검증 방식을 각각 변경합니다.
다섯 번째와 여섯 번째 접근은 보안·실시간 응답이라는 운영적 과제에 집중합니다. 「CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts」는 작은 언어 모델 에이전트가 자체적으로 보안 아티팩트를 생성하도록 요구하는 기존 방어 기법과 달리, 모델이 직접 보안 코드를 작성하지 않아도 되는 방어 메커니즘을 탐구합니다. 「BLIP-Live: Balancing Timeliness & Firing Precision in Proactive Streaming Video Agents」는 스트리밍 영상 에이전트가 충분한 증거가 확보될 때 즉시 반응하면서도, 과도한 조기 응답이나 중복·오답을 최소화하도록 타이밍과 정확도 사이의 균형을 맞추는 방법을 제시합니다. 여기서는 보안 정책 설계와 응답 시점 제어라는 두 축을 각각 변형하여 문제를 해결합니다.
이 주제에 대해 더 깊이 공부하고 싶다면, 로봇 제어와 하드웨어 인터페이스 설계에 관심이 있다면 「JustRUA」와 「ViRA」를, 데이터 라벨링·비지도 학습과 툴 연동 신뢰성에 관심이 있다면 「AgentSSL」와 「When Tool Names Are Not Identities」를, 작은 모델 보안과 실시간 스트리밍 응답 최적화에 관심이 있다면 「CapLite」와 「BLIP-Live」를 차례대로 살펴보시기 바랍니다.