High-Performance Multiget Coordination for Distributed Key-Value Stores

Abstract

Modern key-value stores support multiget requests, which allow clients to retrieve the values of multiple specified keys in a single request. However, the multiget operation causes extra coordination overhead when requested keys are distributed across multiple servers. Unfortunately, existing coordination architectures suffer from high client overhead or limited scalability. To this end, we propose NetMC, a network- accelerated multiget coordination architecture that achieves high throughput, low latency, and scalability simultaneously. Our key idea is to distribute the labor of multiget coordination between the network switch and the client. Specifically, we offload the stateless request splitting to the I/O-optimized network switch, while the stateful reply aggregation is performed on the client side. By leveraging the strengths of each system component for coordination functionality, NetMC reduces the coordination overhead significantly. We implement a NetMC prototype on a cluster of commodity servers connected via an Intel Tofino switch. Our experimental results show that NetMC outperforms existing architectures and is robust to various system conditions.|현대 인터넷 서비스들은 다수의 데이터를 동시에 처리하는 작업을 신속하게 수행하기 위해 키-밸류 스토어를 활용한다. 키-밸류 스토어는 단일 요청으로 여러 키의 값을 조회할 수 있는 멀티겟 연산을 지원한다. 그러나 요청된 키들이 여러 서버에 분산되어있는 경우, 멀티겟 연산은 추가적인 코디네이션 오버헤드를 발생시킨다. 기존의 멀티겟 코디네이션 아키텍처는 클라이언트가 직접 코디네이션을 처리하여 높은 클라이언트 오버헤드를 야기하거나, CPU 기반의 코디네이터를 추가로 두어 확장성이 제한되는 문제가 있다. 이에 본 논문은 높은 패킷 처리량과 낮은 지연시간 및 확장성을 동시에 달성할 수 있는 고성능 멀티겟 코디네이션 아키텍처 NetMC를 제안한다. NetMC의 핵심 아이디어는 프로그래머블 스위치와 클라이언트 사이에 멀티겟 코디네이션의 작업을 분산시키는 것이다. 구체적으로, 상태 저장이 필요 없는 요청 분할 작업은 패킷 처리에 특화된 프로그래머블 스위치에 오프로드하고, 상태 저장이 필요한 응답 병합 작업은 클라이언트 측에서 수행한다. 본 논문은 NetMC 프로토타입을 Intel Tofino 스위치에 연결된 서버 클러스터에서 구현하였다. 실험 결과, NetMC는 코디네이션 오버헤드를 크게 감소시켜 기존 아키텍처들보다 우수한 성능을 보였으며, 다양한 시스템 환경에서도 안정적인 동작을 입증하였다.