들어가며
안녕하십니까. GS네오텍 박태순입니다.
오늘은 리인벤트 2019 행사에서 출시된 새로운 인스턴스 타입들을 묶어서 소개하고자 합니다. 머신 러닝을 위한 인스턴스 계열(Inf1)과 6세대 인스턴스들 (M6g, C6g, R6g)이 새롭게 출시 되었는데요. 어떤 특징들이 있는지 한번 살펴볼까요?
Inf1 인스턴스 계열 소개
머신 러닝을 구현하기 위한 자원 중 CPU와 GPU에 대해서 들어보셨나요? 머신러닝의 핵심은 분류를 통한 예측이라고 할 수 있겠습니다. 그 말은 수많은 데이터 속에서 패턴을 발견해 인간의 복합적인 사고로 객체를 분별할 수 있다는 의미가 되겠죠.
기존에는 컴퓨터의 중앙처리장치인 CPU가 성능의 지표였다면, 현재는 그래픽 장치인 GPU의 역할이 더욱 중요한 워크로드가 점점 더 많아지고 있습니다. 머신 러닝 또한 각종 병렬 연산 작업에 GPU 자원을 폭넓게 활용하고 있구요. 따라서 클라우드 환경에서도 이에 걸맞게 다양한 GPU 자원을 활용할 수 있는 옵션을 제공하고 있습니다. AWS의 경우엔 G 타입이 P타입의 인스턴스 계열이 있었죠. 그리고 이번에 Inferentia칩을 장착한 Inf1 인스턴스 계열이 새롭게 출시 되었습니다.
▨ Inferenria 칩
Inferenria 칩은 AWS가 머신 러닝 추론을 위해 설계하고 제작한 전용 칩입니다. Inferentia칩은 2세대 인텔 제온 Scalable 프로세서 및 최대 100Gbps 네트워킹 성능과 결합하여 높은 추론 처리 성능을 보여줍니다. Inf1 인스턴스에 타입에 따라 최대 16개까지 장착 됩니다.
▨ 장점
- 추론 1건당 최대 40% 더 저렴한 비용: Inf1 인스턴스는 높은 처리량 때문에 기존 AWS에서 사용할 수 있는 최저가격과 성능을 내는 기계 학습 추론용 인스턴스인 G4보다 40%낮은 가격으로 제공합니다
- 최대 3배 높은 처리 성능: Inf1 인스턴스는 추론 어플리케이션에서 G4보다 최대 3배 더 높은 처리성능을 제공합니다. Inferentia 칩당 128TOPS(Tera Ops per Second)를 지원합니다
- 극도로 짧은 지연시간: 실시간 어플리케이션에 대해 굉장히 짧은 대기시간을 지원합니다. 음성 인식같은 서비스는 사용자에 입력에 빠르게 대응을 해야합니다. AWS Inferentia 칩의 메모리를 활용해 직접 캐싱 할 수 있어서 빠른 속도를 보장합니다.
- 사용 편의성 : Inf1 인스턴스는 코드를 거의 변경 없이 TensorFlow, PyTorch, MXnet 등 인기있는 머신러닝 프레임워크를 지원합니다
- 다양한 머신 러닝 모델 지원: 추론용 SDK인 AWS Neuron을 사용해 이미지 인식/분류를 위한 SSD(Single Shot Detector)와 ResNet, 자연어 처리를 위한 Transformer 와 Bert와 같은 일반적으로 많이 사용하는 머신러닝 모델을 지원합니다
- 다양한 데이터 유형 지원: FP16, BF16 및 INT8등 다양한 데이터 유형을 서로 다른 정밀도로 지원해 다양한 모델과 성능 요구사항을 만족할 수 있습니다
6세대 인스턴스 계열(M6g, C6g, R6g) 소개
AWS는 2019년 7나노 공정 기반 프로세스를 도입하였고 그리고 다가올 미래인 2020, 2021년에도 끊임 없이 최신형 프로세서를 도입하겠다는 의지를 강력히 표출했습니다.
이번 리인벤트 2019 행사에서 차세대 ARM 기반 AWS Gravation2 프로세서로 구동되는 새로운 범용(M6g), 컴퓨팅 최적화(C6g), 메모리 최적화(R6g)가 출시 되었습니다. 이 인스턴스는 최신 Graviton2 프로세서로 구동됩니다. Grevition2는 7nm 제조 공정을 사용하여 구축된 맞춤형 AWS 설계이며, 64비트 Arm Neoverse 코어를 기반으로 2배의 부동 소수점 성능을 포함하여 A1 인스턴스의 최대 7배에 달하는 성능을 제공할 수 있습니다.
메모리 액세스는 추가 메모리 채널과 2배 크기의 코어당 캐시를 통해 최대 5배까지 빨라집니다.1세대 Gravation 칩이 들어간 M5와 Gravation2를 비교해서 4배 빠른 컴퓨팅 코어, 5배 빠른 메모리를 제공하며 25Gbps 네트워킹과 18Gbps의 EBS 대역폭도 제공합니다.
M5 대비 M6 vCPU 성능 벤치마크는 다음과 같습니다. (물론 절대적인 수치는 아니며 환경에 따라 편차가 있습니다.)
- SPEC jvm® 2008 : + 43 % (estimated)
- SPEC CPU® 2017 integer : + 44 % (estimated)
- SPEC CPU 2017 floating point : + 24 % (estimated)
- HTTPS load balancing with Nginx + 24 %
- Memcached : + 43 % performance, at lower latency
- X.264 video encoding : + 26 %
- EDA simulation with Cadence Xcellium : + 54 %
마치며
▨ Inf1
Inf1 인스턴스는 `19년 12월 기준으로 미국 동부(버지니아북부) - us-east-1, 미국 서부(오레곤) - us-west-2 에서 사용할 수 있습니다. 타입별 크기 및 사양은 아래를 참고하세요.
▨ M6g/C6g/R6g
M6g/R6g/C6g 인스턴스는 향후 Amazon EMR, Amazon Elasticache같은 서비스 기반에도 적용예정이며 M6g/C6g/R6g인스턴스는 아직 아쉽게도 Preview 단계로 출시는 2020년 중반 정도가 예상되고 있습니다. 공개된 인스턴스 사양은 다음과 같습니다.
보통 신규 인스턴스는 기존 계열에 비해 더 나은 성능을 더 낮은 단가로 제공하기 때문에. 일정 시간이 지나면 세대 전환이 자연스럽게 이뤄지곤 합니다. 현재는 출시한지 얼마 되지 않았거나 Preview 상태이기 때문에, 많은 사용자에게 폭넓게 사용되기 까지는 어느정도 시간이 필요할 것 같다는 생각이 드네요. 그럼 마칩니다. 끝!