Gazzillion Misses™
정의
매우 많은 수의 outstanding 메모리 요청을 생성하는 Semidynamics 코어의 기능입니다.
비공식적으로
엄청난 대역폭. 빅데이터, HPC, AI에 적합합니다.
fully customisable 가능한 64비트 RISC-V 제품군 코어에 내장되어 있고 메모리 집약적인 애플리케이션을 위한 Gazzillion Misses는 off-chip 메모리에 액세스할 때 latency 문제를 방지하는 데 도움이 됩니다.
전통적인 프로세서는 "정지-재개" 방식의 작동 모드를 따릅니다. 아래 그림은 6단계 파이프라인을 따라 흐르는 다섯 개의 로드 명령어(보라색)를 보여줍니다. "A" 단계(ALU/주소 생성) 이후 로드 명령어는 캐시 미스("M", 빨간 상자)를 경험합니다. 프로세서는 메모리에 요청을 보내고 처리를 계속합니다. 그러나 네 번째 캐시 미스 이후, 프로세서는 더 이상 메모리 요청을 발행할 수 없고, 따라서 첫 번째 미스의 데이터가 메모리로부터 반환될 때까지 기다려야 합니다. 결과적으로, 예제에서 프로세서는 약 100 클럭 사이클 동안 유휴 상태가 됩니다.
대조적으로, Semidynamics Gazzillion기술을 사용하면 프로세서가 메모리 시스템에 최대 128개의 요청을 보낼 수 있는 반면, 다른 코어는 매우 적은 cache miss 만 허용할 수 있습니다. 이는 cache miss가 처리되는 동안 프로세서가 유용한 처리를 계속 수행함을 의미합니다. 아래 그림은 프로세서가 메모리 액세스가 완료될 때까지 기다리기 전에 최대 128개의 누락이 메모리 시스템에 전송될 수 있는 방법을 보여줍니다. 이 경우 첫 번째 cache miss가 해결되는 시점에 매우 가까운 시점에 stop이 발생하므로 유휴 시간이 거의 0으로 줄어듭니다.
다른 Core와의 비교
이전 설명을 관점에서 설명하기 위해 아래 그림에서는 Atrevido 및 Avispado 코어의 Gazzillion 기술을 시장에서 사용 가능한 다른 인기 코어와 비교합니다.
그림에서 가로 축은 각 코어의 사이클당 폐기/발행된 명령 수를 나타내고, 세로 축은 각 코어가 지원하는 최대 outstanding misses 수를 나타냅니다.
Atrevido와 Avispado는 RISC-V 여부에 관계없이 각각 최대 64회 또는 128회 미스를 처리할 수 있는 능력으로 다른 모든 코어보다 우수하다는 것을 알 수 있습니다.
Gazzillion 기술의 장점들
Gazzillion 기술을 사용하면 설계에서 큰 메모리 대기 시간을 허용하고 높은 메모리 대역폭을 유지할 수 있습니다. 이는 애플리케이션의 성능이 향상되고 소프트웨어 팀이 플랫폼에 대한 코드를 작성하는 작업이 훨씬 쉬워집니다.
요약하면 Gazzillion 기술의 이점은 다음과 같습니다:
- Off-chip 메모리는 On-chip 메모리와 동일한 초고속으로 액세스할 수 있습니다.
- 메모리에서 주기당 60바이트 이상의 속도로 데이터를 Streaming합니다.
- 성능을 향상시킵니다.
- Software 작업 난이도를 낮춥니다
Gazzillion 기술이 시스템 성능을 어떻게 향상시킬 수 있는지 더 자세히 알고 싶다면, 저희의 블로그 글 Gazzillion Misses - Making the Memory Wall Irrelevant를 꼭 확인해 보세요.
Target 시장
우리의 Gazzillion Misses 기술은 기계 학습, 추천 시스템, 키-값 저장소 및 Sparse 데이터/HPC에 매우 유용합니다. 또한 제한된 SRAM/캐시, 고대역폭/스트리밍 및 벡터 장치를 갖춘 SoC에도 적합합니다.
CXL interface Memory 에 대한 준비
CXL.mem 프로토콜이 업계에서 채택되면서 메모리가 칩 외부로 가고 있습니다.. 다음 SoC 설계에 대한 의미는 메모리가 SoC 내부 코어에서 훨씬 더 멀리 떨어져 있다는 것입니다. 즉, 분리된 메모리의 새로운 시대에는 대기 시간이 크게 증가할 것입니다. Gazzillion은 매우 효율적인 대기 시간 허용 기술을 제공하여 대기 시간이 긴 새로운 시대에 대비하고 있습니다.