Gazzillion Misses™
Gazzillion Misses
정의 : 매우 많은 수의 outstanding 메모리 요청을 생성하는 Semidynamics 코어의 기능입니다.
비공식적으로 : 엄청난 대역폭. 빅데이터, HPC, AI에 적합합니다.

Gazzillion Misses 기술이란 무엇입니까?

fully customisable 가능한 64비트 RISC-V 제품군 코어에 내장되어 있고 메모리 집약적인 애플리케이션을 위한 Gazzillion Misses는 off-chip 메모리에 액세스할 때 latency 문제를 방지하는 데 도움이 됩니다.

기존 프로세서는 "stop-and-go" 작동 모드를 따릅니다. 아래 그림은 6단계 파이프라인을 따라 흐르는 세 가지 로드 명령(보라색)을 보여줍니다. "A" 단계(ALU/주소 생성) 이후 로드에서는 cache miss("M", 빨간색 상자)이 발생합니다. 프로세서는 메모리에 요청하고 계속 처리합니다. 그러나 4개 명령어 이후의 다음 cache miss 시 프로세서는 더 많은 메모리 요청을 발행할 수 없으므로 계속 진행하기 전에 첫 번째 miss의 데이터가 메모리에서 반환될 때까지 기다려야 합니다. 실제로 프로세서는 아래 예에서 약 400 clock cycle 동안 대기 상태가 됩니다.

Traditional core cache misses

대조적으로, Semidynamics Gazzillion기술을 사용하면 프로세서가 메모리 시스템에 최대 128개의 요청을 보낼 수 있는 반면, 다른 코어는 매우 적은 cache miss 만 허용할 수 있습니다. 이는 cache miss가 처리되는 동안 프로세서가 유용한 처리를 계속 수행함을 의미합니다. 아래 그림은 프로세서가 메모리 액세스가 완료될 때까지 기다리기 전에 최대 128개의 누락이 메모리 시스템에 전송될 수 있는 방법을 보여줍니다. 이 경우 첫 번째 cache miss가 해결되는 시점에 매우 가까운 시점에 stop이 발생하므로 유휴 시간이 거의 0으로 줄어듭니다.

Semidynamics core with Gazzillion Misses

다른 Core와의 비교

이전 설명을 관점에서 설명하기 위해 아래 그림에서는 Atrevido 및 Avispado 코어의 Gazzillion 기술을 시장에서 사용 가능한 다른 인기 코어와 비교합니다.

Gazzillion Misses comparison

그림에서 가로 축은 각 코어의 사이클당 폐기/발행된 명령 수를 나타내고, 세로 축은 각 코어가 지원하는 최대 outstanding misses 수를 나타냅니다.

Atrevido와 Avispado는 RISC-V 여부에 관계없이 각각 최대 64회 또는 128회 미스를 처리할 수 있는 능력으로 다른 모든 코어보다 우수하다는 것을 알 수 있습니다.

Gazzillion 기술의 장점들

Gazzillion 기술을 사용하면 설계에서 큰 메모리 대기 시간을 허용하고 높은 메모리 대역폭을 유지할 수 있습니다. 이는 애플리케이션의 성능이 향상되고 소프트웨어 팀이 플랫폼에 대한 코드를 작성하는 작업이 훨씬 쉬워집니다.

요약하면 Gazzillion 기술의 이점은 다음과 같습니다.:

  • Off-chip 메모리는 On-chip 메모리와 동일한 초고속으로 액세스할 수 있습니다.
  • 메모리에서 주기당 60바이트 이상의 속도로 데이터를 Streaming합니다.
  • 성능을 향상시킵니다.
  • Software 작업 난이도를 낮춥니다

Target 시장

우리의 Gazzillion Misses 기술은 기계 학습, 추천 시스템, 키-값 저장소 및 Sparse 데이터/HPC에 매우 유용합니다. 또한 제한된 SRAM/캐시, 고대역폭/스트리밍 및 벡터 장치를 갖춘 SoC에도 적합합니다.

CXL interface Memory 에 대한 준비

CXL.mem 프로토콜이 업계에서 채택되면서 메모리가 칩 외부로 가고 있습니다.. 다음 SoC 설계에 대한 의미는 메모리가 SoC 내부 코어에서 훨씬 더 멀리 떨어져 있다는 것입니다. 즉, 분리된 메모리의 새로운 시대에는 대기 시간이 크게 증가할 것입니다. Gazzillion은 매우 효율적인 대기 시간 허용 기술을 제공하여 대기 시간이 긴 새로운 시대에 대비하고 있습니다.