Gazzillion Misses™
Gazzillion Misses
概念定义 : Semidynamics内核生成巨大数量内存未决请求的能力
通俗理解 : 巨大带宽。益于大数据,HPC及AI。

什么是Gazzillion Misses技术?

Gazzillion Misses内置于我们完全可定制的64位RISC-V家族内核中,
且用于重度内存应用,帮助避免在访问片外内存时产生的延迟。

传统处理器遵从一个“停-走”运行模式。下图显示3个装载指令(紫色)流过一个6级管道。在A级之后
(ALU/地址生成),装载指令经历一次cache缺失(“M",红框)。处理器向内存发出一条请求并
继续处理。然而,在下一次cache缺失时,即4条指令之后,处理器不能再发出内存请求,因此它将
等待取回第一次缺失时从内存请求的数据才能继续处理。从效率上讲,处理器将空闲
大概400时钟周期如示例所示。

Traditional core cache misses

相反地,Semidynamics Gazzillion™ 技术允许处理器发送高达128条请求至内存系统,
而其它内核只能容忍极少cache缺失。这意味着处理器在先前缺失被服务时持续进行有效处理。
下图显示在处理器停滞等待内存访问完成前是如何将高达128次缺失发送至内存系统的。这就将空闲
时间几乎降为零。因为停滞发生与每一次cache缺失解决时间非常相近。

Semidynamics core with Gazzillion Misses

与其它内核对比

由前述解释可见,下图对比了含有Gazzillion技术的Atrevido和
Avispado内核与市面其它流行内核

Gazzillion Misses comparison

图中,横轴代表每个内核每周期退休/发出的指令数量,纵轴显示每个内核支持的待处理缺失的最大值。

可见Atrevido和Avispado分别可以处理高达64或128次缺失,在所有其它内核中脱颖而出,
无论对手是否是RISC-V标准。

Gazzillion的益处

有了Gazzillion技术,您的设计可以容忍大量内存延迟并保持高内存带宽。这保证了
您的应用实现更高性能以及使您的软件团队更易于为该平台编程。

总而言之,Gazzillion的益处在于:

  • 片外内存可像片上内存一样被高速访问
  • 从内存中以超过60字节/秒的速度流化数据传输
  • 改进性能
  • 降低软件复杂度

目标市场

我们的Gazzillion Misses™ 技术高度适用于机器学习。
推荐系统:关键值存储及分散数据/HPC。它也对含有有限 SRAM/Cache,高带宽/流数据
及带有向量单元的SoC来说是一种完美契合。

支持CXL.mem 的未来!

业界对CXL.mem协议的采纳带来了内存解体。这意味着将来您的SoC设计中内存将更远离您SoC中的内核。
或者说,解体内存新时代将极大增加延迟。Gazzillion为此高延迟的新时代而生,为您提供高效延迟容忍技术。