Gazzillion Misses™

Gazzillion Misses
概念定义 : Semidynamics内核会产生大量的内存请求操作。
通俗理解 : 提供巨大的内存带宽。有益于大数据,HPC及AI的应用。

什么是Gazzillion Misses技术?

Gazzillion Misses内置于我们完全可定制的64位RISC-V家族内核中,
且用于重度内存应用,帮助避免在访问片外内存时产生的延迟。

传统的处理器遵循“走走停停”的操作模式。下图显示了沿6级管道向下流动的5条加载指令(紫色)。
“A”阶段(ALU/地址生成)之后,加载遇到cache未命中(“M”,红色框)。
处理器向内存发出请求并继续处理。
然而,在四条指令之后的后续cache未命中时,处理器无法发出更多的内存请求,因此,
它必须等待第一次cache未命中的数据从内存返回,然后才能继续。
实际上,在下面的例子中,处理器将空闲大约100个时钟周期。

Traditional core cache misses

相反地,Semidynamics Gazzillion™ 技术允许处理器发送高达128条请求至内存系统,
而其它内核只能容忍极少cache缺失。这意味着处理器在先前缺失被服务时持续进行有效处理。
下图显示在处理器停滞等待内存访问完成前是如何将高达128次缺失发送至内存系统的。这就将空闲
时间几乎降为零。因为停滞发生与每一次cache缺失解决时间非常相近。

Semidynamics core with Gazzillion Misses

与其它内核对比

由前述解释可见,下图对比了含有Gazzillion技术的Atrevido和
Avispado内核与市面其它流行内核

Gazzillion Misses comparison

图中,横轴代表每个内核每周期退休/发出的指令数量,纵轴显示每个内核支持的待处理缺失的最大值。

可见Atrevido和Avispado分别可以处理高达64或128次缺失,在所有其它内核中脱颖而出,
无论对手是否是RISC-V标准。

Gazzillion的益处

有了Gazzillion技术,您的设计可以容忍大量内存延迟并保持高内存带宽。这保证了
您的应用实现更高性能以及使您的软件团队更易于为该平台编程。

总而言之,Gazzillion的益处在于:

  • 片外内存可像片上内存一样被高速访问
  • 从内存中以超过60字节/秒的速度流化数据传输
  • 改进性能
  • 降低软件复杂度

目标市场

我们的Gazzillion Misses™ 技术高度适用于机器学习。
推荐系统:关键值存储及分散数据/HPC。它也对含有有限 SRAM/Cache,高带宽/流数据
及带有向量单元的SoC来说是一种完美契合。

支持CXL.mem 的未来!

业界对CXL.mem协议的采纳带来了内存解体。这意味着将来您的SoC设计中内存将更远离您SoC中的内核。
或者说,内存解体新时代的到来将极大增加延迟。Gazzillion为此高延迟的新时代而生,为您提供高效延迟容忍技术。