대규모 언어 모델(Large Language Models, LLMs)에서 대부분의 계산은 행렬 곱셈으로 효율적으로 구현될 수 있는 완전 연결 계층에 있습니다. 텐서 유닛은 행렬 곱셈 작업에 특화된 하드웨어를 제공하여 AI의 성능을 크게 향상시키는 동시에 큰 전력 소모를 발생시키지 않습니다.

우리의 텐서 유닛은 뛰어난 AI 성능을 제공하기 위해 다른 혁신적인 기술들과 완전히 통합되도록 설계되었습니다.

먼저, 핵심에는 64비트 완전히 맞춤화 가능한 RISC-V 코어가 있습니다. 그 다음에는 지속적으로 데이터를 공급받는 벡터 유닛이 있으며 이는 Gazzillion 기술에 의해 메모리 대기 시간을 효과적으로 줄입니다. 그리고 AI에서 필요한 행렬 곱셈을 수행하는 벡터 레지스터와 연결된 텐서 유닛이 있습니다. 이 솔루션의 각 단계는 최적의 AI 성능과 매우 쉬운 프로그래밍을 위해 완전히 통합되도록 설계되었습니다. 결과적으로 스칼라 코어에서 AI 소프트웨어를 실행하는 것과 비교하여 성능이 128배 증가했습니다.

세계는 초고속 AI 솔루션을 원하고, 이는 이제 우리 독특한 통합된 솔루션이 제공할 수 있는 것입니다.

텐서 유닛은 Semidynamics RVV1.0 벡터 처리 유닛을 기반으로 구축되며 아래에 나와 있는 것처럼 기존의 벡터 레지스터를 활용하여 행렬을 저장합니다. 이로써 텐서 유닛은 Fully Connected 및 Convolution과 같은 행렬 곱셈 기능이 필요한 레이어에 사용될 수 있으며, 활성화 함수 레이어 (ReLU, Sigmoid, Softmax 등)에는 벡터 유닛을 사용하여 일반적으로 활성화 레이어 처리에 어려움을 겪는 기존 NPU들 에 비해 큰 성능향상을 제공합니다.

텐서 유닛은 Vector Unit 기능과 Atrevido-423 Gazzillion™ 기능을 모두 활용하여 필요한 데이터를 메모리에서 가져옵니다. 텐서 유닛은 놀랄 만한 속도로 데이터를 소비하며 Gazzillion이 없으면 일반 코어가 텐서 유닛의 요구에 따라 따라가기 어려울 것입니다. 다른 솔루션은 이 문제를 해결하기 위해 프로그래밍이 어려운 DMAs에 의존합니다. 그러나 Semidynamics는 텐서 유닛을 캐시 일관성 서브시스템에 원활하게 통합하여 AI 소프트웨어의 프로그래밍 간소화에 새로운 시대를 열었습니다.

게다가, 텐서 유닛은 데이터를 저장하기 위해 벡터 레지스터를 사용하기 때문에 어떠한 변경 없이 모든 RISC-V 벡터 활성화된 Linux에서 원활하게 작동합니다.