AI应用中，存储器的访问是否是瓶颈，为什么？

存储器访问瓶颈问题

AI应用中，存储器的访问确实是瓶颈问题。

冯·诺依曼瓶颈

• 内存墙问题：由于访问存储器的速度无法跟上运算部件消耗数据的速度，导致运算部件无法得到充分利用，形成所谓的冯·诺伊曼「瓶颈」或「内存墙」问题61119。

存储需求与性能不匹配

• 存储性能不足：处理器的时钟频率和性能增长迅速，而主存的访问速度增长缓慢，导致处理器和存储器之间的性能鸿沟越来越大13。
• 带宽和功耗问题：AI芯片的性能瓶颈不在于算力，而在于存储，存储问题主要体现在带宽和功耗上4。

存储技术发展

• NAND与DRAM：NAND作为主要外部存储器，DRAM作为主要内部存储器，共同满足AI时代的存储需求18。
• HBM技术：高带宽存储器HBM通过3D堆栈工艺提供高性能DRAM，以应对AI大模型的数据计算量激增7。

存内计算技术

• 存内计算：存内计算技术被认为最适合AI的芯片架构，通过在存储器中执行计算来减少对存储器的访问，提升AI算力1421。

综上所述，存储器访问速度与运算部件消耗数据速度的不匹配，以及存储技术与AI应用需求之间的差距，共同导致了AI应用中的存储器访问瓶颈问题。