在考虑workload priority时，FPGA是绕不过去的内容。这里了解一些基础

姜师兄想研究不同计算硬件，或者是异构计算的适用领域。在调研时Davinci架构时，我感觉Domain-Specific Architectures是未来，这会导致会模糊CPU,GPU,PIM之间的区别。导致这个问题是在将来是伪需求

在完成了$A^3PIM$的工作后，其实利用了加速器(PIM)的调度的核心就是：

考虑数据移动和同步等负面开销后，来贪心最小耗时的策略。

但是对于这个复杂的问题，我的观点是 No silver bullet

1. 先尝试 [^2]

OpenCL 的模型和基础概念，感觉适合异构编程。

明年就要入职华为了，还是要提前了解一下的

元旦中午不休息的看电脑，导致眼睛十分的疼痛。一直到晚上11点也没有好。

虽然我知道过犹不及，life/work balance等道理。但是实际做事情，沉浸去了就停不下来了。需要一个提醒的工具

围绕Rescuetime记录的数据，使用Rescuetime的Timer, 和其他番茄工作法的软件。 形成一套监控自身健康，给出工作建议，评估每日工作的体系。

Divide the bulky and outdated content about cuda runtime env into individual posts, ensuring both the thematic integrity and a balanced size for each blog entry.

• 牧本定律由1987年牧村次夫提出，半导体产品的发展历程总是在“标准化”和“定制化”之间交替摆动，大概每十年摆动一次，揭示了半导体产品性能功耗和开发效率之间的平衡，这对于处理器来说，就是专用结构和通用结构之间的平衡—专用结构性能功耗优先，通用结构开发效率优先。
• 贝尔定律是由戈登贝尔在1972年提出的一个观察，即每隔10年，会出现新一代计算机（新编程平台、新网络连接、新用户接口、新使用方式），形成新的产业，贝尔定律指明了未来一个新的发展趋势，这将会是一个处理器需求再度爆发的时代，不同的领域、不同行业对芯片需求会有所不同，比如集成不同的传感器、不同的加速器等等。

生产特殊的硬件：

1. 带来的加速比和能耗收益，达到10倍百倍都是很正常的。
2. 但是开发成本也是巨大的，包括芯片设计，流片成本，软件栈的开发，商业化的推广。
3. 开发周期也相当长。需要对当前的技术的未来具有前瞻性。不要生产出来就过时了。

常见的例子，用于并行计算的GPU， H265视频编解码单元, Google TPU芯片、车载芯片、手机AI芯片。

AI领域的至今不变的特点：

4. 基于反向传播和梯度/参数更新的整体逻辑
5. 需要保存大量的参数来表征问题，以高维矩阵的形式存储，所以矩阵运算十分常见
6. 训练由于要计算并更新梯度，一般是计算密集。但是推理一般是访存密集。

现在大火的transformer，除非它就是AGI的最理想模型，不然为一个模型专门定制硬件，很容易钱就打水漂了。为自己的算法模型定制一块AI芯片，如特斯拉。但应用面越窄，出货量就越低，摊在每颗芯片上的成本就越高，这反过来推高芯片价格，高价格进一步缩窄了市场，因此独立的AI芯片必须考虑尽可能适配多种算法模型。[^1]

当然，也可以从workload的应用出发，分析有什么重复的热点，值得做成专用的电路单元。

理解当下最流行的开源text to image模型stable diffusion的基本思想。到Sora[^8]

在回顾数理逻辑的时候，又想起了NP问题，和NP完全的问题