【记录】让我成为我

在做的课题记录

2025.5.10
这两天在家继续debug，flash attention的部分
目前虽然还是没学会spinal，但是用仿真的水平进一步提高了，今晚上写了scoreboard对比，方便了很多

5.12
今天主要是做
1. 学习dc工具，时序分析跑起来，最好还知道怎么改
2. 测GPU数据
3. spinal HDL 学习电路描述的那一章

5.13
昨天好drama，肠胃感冒直接吐到去医院了，本来今天要回学校，现在看看只好请假了🥹
重新调整一下，今天做毕设的ppt，干点轻松的活，然后把和博导meeting的东西准备一下，把meeting的时间改到明天上午了

5.15
和博导meeting完了
最最简短的一次meeting，进度上来说，没有走回头路，但是需要新的idea，并且这个idea的分量会远远大于之前加起来的
我应该很激动吗......离开会议的那一刻也不知道该说啥
第一年说了无数次，好的老师那我再看看，没有哪一次像今天这么没底
着重解决的问题就是，self attention里面分块矩阵乘法的前提下softmax怎么做的问题。不掉性能的前提下减少面积。
uwuwuwuwuw

感觉这两天因为生病，状态有点不太好，可能也是因为现在的方案又要推倒重来，往哪走也不是那么清楚。不想动脑子，想看b站hhh
翻到了前几天看到的 “
你这么聪明，用心锻炼他，他就能做到
下决心是一件很容易的事情，坚持却是一件很难的事
在坚持但是很辛苦，有时候我都不知道自己在坚持什么
千万别放弃，有了第一次放弃，你的人生就会习惯知难而退。
”
从明天开始还是恢复状态，多学一点！

5.16
理一下感觉能改的地方
1. 算法（循环）
2. 查找表实现
3. 计算顺序
4. 时钟频率和并行度调整
学习：
1. 改时钟频率
2. spinal hdl

5.18
昨天和前天被导师抓去改了两天的毕设ww
今天先是再看一遍算法
然后验证一下自己想的查找表（看论文）和定点数浮点数转换的思路
学spinal hdl
找新思路

5.19
昨天看了一些查找表的方法，现在感觉如果做的话重合度太高，本身倒是很合适，但是做的话重合度太高，不是很好
有一个新的想法是两个矩阵乘法和softmax共用加法树，softmax朴素实现，但是缺点是只能串行计算，不过其他时间可以说成在refresh的时间，但是如果性能放低要求，现在的算法降并行度好像也能满足。
感觉问题主要出在浮点数串行计算上，以及3d结构并行度本来就高，加法的面积才会如此大，现在似乎只能用性能换面积
今天思路这块还是看看别人做浮点数的文章，有没有能学习的，然后刚刚有个想法是改变矩阵乘法的顺序。另外有没有可能朴素softmax12/3这样利用好加法树。再细化一下浮点定点转换的想法。如果不行可以改fp16，也能省一部分面积。
spinal hdl，昨天看了vec和reg，今天总结一下然后继续往后学。
昨晚上又失眠到两点多，爬起来学了一会儿才去睡觉，估计是好久没喝咖啡了

5.20
今天依旧没睡好，早上四点多醒了，现在也睡不着，就过来继续看代码。
思路这块，昨天没有看浮点数的文章，把其他几个想法都想了一下，拟定了一个换乘法顺序+基本公式实现self attention+浮点转定点的思路，这两天先按照这个想法写代码看看，说不定会发现别的问题。
昨天spinal hdl学了一下mem的用法，今天除了写代码之外再看看别的。
多睡点觉啊ww

今天捋了一个基本实现的思路，还有一些基本实现上的改进点（查找表和浮点定点转化查找表），准备先做一个基本的出来，能用就用，不能用还能当对比方案
接下来几天基本上就是写代码+调代码+准备毕设答辩，这层用来记录一下写代码过程中想到的但是没有时间马上去做的东西

5.25
前天发生了很让我难过的事情
我高中喜欢的老师，在学校跳楼了，当场走了。
别的不多说了，很难想象这件事给我的打击。
前天晚上一点多睡着，四点多起来了。
准备毕设答辩，练琴。
昨天下午毕设答辩结束，还是有些难过，一方面是这个老师，另一方面发生了一些别的事情觉得自己好菜ww
然后和之前一个帮助我很多的朋友吵起来了，主旨就是，他帮我了很多，但我没有教给他太多。
感谢他之前的帮助，如果他选择离开，我也尊重。
现在坐在图书馆。
要毕业了，我真的从这个学校什么也没有带走。
本来有交的朋友，可以去北京一起玩，现在忽然也觉得，那也只是朋友。
或许本来我们都不能带走什么，本来就是这样。
能陪伴自己的只有自己
今天还是写代码，下午补课。

5.26
之前装软件配环境的虚拟机完全用不了了
现在真的可以重新搞了
挺好的
我就是觉得很搞笑
不到万不得已的时候，不要靠别人的双脚走路