第二章 我看过很多电影，你不要骗我(2/3)
络……
Vit模块那里的多头自注意力机制倒是有点意思，不过效率太低，看你的代码，似乎是想降低运算的复杂度，但是没有调试完成……
这里局部特征的提取使用深度卷积就可以了。键值对通过线性层直接提取到低维，优化的方向没错，但是Q和K投影的方式有问题……”
白泽一张嘴，刘岁安就听出来她没有吹牛，是真的有点东西。
至于东西多不多，要等代码改完看实验结果如何。
在她的指导下，刘岁安编码完成了核心创新部分的代码。
“这个注意力机制是不是应该取个新名字，叫Suian Attention怎么样？”刘岁安开玩笑道。
“你足够不要脸的话，当然可以，不过白泽的建议是叫Ultra Efficient Attention，简称UEA。”
“……挺好的。”
“结构改完，参数也需要调整。初始学习率设为0.025，weight-decay减半，为防止过拟合，num-heads降为4就够了……”
刘岁安通通照做。
……
实验室另一边，张莎莎表面上在看手机，实则在用余光关注‘自言自语’的刘岁安。
“该不会是实验做不出来，疯了吧。”
她想到这个可能性，看向刘岁安的目光不禁多了些怜悯。
张莎莎和刘岁安之间的过节其实很儿戏，起因是很久之前一个学妹喜欢后者。
当时刘岁安对那个学妹没有任何发展的想法，不知道怎么拒绝合适，随口谎称自己是弯的，想让对方不要来打扰自己。
学妹被拒绝后还想和刘岁安成为好朋友，后来知道了真相，差点抑郁了。
张莎莎是东南大学的少年班，和刘岁安的学妹恰好是室友，知道此事后，自然对刘岁安没什么好脸色。
张莎莎不愿意指导刘岁安，还有另一个原因。
刘岁安觉得张莎莎做的研究太偏工程，属于实验报告，没有学术意义，而张莎莎觉得刘岁安眼高手低，对自己的水平没有逼数。
因此，刘岁安毅然决定靠自己一个人搞研究，从此和张莎莎交流极少。
二者之间的芥蒂终归是小打小闹，张莎莎联想到刘岁安最近经常独自去天台，心中浮现出一些不好的念头。
刚好见吊儿郎当的韩启明回到实验室，张莎莎将其唤了过来。
……
刘岁安正在修改代码，忽然从后面伸出一只手，轻轻拍了拍他的肩膀。
“生活不止眼前的研究，还有诗和远方，没必要一叶障目。”这是韩启明的声音，玩世不恭的语调很有辨识度，“冀……哥们，吃不吃雪糕。”
一支雪糕递到眼前，刘岁安接过，开口道谢：“谢了。”
他扭过头瞄了眼韩启明，不知道对方为何反常地找上自己。
有韩启明在身旁，刘岁安暂时停止了和白泽的交流。
此时的他并不关心韩启明的目的，他只想速速改完代码，早点看到结果。
韩启明将一旁的椅子拉过来，大大咧咧坐上去，翘起二郎腿，道：“现在有的雪糕真他妈贵，怎么好意思卖那个价钱，老子直接放回去，不惯着他们。”
“确实，深有同感。”刘岁安咧开嘴笑道。
二人的关系并不熟络，刘岁安只偶尔在几次组会上见过对方，不知道他私下里是这种说话风格。
虽然不知道对方为什么凑过来，但是听到对方这番话，刘岁安多了分亲切感。
韩启明三两下把自己手中的雪糕吃完，说道：“除了张学姐，我和研究室其他人交流不太多。所以想过来问问你最近的研究怎么样，顺利吗？”
“还不错，不说毫无进展，起码称得上蒸蒸日上吧。”
“……”
听到刘岁安的回答，韩启明盯着张莎莎的后背看了几眼，满脑子疑惑。
你不是说这家伙研究做不出来，可能会有轻生的念头吗？咋我感觉这小子没心没肺的，一点也不像有什么问题的样子。
八成是张莎莎想多了吧，韩启明暗自腹诽。
“顺利就好。”
看不出刘岁安的精神有什么问题，韩启明随口问道：“我之前在组会上听说过，你用的是一个叫Vision transformer的神经网络。这玩意连合适的中文译名都没有，真他妈难读。”
“简称Vit就好。怎么，你有兴趣？”此时刘岁安-->>
Vit模块那里的多头自注意力机制倒是有点意思，不过效率太低，看你的代码，似乎是想降低运算的复杂度，但是没有调试完成……
这里局部特征的提取使用深度卷积就可以了。键值对通过线性层直接提取到低维，优化的方向没错，但是Q和K投影的方式有问题……”
白泽一张嘴，刘岁安就听出来她没有吹牛，是真的有点东西。
至于东西多不多，要等代码改完看实验结果如何。
在她的指导下，刘岁安编码完成了核心创新部分的代码。
“这个注意力机制是不是应该取个新名字，叫Suian Attention怎么样？”刘岁安开玩笑道。
“你足够不要脸的话，当然可以，不过白泽的建议是叫Ultra Efficient Attention，简称UEA。”
“……挺好的。”
“结构改完，参数也需要调整。初始学习率设为0.025，weight-decay减半，为防止过拟合，num-heads降为4就够了……”
刘岁安通通照做。
……
实验室另一边，张莎莎表面上在看手机，实则在用余光关注‘自言自语’的刘岁安。
“该不会是实验做不出来，疯了吧。”
她想到这个可能性，看向刘岁安的目光不禁多了些怜悯。
张莎莎和刘岁安之间的过节其实很儿戏，起因是很久之前一个学妹喜欢后者。
当时刘岁安对那个学妹没有任何发展的想法，不知道怎么拒绝合适，随口谎称自己是弯的，想让对方不要来打扰自己。
学妹被拒绝后还想和刘岁安成为好朋友，后来知道了真相，差点抑郁了。
张莎莎是东南大学的少年班，和刘岁安的学妹恰好是室友，知道此事后，自然对刘岁安没什么好脸色。
张莎莎不愿意指导刘岁安，还有另一个原因。
刘岁安觉得张莎莎做的研究太偏工程，属于实验报告，没有学术意义，而张莎莎觉得刘岁安眼高手低，对自己的水平没有逼数。
因此，刘岁安毅然决定靠自己一个人搞研究，从此和张莎莎交流极少。
二者之间的芥蒂终归是小打小闹，张莎莎联想到刘岁安最近经常独自去天台，心中浮现出一些不好的念头。
刚好见吊儿郎当的韩启明回到实验室，张莎莎将其唤了过来。
……
刘岁安正在修改代码，忽然从后面伸出一只手，轻轻拍了拍他的肩膀。
“生活不止眼前的研究，还有诗和远方，没必要一叶障目。”这是韩启明的声音，玩世不恭的语调很有辨识度，“冀……哥们，吃不吃雪糕。”
一支雪糕递到眼前，刘岁安接过，开口道谢：“谢了。”
他扭过头瞄了眼韩启明，不知道对方为何反常地找上自己。
有韩启明在身旁，刘岁安暂时停止了和白泽的交流。
此时的他并不关心韩启明的目的，他只想速速改完代码，早点看到结果。
韩启明将一旁的椅子拉过来，大大咧咧坐上去，翘起二郎腿，道：“现在有的雪糕真他妈贵，怎么好意思卖那个价钱，老子直接放回去，不惯着他们。”
“确实，深有同感。”刘岁安咧开嘴笑道。
二人的关系并不熟络，刘岁安只偶尔在几次组会上见过对方，不知道他私下里是这种说话风格。
虽然不知道对方为什么凑过来，但是听到对方这番话，刘岁安多了分亲切感。
韩启明三两下把自己手中的雪糕吃完，说道：“除了张学姐，我和研究室其他人交流不太多。所以想过来问问你最近的研究怎么样，顺利吗？”
“还不错，不说毫无进展，起码称得上蒸蒸日上吧。”
“……”
听到刘岁安的回答，韩启明盯着张莎莎的后背看了几眼，满脑子疑惑。
你不是说这家伙研究做不出来，可能会有轻生的念头吗？咋我感觉这小子没心没肺的，一点也不像有什么问题的样子。
八成是张莎莎想多了吧，韩启明暗自腹诽。
“顺利就好。”
看不出刘岁安的精神有什么问题，韩启明随口问道：“我之前在组会上听说过，你用的是一个叫Vision transformer的神经网络。这玩意连合适的中文译名都没有，真他妈难读。”
“简称Vit就好。怎么，你有兴趣？”此时刘岁安-->>
