:2.844MB : :1 :2023-06-07 22:56:39
突然很想搞清楚chatgpt到底是怎么实现的,就去研究了自回归语言模型。代码也是chatgpt 教给我的,我转译成了易语言,方便大家理解。代码很简单,有丰富的注释可供学习!代码中调用了两个模块,一个是 分词模块,有能力的可以删了模块自己写。同时调用了我自己的模块,主要用了哈希表和取随机数,也可以自行删掉,用自己的。更强的版本正在编写中:包含了损失函数,优化器随机梯度下降SGD,迭代训练并计算损失和梯度。