下你所需,载你所想!
汇集开发技术源码资料

【ChatGPT研究】自回归语言模型的易语言实现方法

:2.844MB :1 :2023-06-07 22:56:39

部分简介

突然很想搞清楚chatgpt到底是怎么实现的,就去研究了自回归语言模型。代码也是chatgpt 教给我的,我转译成了易语言,方便大家理解。
代码很简单,有丰富的注释可供学习!
代码中调用了两个模块,一个是 分词模块,有能力的可以删了模块自己写。
同时调用了我自己的模块,主要用了哈希表和取随机数,也可以自行删掉,用自己的。
更强的版本正在编写中:包含了损失函数,优化器随机梯度下降SGD,迭代训练并计算损失和梯度。

【ChatGPT研究】自回归语言模型的易语言实现方法

热门推荐

相关文章