我在调试代码的时候发现vocabs.mutable是False，finetune pos如何添加自己的vocab
目前finetune的前提条件是模型结构前后一致。当你修改vocab的大小后，最后一个dense layer的output dimension会变得不一致，违反前提条件，所以当前代码不支持。你可以仿照huggingface transformer的resize embedding方法，自己写代码扩容最后dense layer的weight。
感谢回复，我还是用外挂词典吧，哈哈哈
1 Like