【NLP】RWKV对比Transformer

模型的精度问题

int4? int8? bf16? bf32? float16? float32?

模型参数文件

常见的 generation_config.json 文件

下面的内容来自 Baichuan2-7B-Chat 模型生成器参数文件

{
  "pad_token_id": 0,
  "bos_token_id": 1,
  "eos_token_id": 2,
  "user_token_id": 195,
  "assistant_token_id": 196,
  "max_new_tokens": 2048,
  "temperature": 0.3,
  "top_k": 5,
  "top_p": 0.85,
  "repetition_penalty": 1.05,
  "do_sample": true,
  "transformers_version": "4.29.2"
}

下面的内容来自 RWKV/v5-Eagle-7B-HF 模型生成器参数文件

{
    "chat_format": "chatml",
    "eos_token_id": 0,
    "pad_token_id": 0,
    "max_window_size": 4096,
    "max_new_tokens": 4096,
    "do_sample": true,
    "top_k": 0,
    "top_p": 0.1,
    "repetition_penalty": 1.0,
    "transformers_version": "4.31.1"
}

半精度？全精度？ 指令微调？ chat模型？

HF模型？

微调方式

指令微调？全量/半精度/零样本？