自3月14日开源以来，ChatGLM-6B模型广受各位开发者关注。截止目前仅Huggingface平台已经有32w+下载，Github Star数量超过11k。为了促进ChatGLM-6B模型在各垂直领域的应用，我们现推出基于P-Tuning v2的微调方案。
GitHub地址：https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning（或点击“阅读原文”查看）P-Tuning v2将需要微调的参数量减少到原来的0.1%，再通过模型量化、Gradient Checkpoint等方法，最低只需要7GB显存即可运行。下面以ADGEN（广告生成）数据集为例介绍代码的使用方法。
一、软件依赖除ChatGLM-6B的依赖之外，还需要按照以下依赖：二、使用方法1.下载数据集ADGEN数据集任务为根据输入（content）生成一段广告词（summary）：从Google Drive或者Tsinghua Cloud下载处理好的ADGEN数据集，将解压后的AdvertiseGen目录放到本目录下：2.训练pip install rouge_chinese nltk jieba datasets{“content”:“类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳”,“summary”:“这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。
领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。
”}Google Drive：https://drive.google.com/file/d/13_vf0xRTQsyneRKdD1bZIr93vBGOczrk/viewTsinghua Cloud：https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1运行以下指令进行训练：train.sh中的PRE_SEQ_LEN和LR分别是soft prompt长度和训练的学习率，可以进行调节以取得最佳的效果。
P-Tuning-v2方法会冻结全部的模型参数，可通过调整quantization_bit来被原始模型的量化等级，不加此选项则为FP16精度加载。
在默认配置quantization_bit=4、per_device_train_batch_size=1、gradient_accumulation_steps=16下，INT4的模型参数被冻结，一次训练迭代会以1的批处理大小进行16次累加的前后向传播，等效为16的总批处理大小，此时最低只需6.7G显存。
若想在同等批处理大小下提升训练效率，可在二者乘积不变的情况下，加大per_device_train_batch_size的值，但也会带来更多的显存消耗，请酌情调整。3.推理将evaluate.sh中的CHECKPOINT更改为训练时保存的checkpoint名称，运行以下指令进行模型推理和评测：评测指标为中文Rouge score和BLEU-4。
生成的结果保存在：./output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt4.例子示例1Input:类型#上衣*材质#牛仔布*颜色#白色*风格#简约*图案#刺绣*衣样式#外套*衣款式#破洞Label:简约而不简单的牛仔外套，白色的衣身十分百搭。衣身多处有做旧破洞设计，打破单调乏味，增加一丝造型看点。
衣身后背处有趣味刺绣装饰，丰富层次感，彰显别样时尚。Output[微调前]:这件上衣的材质是牛仔布，颜色是白色，风格是简约，图案是刺绣，衣样式是外套，衣款式是破洞。Output[微调后]:这是一款简约的牛仔外套，破洞设计，将牛仔布破洞，带来一种随意与个性。破洞的牛仔外套，展现出时尚气息，带来一种休闲感。同时，刺绣图案，让整件外套更加立体。
示例2Input:类型#裙*版型#显瘦*风格#文艺*风格#简约*图案#印花*图案#撞色*裙下摆#压褶*裙长#连衣裙*裙领型#圆领Label:文艺个性的印花连衣裙，藏青色底蕴，低调又大气，撞色太阳花分布整个裙身，绚丽而美好，带来时尚减龄的气质。基础款的舒适圆领，简约不失大方，勾勒精致脸庞。领后是一粒包布扣固定，穿脱十分方便。前片立体的打褶设计，搭配后片压褶的做工，增添层次和空间感，显瘦又有型。
Output[微调前]:类型#裙版型#显瘦风格#文艺风格#简约图案#印花图案#撞色裙下摆#压褶裙长#连衣裙裙领型#圆领1.连衣裙：简约风格，裙长为膝盖以上，裙领型为圆领。2.裙下摆：压褶设计，使裙摆呈现出流畅的褶皱效果。3.裙领型：裙领型为圆领，使穿上连衣裙后更加有型。4.版型：采用显瘦设计，让连衣裙看起来更加苗条。5.风格：文艺风格，让连衣裙更加有内涵和品味。
6.图案：印花设计，在连衣裙上印有独特的图案。7.撞色：采用撞色设计，让连衣裙在色彩上更加鲜明、富有层次感。Output[微调后]:这是一款文艺范的连衣裙，以印花为元素，采用简约的印花，既能够突出文艺气质，又能够展现简约风。在印花的同时又有领子和裙摆的压褶设计，更加凸显文艺气质。简约而不会过于单调，搭配出街，穿着十分舒适。
5.使用自己的数据集修改train.sh和evaluate.sh中的train_file、validation_file和test_file为你自己的json格式数据集路径；并将prompt_column和response_column改为json文件中输入文本和输出文本对应的key。
相关阅读：bash train.shbash evaluate.shChatGLM：千亿基座的对话模型启动内测，单卡版模型已全面开源阅读原文