【Datawhale AI夏令营--task2】科大讯飞AI大赛（大模型技术）

进入baseline2 开启python编码阶段啦

感想：
开始的晚了一些，准备环境花了好久哦，好在ai可以帮忙安装环境需要的各种包，并且运行的报错也可以解决。
以及硅基流动的免费api超级慢TT，遍历数据花费的时间过长了。
听到分享会上可以用阿里百炼的api，但在调用上还有些问题，接下来要再多试一下。
阅读了一下代码，发现代码是每行调用一次大模型，优化点其实是可以一次性调用完的，这样应该能节省很多时间。 下一步还是要自己优化下代码呀。

我的BaseLine运行后的分数 ： 56

本期小白重点

• python环境的安装
  
• vscode中项目的运行，包的安装：pandas、requests、re、json、tqdm
  
• 硅基流动注册，api领取， apikey的使用
  
• 大模型返回值数据错乱的处理。
  
• 代码逻辑学习
  

方案思路

1. 模型蒸馏方法

将一个强大的教师模型（如Qwen3-8B）在特定任务上的知识，迁移到我们最终需要微调的学生模型上
具体步骤：

• 表格数据文本化：将结构化的列车时刻表数据（每一行代表一趟列车的信息）转换为易于大模型理解的文本格式。
  
• 编程生成问题：针对每一行列车数据，我们手动设计问题模板，并通过编程方式（例如Python脚本）批量生成问题。例如，对于“车次”、“检票口”、“终到站”等字段，可以生成“{车次}号车次应该从哪个检票口检票？”、“{车次}次列车的终到站是哪里？”等问题。这种方式确保了生成问题的语法正确性和与表格内容的强相关性。
  
• 教师模型生成答案：将文本化的列车信息和编程生成的问题作为Prompt输入给一个能力更强的教师模型。教师模型根据其强大的理解和推理能力，为每个问题生成对应的答案。
  
• 构建SFT数据集：将编程生成的问题和教师模型生成的答案配对，形成{"instruction": "问题", "output": "答案"}的JSON格式数据集。这个数据集就是用于微调学生模型的SFT数据。
  
• 学生模型LoRA微调：将构建好的SFT数据集上传到讯飞星辰MaaS平台，并使用LoRA技术对选定的基础模型（学生模型）进行微调。微调后的模型将能够根据用户提出的问题，从内部学习到的表格知识中给出准确的回答。
  

代码块分析

3个代码块

• 读取数据
  
• 遍历每行，调用大模型，存储返回值
  
• 将返回值转化为结构化，符合格式的数据，并生成训练数据集对应格式的json
  

重新上传新的数据集，进行训练.

• 直接使用案例baseline代码，硅基流动api调用花费了小一个小时 TT
  
• 数据集训练不到10分钟
  
• 得分56.
  

分数提升方案

• 提升api速度： 避免遍历，一次性生成返回； 切换api源
  
• prompt提升，增强对复杂数据的对应
  
• 挑战：python编码是新的挑战呀
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！