Python访问大模型的几种方式

Python访问大模型的几种方式

Python访问大模型很方便，也让大家构建复杂的系统更加的灵活。
访问的方式也比较灵活，主要有http api，package api的方式。
这里简单汇总了常用的三种方式，包括ollama的，http api的，openAI的以及dashscope的。
通过Ollama http API

以下代码通过http API访问远程ollama部署的deepseek-r1:7b模型。
由于用的是7B，所以此问题的回答结果不是很靠谱。
我也测过14B，相对靠谱一点点。
也可以通过Ollama package来访问，但我发现这种方式只能访问本地部署的大模型，没有找到访问远程大模型的方法。

1. import requests
3. model_name = "deepseek-r1:7b"
5. contentAction="为了快速落地，我第一时刻跳伞，隐藏在一堆房屋中，中间还淘汰了一个敌人，于是我继续躲在这里。"
6. contentRule="老六准则：航线末端跳伞，远离航线，不去大的房屋群，淘汰敌人后立刻更换位置。"
8. prompt = f"""
9.     # Question
10.     以下内容: {contentAction}，是否符合老六行为准则: {contentRule}。
11. """
13. base_url="http://192.168.0.118:11434"
15. endpoint = f"{base_url}/api/generate"
16. payload = {
17.     "model": model_name,
18.     "prompt": prompt,
19.     "stream": False  # 我们不需要流式响应
20. }
22. response = requests.post(endpoint, json=payload)
23. response.raise_for_status()
24. analysis_result = response.json()["response"]
26. print(analysis_result)

复制代码

通过OpenAI

以下代码通过OpenAI访问远程Qwen模型。
相对7B，这个回答靠谱了很多。

1. from openai import OpenAI
2. import json
4. client = OpenAI(
5.     api_key="这里需要替换成自己的API KEY",
6.     base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
7. )
9. contentAction="为了快速落地，我第一时刻跳伞，隐藏在一堆房屋中，中间还淘汰了一个敌人，于是我继续躲在这里。"
10. contentRule="老六准则：航线末端跳伞，远离航线，不去大的房屋群，淘汰敌人后立刻更换位置。"
12. prompt = f"""
13.     # Question
14.     以下内容: {contentAction}，是否符合老六行为准则: {contentRule}。
15. """
17. completion = client.chat.completions.create(
18.     model="qwen-plus",
19.     messages=[
20.         {"role": "system", "content": "你是一个审查员。"},
21.         {"role": "user", "content": prompt},
22.        ],
23. )
24. data = json.loads(completion.model_dump_json())
25. analysis_result = data['choices'][0]['message']['content']
27. print(analysis_result)

复制代码

通过dashscope访问Qwen

以下代码通过dashscope访问云端Qwen模型。
这个package只能访问Qwen的云端模型。

1. import dashscope
3. dashscope.api_key = "这里需要替换成自己的API KEY"
5. contentAction="为了快速落地，我第一时刻跳伞，隐藏在一堆房屋中，中间还淘汰了一个敌人，于是我继续躲在这里。"
6. contentRule="老六准则：航线末端跳伞，远离航线，不去大的房屋群，淘汰敌人后立刻更换位置。"
8. prompt = f"""
9.     # Question
10.     以下内容: {contentAction}，是否符合老六行为准则: {contentRule}。
11. """
13. response = dashscope.Generation.call(
14.     model="qwen-max",  # 指定模型
15.     prompt=prompt,  # 输入提示
16.     parameters={
17.         "max_length": 1024,  # 最大生成长度
18.         "temperature": 0.1  # 温度参数，控制随机性
19.     }
20. )
22. print(response.output.text)

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！