github-clones
/
gpt_academic
mirror of https://github.com/binary-husky/gpt_academic.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity
gpt_academic/request_llms
History
qingxu fu 5d5695cd9a version 3.61 2023-11-24 03:19:20 +08:00
..
README.md version 3.61 2023-11-24 03:19:20 +08:00
bridge_all.py 接入deepseek-coder 2023-11-24 02:35:44 +08:00
bridge_chatglm.py 修复插件导入时的pytorch加载问题 2023-11-13 00:15:15 +08:00
bridge_chatglm3.py 修复插件导入时的pytorch加载问题 2023-11-13 00:15:15 +08:00
bridge_chatglmft.py change get_conf 2023-10-29 00:34:40 +08:00
bridge_chatglmonnx.py 修复本地模型在windows上的兼容性 2023-11-11 17:58:17 +08:00
bridge_chatgpt.py 修复本地模型在Windows下的加载BUG 2023-11-11 21:11:55 +08:00
bridge_chatgpt_vision.py 支持gpt-4-v处理多张图片 2023-11-13 13:21:33 +08:00
bridge_chatgpt_website.py 修复本地模型在Windows下的加载BUG 2023-11-11 21:11:55 +08:00
bridge_claude.py 修复本地模型在Windows下的加载BUG 2023-11-11 21:11:55 +08:00
bridge_deepseekcoder.py 修复错误的class命名 2023-11-24 02:42:58 +08:00
bridge_internlm.py 修正internlm输入设备bug 2023-11-11 23:22:50 +08:00
bridge_jittorllms_llama.py change get_conf 2023-10-29 00:34:40 +08:00
bridge_jittorllms_pangualpha.py change get_conf 2023-10-29 00:34:40 +08:00
bridge_jittorllms_rwkv.py change get_conf 2023-10-29 00:34:40 +08:00
bridge_llama2.py 修复错误的class命名 2023-11-24 02:42:58 +08:00
bridge_moss.py 修复插件导入时的pytorch加载问题 2023-11-13 00:15:15 +08:00
bridge_newbingfree.py change get_conf 2023-10-29 00:34:40 +08:00
bridge_qianfan.py Merge branch 'frontier' 2023-11-07 11:40:27 +08:00
bridge_qwen.py 修复错误的class命名 2023-11-24 02:42:58 +08:00
bridge_spark.py 修复get_conf接口 2023-10-30 11:10:05 +08:00
bridge_stackclaude.py 修复get_conf接口 2023-10-30 11:10:05 +08:00
bridge_tgui.py rename folder 2023-10-28 17:44:17 +08:00
bridge_zhipu.py 添加zhipuai依赖安装提醒 2023-11-24 01:47:03 +08:00
chatglmoonx.py rename folder 2023-10-28 17:44:17 +08:00
com_sparkapi.py rename folder 2023-10-28 17:44:17 +08:00
com_zhipuapi.py 接入新模型 2023-10-28 19:23:43 +08:00
edge_gpt_free.py rename folder 2023-10-28 17:44:17 +08:00
key_manager.py change get_conf 2023-10-29 00:34:40 +08:00
local_llm_class.py 接入deepseek-coder 2023-11-24 02:35:44 +08:00
queued_pipe.py 解除本地模型的若干并发问题 2023-10-31 20:37:07 +08:00
requirements_chatglm.txt rename folder 2023-10-28 17:44:17 +08:00
requirements_chatglm_onnx.txt rename folder 2023-10-28 17:44:17 +08:00
requirements_jittorllms.txt rename folder 2023-10-28 17:44:17 +08:00
requirements_moss.txt rename folder 2023-10-28 17:44:17 +08:00
requirements_newbing.txt rename folder 2023-10-28 17:44:17 +08:00
requirements_qwen.txt rename folder 2023-10-28 17:44:17 +08:00
requirements_slackclaude.txt rename folder 2023-10-28 17:44:17 +08:00

README.md

P.S. 如果您按照以下步骤成功接入了新的大模型，欢迎发Pull Requests（如果您在自己接入新模型的过程中遇到困难，欢迎加README底部QQ群联系群主）

如何接入其他本地大语言模型

  1. 复制request_llms/bridge_llama2.py，重命名为你喜欢的名字

  2. 修改load_model_and_tokenizer方法，加载你的模型和分词器（去该模型官网找demo，复制粘贴即可）

  3. 修改llm_stream_generator方法，定义推理模型（去该模型官网找demo，复制粘贴即可）

  4. 命令行测试

    • 修改tests/test_llms.py（聪慧如您，只需要看一眼该文件就明白怎么修改了）
    • 运行python tests/test_llms.py

  5. 测试通过后，在request_llms/bridge_all.py中做最后的修改，把你的模型完全接入到框架中（聪慧如您，只需要看一眼该文件就明白怎么修改了）

  6. 修改LLM_MODEL配置，然后运行python main.py，测试最后的效果

如何接入其他在线大语言模型

  1. 复制request_llms/bridge_zhipu.py，重命名为你喜欢的名字

  2. 修改predict_no_ui_long_connection

  3. 修改predict

  4. 命令行测试

    • 修改tests/test_llms.py（聪慧如您，只需要看一眼该文件就明白怎么修改了）
    • 运行python tests/test_llms.py

  5. 测试通过后，在request_llms/bridge_all.py中做最后的修改，把你的模型完全接入到框架中（聪慧如您，只需要看一眼该文件就明白怎么修改了）

  6. 修改LLM_MODEL配置，然后运行python main.py，测试最后的效果