本文基于Python语言的Flask框架封装自定义的大语言模型推理的API，该API实现了JWT的用户认证，用户数据保存在内置的sqllite数据库中。涉及技术有：轻量数据库sqlite、向量数据库VDB、AppBuilder SDK、千帆SDK、流式输出、JWT认证等。
一、前言
下面代码涉及到的python模块请使用pip install -r requirements.txt进行安装。
appbuilder_sdk==0.9.3
Flask==3.0.3
PyJWT==2.9.0
qianfan==0.4.8
二、代码示例
细节内容请跳转：https://cloud.baidu.com/qianfandev/topic/362164
三、测试效果
测试与大语言模型的对话，
http://localhost:5000/chat_with_ABSDK?user_input=你有什么高兴的事？
注意：在header中的token设置，我这是使用Postman进行测试。
可以看到流式输出的结果：
