大语言模型结合RAG范式与MCP接口的运用实践:“金融图书馆”一站式服务
摘要公开阅读;PDF 仅限有效会员阅读与下载,所有会员权限相同。 邮件登录
摘要
光大证券构建了本地运行的“金融图书馆”AI 金融知识工作站,由 DeepSeek-V3 大模型驱动,将 PDF 书籍、研究报告、市场数据、外部研报平台与海外智库观点整合为统一知识库,提供文档入库与检索、研报分析、金融问答、大类资产配置、历史回测和时点回测六大核心能力,核心贡献是把非结构化金融文档转化为可检索、可交叉验证、可追溯的 LLM 决策支撑体系。 针对书籍缺时效、研报置信度参差、数据商缺语义解释的异质性难题,系统为每类信息建立不同处理流水线与置信度标注(书籍权威性 1.0、研报 0.5-0.85),检索评分公式为 FinalScore = 0.5 × BM25_norm + 0.5 × TimeDecay × Confidence。 研报分析采用五阶段流水线,Wind 事实核查精确比对允许 ±3% 偏差、近似比对允许 ±15%,置信度评估实施非对称惩罚——矛盾证据最高扣 0.35 分、支持证据最高仅加 0.15 分。 系统为五层架构,共 7 个 LLM Agent、12 个服务模块、9 个 FastAPI 路由模块、47 个 RESTful 端点,LLM 仅出现在 Agent 层以保证可调试性与可审计性。 资产配置评分公式 composite_score = evidence_strength × 0.5 + cross_validation × 0.4 + log2(source_count + 1) × 0.1,体现硬数据支撑(50%)与多元交叉验证(40%)优先于来源数量(10%)。 历史回测在 2005-01 至 2026-07 约 250 个逐月末日期上运行、基准为四资产各 25% 的等权组合;时点回测两次实测均命中 Top1——2024-12-31 判断黄金为 Top1(92 分、看多)后 3 个月黄金实际上涨 +18.87%,2025-06-30 判断 A 股为 Top1 后 3 个月 A 股上涨 +19.46%。 报告同时警示 2005-2018 年间 sentiment_adj 输入退化为空、评分实质趋近纯量化规则驱动,全周期回测绩效不能被解释为 AI 配置能力的均质表现,并明确本文仅为 AI 技术层面的试验观察、不构成任何投资建议。
主要观点
- “金融图书馆”是本地运行的 AI 驱动金融知识工作站,由 DeepSeek-V3 驱动,整合 PDF 书籍、研究报告、市场数据、外部研报平台和海外智库观点为统一知识库,提供文档入库与检索、研报分析、金融问答、大类资产配置、历史回测和时点回测六大核心能力,设计目标不是替代量化模型或人类分析师
- 系统核心挑战是金融知识异质性:书籍提供理论框架但缺时效、研报提供最新观点但置信度参差不齐、数据商提供精确量化数据但缺语义解释,因此不为所有文档做统一 RAG,而是为每类信息建立不同处理流水线和置信度标注机制
- 系统采用五层架构(前端层→API 层→服务层→Agent 层→数据层),共 7 个 LLM Agent、12 个服务模块,设计原则是让 LLM 只出现在 Agent 层、其余层次保持确定性行为,以此控制可调试性和可审计性
- 检索评分公式为 FinalScore = 0.5 × BM25_norm + 0.5 × TimeDecay × Confidence,其中 TimeDecay = exp(-0.001 × days_elapsed);置信度区分书籍(1.0)与研报(0.5-0.85),选择 BM25 而非向量嵌入是因中文金融术语对语义向量敏感性较低、关键词匹配更符合可追溯设计
- 研报分析五阶段流水线:观点提取→每个观点独立检索 Top-15 相关块并做矛盾定向检索→证据匹配(supporting/contradicting/neutral)→Wind 事实核查→非对称置信度评估→矛盾综合,该框架可泛化至任何需要 LLM 做财经文本分析且要求结果可验证的场景
- Wind 事实核查将 LLM 语义理解与确定性数值比对结合:精确比对允许 ±3% 偏差、近似比对允许 ±15%,输出 confirmed/contradicted/unverifiable 三种判定;置信度评估采用非对称惩罚,矛盾证据最高扣 0.35 分而支持证据最高仅加 0.15 分,逻辑是一条矛盾证据的破坏力大于一条支持证据的建设力
- Allocation Agent 评分公式 composite_score = evidence_strength × 0.5 + cross_validation × 0.4 + log2(source_count + 1) × 0.1,权重体现硬数据支撑(50%)和多元来源交叉验证(40%)远比信息来源数量(10%)重要;输出包含周/月/季三个时间维度的方向性 bias,同一资产可在不同持有周期下方向判断不同
- MCP 外部集成:Gangtise(勾股)研报平台经 subprocess CLI 调用,4 个技能包覆盖 gangtise-file(14 scripts)、gangtise-agent(5 scripts)、gangtise-data(12 scripts)、gangtise-kb(3 scripts),资产配置按 5 个维度并行搜索、单维度 90s 超时;海外智库观点平台经 SSE + JSON-RPC 集成,仅支持当期查询、历史时点回测时跳过
- 接口与呈现层提供 9 个 FastAPI 路由模块、47 个 RESTful 端点,前端为 Jinja2 服务端渲染七个页面(首页/上传/研报分析/金融问答/图书馆/资产配置/深度研究);部署必填配置仅三项(DEEPSEEK_API_KEY、DEEPSEEK_BASE_URL、LLM_MODEL),从解压 ZIP 到浏览器打开首页不超过五分钟
- 历史回测引擎在 2005-01 至 2026-07 约 250 个逐月末日期上运行,基准为等权组合(每月四资产各占 25%);评分采用五因子加性模型 score = base_bias + sentiment_adj + momentum_adj + value_adj + vol_penalty,其中看多/超配映射 80、偏多 68、中性 50、偏空 32、看空 20,权重映射含 5% 下限保护
- 时点回测通过数据截断(Wind 价格止于 as_of_date、研报设 end_date 上限、提示词禁止引用未来数据)回到历史时点让 AI 独立做配置判断,两次实测均命中 Top1:as_of_date=2024-12-31 判断黄金 Top1(92 分、看多),3 个月后黄金实际上涨 +18.87% 排第一;as_of_date=2025-06-30 判断 A 股 Top1,3 个月后 A 股上涨 +19.46% 排第一
- 时点回测存在根本性限制:2005-2018 年期间 MCP 缺乏稳定历史覆盖,评分引擎中 sentiment_adj 项输入退化为空,该时期评分实质趋近纯量化规则驱动,全周期回测绩效不能被解释为 AI 配置能力的均质表现;报告重申本文仅为 AI 技术层面的试验观察、不构成任何投资建议
论述逻辑
- 起点:金融知识异质性——书籍有理论框架但缺时效、研报有最新观点但置信度参差、数据商有精确数据但缺语义解释,三者在格式、时效、确定性维度存在本质差异,决定了不能简单 RAG 检索后丢给 LLM
- 架构推论:五层架构让 LLM 只出现在 Agent 层、其余层次保持确定性行为以换取可调试性与可审计性,数据层用归一化 SQLite + BM25/FTS5 混合检索并按来源标注置信度(书籍 1.0、研报 0.5-0.85)
- 质量保障:研报分析五阶段流水线把 LLM 语义理解与 Wind 确定性数值比对结合(±3%/±15% 阈值),为非结构化分析提供客观锚点,再用非对称置信度惩罚(矛盾 -0.35、支持 +0.15)放大矛盾证据的破坏力
- 落地与验证:资产配置以 composite_score(硬数据 50%+交叉验证 40%+来源数 10%)输出带来源映射的可追溯评分,再经历史回测(约 250 个月末、五因子加性模型、等权 25% 基准)和时点回测(数据截断、禁止引用未来数据)检验判断是否被市场证实
- 结论边界:两次时点验证均命中 Top1(黄金 +18.87%、A 股 +19.46%)初步证实可行性,但 2005-2018 年信息基础不对称使全周期绩效不可作均质解释,故报告自我定位为 AI 技术试验观察、不构成投资建议
关键展望
- 两次时点回测实测均命中 Top1(2024-12-31 黄金 92 分看多、3 个月后 +18.87%;2025-06-30 A 股、3 个月后 +19.46%),报告称初步证实了方法的可行性,但样本仅两次
- 方法论外推:观点提取→独立检索→证据匹配→事实核查→非对称置信度的五阶段框架可泛化至任何需要 LLM 做财经文本分析且要求结果可验证的场景
- 结构性限制:2005-2018 年外部研报语料缺乏稳定历史覆盖导致 sentiment_adj 退化为空,不同时期 LLM Agent 可用信息集存在结构性差异,评估全周期绩效时必须予以区分;报告指出这是所有依赖外部数据源的 AI 金融系统的共同挑战
- 报告未给出任何资产价格预测、目标价、评级或时间窗口,明确本文仅为 AI 技术层面的试验观察、不构成任何投资建议
推荐标的
- 报告未明确给出推荐标的:本文为 AI 技术层面的试验观察、不构成任何投资建议;文中万得全 A、中债综合指数、黄金 Au9999、货币基金指数四类资产仅为系统数据与回测对象(覆盖 2004-01 至 2026-07),非投资推荐