ljwx-stock/DATA_ARCHITECTURE_ANALYSIS.md

数据架构全面分析报告

分析日期: 2025-12-23 目标: 明确股票推荐系统的数据现状、需求和缺口 AI定位: 入口和出口解析，而非直接预测

---

一、当前可用数据源

1.1 免费数据源（已实现）

新浪财经 (Sina Finance)

• 实现: backend/app/adapters/sina_adapter.py
• 功能:
  • ✅ 实时行情（响应时间 30ms）
  • ✅ 历史K线（最多1023条）
• 优势: 速度极快，稳定性高
• 限制: 无基本面数据

腾讯财经 (Tencent Finance)

• 实现: backend/app/adapters/tencent_adapter.py
• 功能:
  • ✅ 实时行情（40+字段）
  • ✅ 历史K线（最多320条，支持前复权/后复权）
• 优势: 数据字段最全面
• 限制: 无基本面数据

东方财富 (EastMoney)

• 实现: backend/app/adapters/eastmoney_adapter.py
• 功能:
  • ✅ 实时行情（包含换手率）
  • ✅ 基本面数据（PE、PB、市值）
• 优势: 唯一免费提供基本面的数据源
• 限制: 字段相对较少

1.2 数据获取能力矩阵

数据类型	新浪	腾讯	东方财富	可用性
实时行情	✅	✅	✅	99.9%
历史K线	✅	✅	❌	99.5%
换手率	❌	❌	✅	95%
PE/PB	❌	❌	✅	95%
财务报表	❌	❌	❌	0%
资金流	❌	❌	❌	0%
龙虎榜	❌	❌	❌	0%

---

二、已抓取/可抓取的数据

2.1 核心数据表（schema_v2.sql）

✅ stocks - 股票基本信息

symbol, name, market, industry, list_date

• 数据源: 需要主动抓取（东方财富/AkShare）
• 状态: 脚本已实现 fetch_company_info_v2.py
• 容量: 5,295只A股

✅ daily_quotes - 日线行情

symbol, trade_date, open, high, low, close, volume, amount, turnover_rate

• 数据源: 新浪/腾讯
• 状态: 可实时获取
• 需求: 至少365天历史数据（每股250条记录）

✅ technical_indicators - 技术指标

ma5, ma10, ma20, ma60, rsi, macd, bollinger, atr, obv

• 数据源: 从daily_quotes计算
• 状态: 代码已实现 feature_engineer.py
• 计算: 本地实时计算

⚠️ fundamentals - 基本面数据

pe_ratio, pb_ratio, roe, net_margin, debt_to_equity,
total_revenue, net_profit, total_assets

• 数据源:
  • 当前可用: 东方财富（仅PE/PB）
  • 完整数据: 需要额外数据源
• 状态: 部分可用

✅ recommendations - 推荐结果

symbol, strategy, score, predicted_return, confidence, reason, signals

• 数据源: 系统生成
• 状态: 模型和策略引擎已实现

2.2 扩展数据表（schema_extended.sql）

✅ t_company_info - 公司完整信息

• 数据源: 东方财富
• 状态: 脚本已实现
• 字段: 注册地、主营业务、员工数等

✅ t_sector_info - 板块信息

• 数据源: 东方财富
• 状态: 脚本已实现 fetch_sector_data.py
• 容量: ~400个板块

✅ t_money_flow - 资金流数据

• 数据源: 东方财富
• 状态: 脚本已实现 fetch_money_flow.py
• 字段: 主力、超大单、大单、中单、小单净流入

✅ t_top_list - 龙虎榜数据

• 数据源: 东方财富
• 状态: 脚本已实现 fetch_top_list.py
• 用途: 识别机构和游资活动

⚠️ t_financial_statements - 财务报表

• 数据源: 需要额外数据源（东方财富/AkShare）
• 状态: 部分实现 fetch_financial_data_v2.py
• 字段: 利润表、资产负债表、现金流量表

---

三、股票推荐系统所需数据

3.1 ML模型输入特征（feature_engineer.py）

技术面特征（35%权重）

1. 价格相关:

   • MA5, MA10, MA20, MA50, MA200（移动均线）
   • Price/MA比率（价格相对位置）
   • 金叉/死叉信号（MA5_MA20_Cross）

2. 动量指标:

   • RSI_14（相对强弱指数）
   • MACD, MACD_Signal, MACD_Hist
   • Stochastic K/D（随机指标）
   • ROC_12（变化率）
   • Momentum_10（动量）

3. 波动率指标:

   • ATR_14（平均真实波幅）
   • Bollinger Bands（布林带）
   • BB_Position（布林带位置）
   • Historical Volatility（历史波动率）

4. 成交量:

   • Volume_MA（成交量均线）
   • Volume_Ratio（量比）
   • OBV（能量潮）

基本面特征（35%权重）

1. 估值指标:

   • ✅ PE Ratio（市盈率） - 东方财富可提供
   • ✅ PB Ratio（市净率） - 东方财富可提供
   • ❌ PS Ratio（市销率） - 缺失
   • ❌ PEG Ratio（市盈增长比） - 缺失

2. 盈利能力:

   • ❌ ROE（净资产收益率） - 缺失
   • ❌ ROA（资产收益率） - 缺失
   • ❌ Gross Margin（毛利率） - 缺失
   • ❌ Net Margin（净利率） - 缺失

3. 财务健康:

   • ❌ Debt-to-Equity（资产负债率） - 缺失
   • ❌ Current Ratio（流动比率） - 缺失
   • ❌ Quick Ratio（速动比率） - 缺失

4. 成长性:

   • ❌ Revenue Growth（营收增长率） - 缺失
   • ❌ Profit Growth（利润增长率） - 缺失
   • ❌ EPS Growth（每股收益增长率） - 缺失

市场情绪特征（15%权重）

1. 资金流:

   • ✅ Main Net Inflow（主力净流入） - 可抓取
   • ✅ Large/Medium/Small Order Flow - 可抓取

2. 市场关注度:

   • ✅ Dragon-Tiger List（龙虎榜） - 可抓取
   • ❌ News Sentiment（新闻情绪） - 缺失
   • ❌ Social Media Sentiment - 缺失

3. 行业对比:

   • ✅ Sector Performance（板块表现） - 可计算
   • ✅ Industry Ranking（行业排名） - 可计算

3.2 策略引擎需求（strategy_engine.py）

价值投资策略

filters = {
    "pe_ratio": [0, 20],      # ✅ 可用
    "pb_ratio": [0, 3],       # ✅ 可用
    "roe": [0.08, None]       # ❌ 缺失
}

• 可执行度: 60%（缺少ROE）

成长投资策略

filters = {
    "revenue_growth": [0.15, None],  # ❌ 缺失
    "net_margin": [0.1, None]        # ❌ 缺失
}

• 可执行度: 0%（关键指标全部缺失）

动量策略

filters = {
    "ma5_cross_ma20": True,    # ✅ 可用
    "rsi": [50, 70],           # ✅ 可用
    "volume_surge": True       # ✅ 可用
}

• 可执行度: 100%

综合策略

weights = {
    "fundamental": 0.35,  # 缺失70%指标
    "technical": 0.35,    # 100%可用
    "sentiment": 0.15,    # 70%可用
    "ai": 0.15           # 取决于输入数据
}

• 可执行度: 65%

---

四、数据缺口分析

4.1 关键缺失数据

🔴 高优先级（影响核心推荐质量）

1. 财务报表数据 - 重要性：⭐⭐⭐⭐⭐

   • 缺失指标: ROE, ROA, 毛利率, 净利率, 资产负债率
   • 影响策略: 价值投资、成长投资
   • 解决方案:
     • 方案A: 使用AkShare抓取（免费，需要实现抓取器）
     • 方案B: 爬取东方财富财报页面（需要解析HTML）
     • 推荐: 方案A（更稳定）

2. 营收和利润增长率 - 重要性：⭐⭐⭐⭐⭐

   • 缺失指标: 营收增长率、利润增长率
   • 影响策略: 成长投资（完全不可用）
   • 解决方案: 从财务报表计算（需要多期数据）

3. 市销率(PS)和PEG - 重要性：⭐⭐⭐⭐

   • 缺失指标: PS Ratio, PEG Ratio
   • 影响策略: 估值判断
   • 解决方案: 从营收和PE计算

🟡 中优先级（增强推荐效果）

4. 新闻情绪分析 - 重要性：⭐⭐⭐

   • 缺失数据: 新闻标题、内容、情绪得分
   • 影响权重: 情绪面15%中的部分
   • 解决方案:
     • 方案A: 爬取东方财富/新浪财经新闻
     • 方案B: 使用Claude API分析公告（成本较高）
     • 推荐: 方案A + Claude批量分析

5. 行业对比数据 - 重要性：⭐⭐⭐

   • 缺失数据: 行业平均PE/PB/ROE、行业排名
   • 影响策略: 相对估值判断
   • 解决方案: 从已有数据计算统计值

🟢 低优先级（锦上添花）

6. 社交媒体情绪 - 重要性：⭐⭐
   • 缺失数据: 雪球/东方财富吧讨论热度和情绪
   • 影响权重: 小
   • 解决方案: 暂时可不实现

4.2 数据完整度评估

数据维度	当前完整度	推荐所需	缺口
技术指标	100%	100%	0% ✅
实时行情	100%	100%	0% ✅
历史K线	100%	100%	0% ✅
基本估值	30% (PE/PB)	100%	70% 🔴
财务报表	10% (部分)	100%	90% 🔴
资金流	100%	100%	0% ✅
板块数据	100%	100%	0% ✅
新闻情绪	0%	60%	60% 🟡

总体数据完整度: 60%

---

五、AI角色定位

5.1 明确定位：入口和出口解析，非预测

❌ 不使用AI做的事情

1. 预测股价涨跌 - 由ML模型（XGBoost/LightGBM）完成
2. 计算技术指标 - 由feature_engineer.py完成
3. 筛选股票 - 由strategy_engine.py完成
4. 评分排序 - 由ml_trainer.py完成

✅ 使用AI做的事情

1. 入口解析（理解用户意图）

• 位置: backend/app/routes/ai_assistant.py
• 功能:

  用户输入: "帮我找一些低估值的银行股"
  AI解析: {
    "strategy": "value",
    "filters": {
      "industry": "银行",
      "pe_ratio": [0, 15],
      "pb_ratio": [0, 2]
    }
  }
  

• 实现: Claude API + 结构化输出
• 缓存: 相似问题缓存，减少API调用

2. 出口解析（生成自然语言解释）

• 位置: backend/services/claude_service.py
• 功能:

  ML输出: {
    "symbol": "600000",
    "score": 85.3,
    "signals": {
      "technical": {"ma5_cross": True, "rsi": 62},
      "fundamental": {"pe": 6.5, "pb": 0.54}
    }
  }
  
  AI生成: "浦发银行(600000)获得85.3分推荐。
  技术面：5日均线上穿20日均线，形成金叉信号，RSI为62处于健康区间。
  基本面：市盈率6.5倍，市净率0.54，估值处于历史低位。
  综合判断：该股具有较好的中长期投资价值。"
  

• 实现: Claude API + Prompt模板
• 缓存: 3600s TTL

3. 数据质量评估

• 功能: 识别数据缺失和异常

  检查输入: {
    "symbol": "600000",
    "pe_ratio": null,
    "roe": null
  }
  
  AI评估: "警告：该股票缺少ROE数据，基本面评分可能不准确。
  建议：补充财务数据后再做判断。"
  

4. 混合AI增强（Claude + Local LLM）

• 位置: backend/app/routes/claude_deepseek_collab.py
• 流程:

  1. Local LLM (Qwen/DeepSeek) 生成初步技术分析（免费）
  2. Claude 审查和增强，加入市场背景（付费）
  3. 合并两个视角，生成综合分析
  

• 成本优化: 减少40% Claude API调用

5.2 AI数据流

用户问题
  → AI解析意图 (Claude)
  → 生成查询参数
  → 数据获取器获取数据
  → 特征工程计算指标
  → ML模型评分排序
  → AI生成解释 (Claude/Local LLM)
  → 返回给用户

关键点: AI在两端（入口理解、出口解释），中间是数据驱动的ML流程。

---

六、解决方案和行动计划

6.1 立即可行（1-2天）

✅ 补充财务数据抓取

• 脚本: 完善 fetch_financial_data_v2.py
• 数据源: AkShare
• 字段: ROE, ROA, 毛利率, 净利率, 资产负债率, 营收, 利润
• 频率: 每季度更新
• SQL:

  UPDATE fundamentals SET
    roe = ?, roa = ?, gross_margin = ?, net_margin = ?,
    debt_to_equity = ?, total_revenue = ?, net_profit = ?
  WHERE symbol = ? AND report_date = ?;
  

✅ 计算增长率指标

• 脚本: 新建 calculate_growth_metrics.py
• 逻辑:

  revenue_growth = (revenue_q0 - revenue_q4) / revenue_q4
  profit_growth = (profit_q0 - profit_q4) / profit_q4
  

• 存储: 添加到fundamentals表

✅ 行业对比统计

• 脚本: 新建 calculate_industry_stats.py
• 计算:

  industry_avg_pe = stocks.groupby('industry')['pe_ratio'].mean()
  industry_ranking = stocks.groupby('industry')['score'].rank()
  

• 视图:

  CREATE VIEW industry_stats AS ...
  

6.2 短期优化（1周）

📰 新闻情绪抓取

1. 公告爬取:

   • 数据源: 东方财富公告页面
   • 脚本: fetch_announcements.py（已有基础）
   • 存储: t_announcements 表

2. 情绪分析:

   • 方法A: Claude API批量分析（成本可控）
   • 方法B: 本地Sentiment模型（免费但效果一般）
   • 推荐: Claude API（每条¥0.001）

3. 集成到推荐:

   sentiment_score = avg(news_sentiment) * 0.15  # 情绪权重15%
   

🔄 完善数据管道

• 脚本: run_all_fetchers.sh 已实现
• 调度: 设置cron job

  # 每日9:30更新行情
  30 9 * * 1-5 cd /backend && python fetch_live_data.py
  
  # 每季度更新财务
  0 2 1 1,4,7,10 * cd /backend && python fetch_financial_data_v2.py
  

6.3 中期增强（2-4周）

🧠 优化AI解析质量

1. Prompt优化:

   • 位置: backend/prompts/claude_stock_analysis.md
   • 增加: 数据缺失处理、风险提示

2. 结构化输出:

   {
     "analysis": "...",
     "signals": {"bullish": [], "bearish": []},
     "risks": ["数据缺失: ROE", "流动性风险"],
     "confidence": 0.75
   }
   

📊 完善评分系统

• 根据数据完整度动态调整权重:

  if fundamentals_complete < 0.5:
      weights["technical"] += 0.2
      weights["fundamental"] -= 0.2
  

---

七、总结

当前状态

✅ 已实现:

• 技术指标体系（100%）
• 实时行情获取（99.9%可用性）
• 资金流和龙虎榜数据
• ML推荐模型（XGBoost/LightGBM）
• AI解释生成（Claude）

⚠️ 部分实现:

• 基本面数据（仅PE/PB）
• 财务报表（脚本存在但数据不完整）

❌ 缺失:

• 完整的财务指标（ROE, 利润率等）
• 营收和利润增长率
• 新闻情绪分析

可执行度

• 动量策略: 100% ✅
• 技术面策略: 100% ✅
• 价值投资策略: 60% ⚠️（缺ROE）
• 成长投资策略: 0% ❌（缺增长率）
• 综合策略: 65% ⚠️

建议优先级

1. 🔴 P0 - 本周完成: 补充财务数据（ROE, 利润率等）
2. 🔴 P0 - 本周完成: 计算增长率指标
3. 🟡 P1 - 2周完成: 新闻情绪分析
4. 🟢 P2 - 1个月: 优化AI Prompt和缓存策略

AI角色明确

• ✅ 入口: 理解用户查询意图
• ✅ 出口: 生成自然语言解释
• ❌ 不做: 股价预测（由ML模型完成）
• ✅ 增强: 混合AI（Claude + Local LLM）降低成本

预期效果: 完成P0任务后，系统推荐完整度可达90%，满足生产环境要求。