ljwx-stock/DATA_SOURCE_ANALYSIS_AND_SOLUTION.md

数据源分析和获取方案

分析日期: 2024-12-24 目标: 获取缺失的财务数据和新闻情绪数据 原则: 仅使用免费公开数据源

---

📊 当前数据缺口分析

1. 缺失数据清单

数据类型	当前覆盖率	影响功能	优先级
新闻情绪	0%	综合推荐策略 (15%权重)	⭐⭐⭐ 高
毛利率/净利率	0.24%	盈利能力分析	⭐⭐ 中
流动比率	0%	偿债能力分析	⭐ 低
PE/PB实时数据	未统计	估值分析	⭐⭐ 中
现金流数据	0%	现金流分析	⭐ 低

2. 缺失原因分析

2.1 成本数据缺失

问题: t_income_statement 表中 operating_cost、total_cost 等字段全部为NULL

原因:

• AkShare的 stock_profit_sheet_by_report_em() API虽然有170个字段
• 但不包含 OPERATING_COST (营业成本) 这个直接字段
• 银行类股票的成本结构特殊，使用 INTEREST_EXPENSE(利息支出)、BUSINESS_MANAGE_EXPENSE(管理费用)等

影响:

• 无法计算传统制造业的毛利率 = (收入 - 营业成本) / 收入
• 净利率仍可计算 (有净利润和营业收入)

2.2 流动性数据缺失

问题: t_balance_sheet 表中 current_assets、current_liabilities 为NULL

原因:

• AkShare的资产负债表API数据质量问题
• 部分字段虽然存在但数值为NULL

2.3 新闻情绪API失效

问题: fetch_news_sentiment.py 使用的EastMoney API返回空响应

原因:

• API endpoint变更或需要新的认证
• 之前使用的URL已失效

---

🔍 可用数据源调研

A. AkShare (⭐⭐⭐⭐⭐ 推荐)

官网: https://akshare.akfamily.xyz/ 类型: 免费开源Python库 数据覆盖: A股、美股、港股、期货、外汇、基金等

A.1 新闻数据 ✅ 可用

API: ak.stock_news_em(symbol="股票代码")

数据字段:

• 关键词
• 新闻标题
• 新闻内容
• 发布时间
• 文章来源
• 新闻链接

测试结果:

df = ak.stock_news_em(symbol="000001")
# ✅ 成功获取10条新闻
# 最新标题: "银行板块兼具估值修复+红利收益双重逻辑..."
# 来源: 界面新闻、每日经济新闻等

优点:

• ✅ 数据实时更新
• ✅ 包含新闻标题和完整内容
• ✅ 有发布时间和来源
• ✅ 覆盖主流财经媒体

缺点:

• ⚠️ 每次只返回最新10条新闻
• ⚠️ 历史新闻可能有限

使用建议:

• 每天定时抓取 (如每天凌晨2点)
• 增量存储，避免重复
• 新闻情绪分析使用关键词法或Claude API

A.2 实时行情 (PE/PB) ✅ 可用

API: ak.stock_zh_a_spot_em()

数据字段:

• 市盈率-动态 (PE)
• 市净率 (PB)
• 市销率 (PS)
• 涨跌幅
• 成交量、成交额
• 换手率
• 总市值、流通市值

测试结果:

df = ak.stock_zh_a_spot_em()
stock = df[df['代码'] == '000001']
# PE: 4.38
# PB: 0.5

优点:

• ✅ 一次获取全部A股数据 (5000+只)
• ✅ 数据实时更新
• ✅ 包含PE/PB等估值指标

使用建议:

• 每天收盘后更新一次
• 存储到 fundamentals 表的 pe_ratio 和 pb_ratio 字段

A.3 财务报表 (完整版) ⚠️ 部分可用

API 1: ak.stock_profit_sheet_by_report_em(symbol="SZ000001")

字段数: 170个 包含:

• ✅ 营业收入 (OPERATE_INCOME)
• ✅ 净利润 (NET_PROFIT)
• ✅ 管理费用 (BUSINESS_MANAGE_EXPENSE)
• ✅ 销售费用 (SALES_EXPENSE)
• ✅ 财务费用 (FINANCE_EXPENSE)
• ⚠️ 缺失: 营业成本 (OPERATING_COST) - 制造业关键指标

API 2: ak.stock_balance_sheet_by_report_em(symbol="SZ000001")

字段数: 221个 包含:

• ✅ 总资产 (TOTAL_ASSETS)
• ✅ 总负债 (TOTAL_LIABILITIES)
• ✅ 股东权益 (TOTAL_EQUITY)
• ⚠️ 流动资产/负债字段存在但值为NULL

API 3: ak.stock_cash_flow_sheet_by_report_em(symbol="SZ000001")

字段数: 316个 包含: 现金流量表完整数据

使用建议:

• 当前已使用这些API，数据质量整体良好
• 成本数据缺失可能是数据源本身的限制
• 考虑使用费用之和近似估算成本

A.4 个股详情 ✅ 可用

API: ak.stock_individual_info_em(symbol="000001")

数据字段:

• 股票代码、简称
• 最新价
• 总市值、流通市值
• 行业
• 上市时间

---

B. 其他数据源

B.1 新浪财经 ❌ 不推荐

测试结果: 请求失败 原因: API已不稳定或需要特殊请求头 结论: 不建议使用

B.2 网易财经 ❌ 不推荐

测试结果: 返回502错误 原因: 服务不稳定 结论: 不建议使用

B.3 同花顺 ❌ 不推荐

测试结果: 返回404错误 原因: 可能需要登录或反爬限制 结论: 不建议使用

B.4 TuShare ⚠️ 需要注册

官网: https://tushare.pro/ 类型: 免费(有限额) + 付费 优点:

• 数据质量高
• 字段完整
• 支持历史数据

缺点:

• ❌ 需要注册并获取token
• ❌ 免费版有积分限制
• ❌ 高频使用需要付费

结论: 如果免费数据源不够用，可作为补充

---

💡 推荐解决方案

方案A: 新闻情绪数据 (优先级⭐⭐⭐)

实施步骤

1. 替换数据源

将 fetch_news_sentiment.py 从 EastMoney API 切换到 AkShare:

# 旧代码 (已失效)
def fetch_eastmoney_announcements(symbol, days=30):
    url = 'https://np-listco-ann.eastmoney.com/api/ann/queryAnns'
    # ❌ 返回空响应

# 新代码 (推荐)
def fetch_news_akshare(symbol, limit=10):
    """使用AkShare获取新闻"""
    import akshare as ak
    try:
        df = ak.stock_news_em(symbol=symbol)
        news_list = []
        for _, row in df.iterrows():
            news_list.append({
                'symbol': symbol,
                'title': row['新闻标题'],
                'content': row['新闻内容'],
                'source': row['文章来源'],
                'url': row['新闻链接'],
                'news_date': pd.to_datetime(row['发布时间']).date()
            })
        return news_list
    except Exception as e:
        print(f"❌ {symbol}: {e}")
        return []

2. 情绪分析

保持现有的关键词分析法:

def analyze_sentiment_simple(text):
    """
    关键词法情绪分析
    返回: -1.0 到 1.0
    """
    positive_words = ['增长', '上涨', '盈利', '分红', '超预期', '看好', '利好']
    negative_words = ['下跌', '亏损', '处罚', '风险', '诉讼', '下滑', '退市']

    pos_count = sum(1 for word in positive_words if word in text)
    neg_count = sum(1 for word in negative_words if word in text)

    if pos_count + neg_count == 0:
        return 0.0

    score = (pos_count - neg_count) / (pos_count + neg_count)
    return round(max(-1.0, min(1.0, score)), 4)

3. 定时任务

建议每天抓取一次:

# Cron job 示例
# 每天凌晨2点抓取新闻
0 2 * * * cd /path/to/backend && source .venv/bin/activate && python fetch_news_sentiment_v2.py

预期效果:

• ✅ 可获取5000+只股票的新闻
• ✅ 每天新增约50,000条新闻 (平均每只10条)
• ✅ 新闻情绪覆盖率: 0% → 60%+ (活跃股票)
• ✅ 综合推荐策略完整度: 90% → 95%

---

方案B: PE/PB实时数据 (优先级⭐⭐)

实施步骤

1. 创建PE/PB更新脚本

# fetch_pe_pb_realtime.py
import akshare as ak
import psycopg2
from datetime import datetime

def update_pe_pb():
    """
    从AkShare更新全市场PE/PB数据
    """
    print("开始更新PE/PB数据...")

    # 获取全市场实时数据
    df = ak.stock_zh_a_spot_em()
    print(f"获取到 {len(df)} 只股票数据")

    # 连接数据库
    conn = psycopg2.connect(...)
    cursor = conn.cursor()

    updated = 0
    for _, row in df.iterrows():
        symbol = row['代码']
        pe = row['市盈率-动态'] if pd.notna(row['市盈率-动态']) else None
        pb = row['市净率'] if pd.notna(row['市净率']) else None
        ps = row['市销率'] if pd.notna(row['市销率']) else None

        # 更新fundamentals表
        cursor.execute("""
            INSERT INTO fundamentals (symbol, report_date, pe_ratio, pb_ratio, ps_ratio)
            VALUES (%s, %s, %s, %s, %s)
            ON CONFLICT (symbol, report_date)
            DO UPDATE SET
                pe_ratio = EXCLUDED.pe_ratio,
                pb_ratio = EXCLUDED.pb_ratio,
                ps_ratio = EXCLUDED.ps_ratio
        """, (symbol, datetime.now().date(), pe, pb, ps))

        updated += 1
        if updated % 1000 == 0:
            print(f"已更新 {updated} 只...")
            conn.commit()

    conn.commit()
    print(f"✅ PE/PB更新完成，共 {updated} 只股票")

if __name__ == '__main__':
    update_pe_pb()

2. 定时任务

# 每天收盘后更新 (下午3:30)
30 15 * * 1-5 cd /path/to/backend && python fetch_pe_pb_realtime.py

预期效果:

• ✅ PE覆盖率: 未知 → 95%+
• ✅ PB覆盖率: 未知 → 95%+
• ✅ 价值投资策略更精准

---

方案C: 毛利率数据 (优先级⭐⭐)

问题分析

营业成本数据在AkShare中缺失，可能原因：

1. 行业差异: 银行、券商等金融机构没有传统"营业成本"概念
2. 数据源限制: 东方财富原始数据可能不包含此字段
3. 字段映射: 可能有其他字段可以替代

解决思路

思路1: 使用费用之和近似 (推荐)

虽然不是精确的营业成本，但可以用费用总和估算:

# 近似毛利润 = 营业收入 - (管理费用 + 销售费用 + 财务费用)
approximate_gross_profit = operating_revenue - (
    business_manage_expense + sales_expense + finance_expense
)
gross_margin_approx = (approximate_gross_profit / operating_revenue) * 100

思路2: 行业特定计算

对不同行业使用不同的毛利率计算方法:

def calculate_gross_margin_by_industry(industry, data):
    """
    根据行业特征计算毛利率
    """
    if industry in ['银行', '证券', '保险']:
        # 金融行业: 使用手续费净收入
        gross_margin = (data['fee_commission_ni'] / data['operate_income']) * 100
    elif industry in ['制造业', '零售']:
        # 传统行业: 使用标准公式
        gross_margin = ((data['revenue'] - data['cost']) / data['revenue']) * 100
    else:
        # 默认: 使用费用近似
        gross_margin = calculate_approx_margin(data)

    return gross_margin

思路3: 使用TuShare补充 (需注册)

如果需要精确的营业成本数据，可考虑使用TuShare:

import tushare as ts

pro = ts.pro_api('你的token')
df = pro.income(ts_code='000001.SZ', period='20241231')
# 包含完整的营业成本 (oper_cost) 字段

推荐:

• 短期使用思路1（费用近似）
• 中期使用思路2（行业分类）
• 长期如确需精确数据，注册TuShare

---

方案D: 流动比率数据 (优先级⭐)

问题分析

current_assets 和 current_liabilities 字段虽然存在但值为NULL。

解决思路

思路1: 检查AkShare其他字段

资产负债表有221个字段，可能有其他命名的流动资产字段:

# 分析资产负债表所有字段
df = ak.stock_balance_sheet_by_report_em(symbol="SZ000001")
for col in df.columns:
    if '流动' in col or 'CURRENT' in col.upper():
        print(f"{col}: {df.iloc[0][col]}")

思路2: 使用总资产和总负债估算

虽然不精确，但可以作为替代:

# 简化版流动比率 = 总资产 / 总负债
simplified_current_ratio = total_assets / total_liabilities

思路3: 放弃此指标

流动比率主要用于评估短期偿债能力，对股票推荐影响较小，可暂时忽略。

推荐: 思路3 (暂时放弃)，因为影响有限且数据源缺失

---

📋 实施优先级和计划

第一阶段 (立即执行 - 1天)

目标: 解决新闻情绪数据缺失问题

任务	预计时间	输出
修改 fetch_news_sentiment.py	2小时	新版脚本
测试100只股票	30分钟	验证数据质量
运行全量抓取	2小时	50,000+条新闻
验证情绪分析	30分钟	确认覆盖率

预期成果:

• ✅ 新闻情绪覆盖率: 0% → 60%
• ✅ 综合推荐策略: 90% → 95%

第二阶段 (本周内 - 2-3天)

目标: 补充PE/PB实时数据

任务	预计时间	输出
编写 PE/PB 更新脚本	1小时	fetch_pe_pb_realtime.py
测试和验证	30分钟	数据质量确认
设置定时任务	15分钟	Cron配置
首次全量更新	10分钟	5000+股票PE/PB

预期成果:

• ✅ PE/PB覆盖率: 未知 → 95%
• ✅ 价值投资策略更精准

第三阶段 (下周 - 3-5天)

目标: 改进毛利率计算

任务	预计时间	输出
实现费用近似法	2小时	更新 calculate_financial_indicators.py
实现行业分类法	3小时	添加行业逻辑
测试和验证	1小时	确认覆盖率提升
全量计算	1小时	更新5000+股票

预期成果:

• ✅ 毛利率覆盖率: 0.24% → 60%
• ✅ 盈利能力分析更完整

---

📊 预期总体效果

数据完整度提升

阶段	当前	第一阶段后	第二阶段后	第三阶段后
新闻情绪	0%	60%	60%	60%
PE/PB	未知	未知	95%	95%
毛利率	0.24%	0.24%	0.24%	60%
总体完整度	97.7%	98.5%	99.0%	99.5%

推荐系统提升

策略	当前完整度	最终完整度	改进
技术面	100%	100%	-
价值投资	99%	100%	+1%
成长投资	60%	75%	+15%
综合策略	90%	98%	+8%

---

🔧 技术实现细节

新闻情绪抓取脚本 (优化版)

完整脚本见附件: fetch_news_sentiment_v2.py

关键改进:

1. 使用 AkShare stock_news_em 替代 EastMoney API
2. 增加去重逻辑 (基于 symbol + news_date + title)
3. 添加增量抓取模式
4. 优化情绪分析关键词库
5. 支持批量和单股票模式

PE/PB 更新脚本

完整脚本见附件: fetch_pe_pb_realtime.py

特性:

1. 一次性获取全市场数据
2. 自动更新到 fundamentals 表
3. 支持增量和全量模式
4. 完整的错误处理和日志

---

⚠️ 注意事项

1. API限流

AkShare虽然免费，但建议:

• 控制请求频率，避免被封IP
• 批量获取优于单个请求
• 设置合理的sleep时间

2. 数据质量

• AkShare数据来自东方财富等公开网站
• 数据准确性依赖于数据源
• 建议定期验证数据质量

3. 合规性

• 所有数据源均为公开数据
• 仅用于个人学习和研究
• 商业使用需注意版权

---

📚 参考资源

AkShare官方文档

• 主页: https://akshare.akfamily.xyz/
• GitHub: https://github.com/akfamily/akshare
• 新闻接口: https://akshare.akfamily.xyz/data/stock/stock.html#id169

其他资源

• TuShare: https://tushare.pro/
• 东方财富: http://www.eastmoney.com/
• 雪球: https://xueqiu.com/

---

📝 总结

推荐数据源排名

数据源	评分	优点	缺点	推荐度
AkShare	⭐⭐⭐⭐⭐	免费、字段多、更新快	部分字段缺失	强烈推荐
TuShare	⭐⭐⭐⭐	数据质量高、完整	需注册、有限额	可补充
新浪财经	⭐⭐	历史悠久	API不稳定	不推荐
网易财经	⭐	-	服务不可用	不推荐
同花顺	⭐	-	反爬严格	不推荐

最终建议

主力数据源: AkShare 补充数据源: TuShare (如需更精确数据) 实施顺序: 新闻情绪 → PE/PB → 毛利率

通过以上方案，预计可将系统数据完整度从 97.7% 提升至 99.5%，推荐系统达到生产级完美状态。

---

文档版本: v1.0 最后更新: 2024-12-24 维护者: Stock AI Team