健康助手AI训练项目

基于Kaggle体征健康数据集训练本地大模型healthassistant:latest，实现健康风险评估和智能诊断建议的完整解决方案。

项目概述

本项目实现了从数据获取到模型部署的完整AI训练流水线，专门针对健康数据分析和风险预测任务设计。

主要功能

• 🔽 自动数据获取: 从Kaggle自动下载多个健康数据集
• 🧹 智能数据预处理: 自动清洗、标准化和质量控制
• ⚙️ 医学特征工程: 创建医学相关的衍生特征和风险评分
• 🤖 多模型训练: 支持传统ML和深度学习模型
• 📊 全面模型评估: 详细的性能分析和可视化
• 🚀 FastAPI部署: 生产就绪的API服务

支持的数据集

1. Human Vital Sign Dataset - 基础体征数据
2. Health Metrics Dataset - 综合健康指标
3. Wellness Dataset - 健康状态分类
4. CVD Vital Signs - 心血管疾病数据
5. Wearable Sports Health Monitoring - 运动健康数据
6. FitLife Tracking Dataset - 健身追踪数据

快速开始

环境要求

• Python 3.9+
• 至少8GB RAM
• 10GB可用磁盘空间

安装依赖

# 克隆项目
git clone <repository-url>
cd health_training

# 安装依赖
pip install -r requirements.txt

Kaggle API配置

1. 在Kaggle创建账户并生成API Token
2. 下载kaggle.json文件
3. 放置到~/.kaggle/kaggle.json
4. 设置权限：chmod 600 ~/.kaggle/kaggle.json

一键训练

# 运行完整训练流水线
python main.py

# 或指定配置
python main.py --data-dir ./data --models-dir ./models

详细使用说明

1. 分步骤执行

# 只执行数据获取
python main.py --steps 1

# 执行预处理和特征工程
python main.py --steps 2 3

# 完整训练和评估
python main.py --steps 4 5 6

2. 自定义配置

创建配置文件config.json：

{
  "data_dir": "./data",
  "models_dir": "./models",
  "download_data": true,
  "target_column": "health_level",
  "task_type": "classification",
  "random_state": 42
}

使用配置文件：

python main.py --config config.json

3. 模块化使用

数据获取

from src.data_acquisition import KaggleDataDownloader

downloader = KaggleDataDownloader("./data")
downloader.download_health_datasets()

数据预处理

from src.data_preprocessing import HealthDataPreprocessor

preprocessor = HealthDataPreprocessor()
df_clean = preprocessor.clean_vital_signs(df)

特征工程

from src.feature_engineering import MedicalFeatureEngineer

engineer = MedicalFeatureEngineer()
df_features = engineer.create_derived_features(df)

模型训练

from src.model_training import train_health_models

trainer = train_health_models(df, target_col='health_level')

模型评估

from src.model_evaluation import evaluate_health_models

evaluator = evaluate_health_models(models, X_test, y_test)

4. API部署

启动API服务器：

# 启动服务
python src/api_server.py --host 0.0.0.0 --port 8000

# 或使用uvicorn
uvicorn src.api_server:app --host 0.0.0.0 --port 8000 --reload

API文档：http://localhost:8000/docs

API使用示例

import requests

# 健康风险预测
data = {
    "heart_rate": 75,
    "systolic_bp": 120,
    "diastolic_bp": 80,
    "oxygen_saturation": 98,
    "body_temperature": 36.5,
    "age": 30,
    "weight": 70,
    "height": 175
}

response = requests.post("http://localhost:8000/predict/health-risk", json=data)
print(response.json())

项目结构

health_training/
├── src/                          # 源代码
│   ├── data_acquisition.py       # 数据获取模块
│   ├── data_preprocessing.py     # 数据预处理模块
│   ├── feature_engineering.py   # 特征工程模块
│   ├── model_training.py        # 模型训练模块
│   ├── model_evaluation.py      # 模型评估模块
│   └── api_server.py            # API服务器
├── docs/                         # 文档
│   ├── 项目方案.md               # 项目方案文档
│   └── 技术实现指南.md           # 技术实现指南
├── data/                         # 数据目录
├── models/                       # 模型输出目录
├── plots/                        # 评估图表
├── main.py                       # 主执行脚本
├── requirements.txt              # 依赖列表
└── README.md                     # 项目说明

特征工程详解

医学衍生特征

• 心血管指标：平均动脉压、脉压差、心率储备
• 身体成分：BMI、理想体重偏差、体表面积
• 代谢指标：基础代谢率、血糖风险评分
• 呼吸系统：血氧分类、呼吸频率分类
• 综合评分：心血管风险、糖尿病风险、整体健康评分

时间特征

• 基础时间特征（年、月、日、时、分）
• 时间段分类（夜晚、早晨、下午、晚上）
• 周期性编码（正弦余弦变换）
• 工作日/周末标识

模型支持

传统机器学习

• 集成方法: Random Forest, XGBoost, LightGBM, Gradient Boosting
• 线性模型: Logistic Regression, Linear Regression, Ridge, Lasso
• 其他: SVM, KNN, Naive Bayes

深度学习

• 神经网络: 全连接网络（分类/回归）
• 架构: 可配置隐藏层和激活函数
• 优化: Adam优化器，学习率调度

模型集成

• 投票集成: 软投票/硬投票
• 堆叠集成: 多层模型组合
• 自动选择: 基于交叉验证的最佳模型选择

评估指标

分类任务

• 基础指标: 准确率、精确率、召回率、F1分数
• 概率指标: ROC-AUC、PR-AUC
• 可视化: 混淆矩阵、ROC曲线、校准曲线

回归任务

• 误差指标: MAE、MSE、RMSE、MAPE
• 相关性: R²决定系数
• 可视化: 真实值vs预测值、残差分析

模型解释

• 特征重要性: 基于模型的重要性分析
• SHAP值: 模型预测解释
• 部分依赖图: 特征影响分析

性能优化

数据处理优化

• 内存高效的数据加载
• 并行数据预处理
• 智能缺失值处理

模型训练优化

• 超参数自动调优
• 早停机制防止过拟合
• 分布式训练支持

推理优化

• 模型量化和压缩
• 批量预测优化
• 缓存机制

部署和监控

容器化部署

FROM python:3.9-slim

WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt

COPY . .
EXPOSE 8000

CMD ["uvicorn", "src.api_server:app", "--host", "0.0.0.0", "--port", "8000"]

监控指标

• API响应时间
• 预测准确率监控
• 系统资源使用
• 错误率统计

常见问题

Q: Kaggle API认证失败？

A: 确保kaggle.json文件位置正确且权限设置为600：

chmod 600 ~/.kaggle/kaggle.json

Q: 内存不足错误？

A: 减少批处理大小或使用数据采样：

# 在config.json中设置
{"sample_size": 10000}

Q: 模型训练时间过长？

A: 使用更少的超参数组合或并行训练：

# 设置较小的搜索空间
{"hyperparameter_iterations": 10}

Q: API预测结果不稳定？

A: 检查特征缩放和模型版本一致性：

# 确保使用相同的scaler
scaler = joblib.load("models/feature_scaler.pkl")

贡献指南

1. Fork项目
2. 创建特性分支：git checkout -b feature/new-feature
3. 提交更改：git commit -am 'Add new feature'
4. 推送分支：git push origin feature/new-feature
5. 创建Pull Request

许可证

本项目采用MIT许可证 - 详见LICENSE文件

联系方式

• 项目维护者：[Your Name]
• Email：[[email protected]]
• 问题反馈：GitHub Issues

更新日志

v1.0.0 (2024-01-XX)

• 初始版本发布
• 完整的训练流水线
• FastAPI部署支持
• 全面的模型评估

---

⭐ 如果这个项目对您有帮助，请给它一个星标！