- 点击加入群聊
- QQ群号 1028429001
目前已经测试成功一键部署的环境：
- EPYC 9334QS*2 + NVIDIA 4090
- EPYC 9375F + NVIDIA 4070tis
- EPYC 9965*2 + NVIDIA 4090
- EPYC 7532 + NVIDIA 3070
一键部署并不是万能的，因为每个系统的环境都不一样，我们均在Cuda 12.4 下测试通过，其他版本可能存在兼容性问题，请根据实际情况进行测试。
KTransformers 是一个高性能的 Transformer 模型加速框架，专为混合推理优化设计。本项目提供了完整的自动化安装和启动流程，帮助您快速部署 KTransformers 环境并启动模型，包括所有必要的依赖项和配置。
- 全自动安装：一键完成从环境检测到依赖安装的全过程
- 智能检测：自动检测 CUDA、GPU 驱动和系统环境
- 多站点支持：智能选择最佳 GitHub 镜像站点，加速下载
- 环境兼容性：支持 sudo 和非 sudo 环境，保留用户环境变量
- 一键启动：简化的模型启动脚本，支持丰富的参数配置
- 详细日志：提供完整的安装和运行日志，便于故障排除
- 调试模式：提供详细的调试信息和系统环境报告
- 自动修复：遇到常见问题时尝试自动修复
- 操作系统：Ubuntu 或其他基于 Debian 的 Linux 发行版
- 硬件：
- NVIDIA GPU (推荐 16GB+ 显存)
- 384GB+ 系统内存
- 软件：
- NVIDIA 驱动 (与 CUDA 兼容的版本)
- Git
- Python 3.11+
- Cuda 12.4
git clone https://github.com/maaaxinfinity/ktrun.git (github)
git clone https://gitcode.com/Limitee/ktrun.git (gitcode)
cd ./ktrun
sudo bash run.shwget https://raw.githubusercontent.com/maaaxinfinity/ktrun/refs/heads/main/run.sh
chmod +x run.shwget https://gitcode.com/Limitee/ktrun/raw/main/run.sh
chmod +x run.shsudo ./run.sh选项:
-d, --debug 启用调试模式，记录详细日志
-f, --fast 快速模式，使用默认配置无需用户确认
-g, --git-debug 启用git详细日志输出（需要与-d一起使用）
-h, --help 显示帮助信息
注意：脚本开始时会提供选项让您配置安装目录、Conda环境名称、是否启用NUMA环境变量、编译线程数等参数。
安装过程包括以下主要步骤：
- 检测系统环境和必要工具
- 安装缺失的依赖项
- 测试 GitHub 连通性并选择最佳镜像
- 克隆 KTransformers 代码库
- 安装/配置 Miniconda 环境
- 创建并激活 conda 环境
- 初始化和更新 git 子模块
- 安装 NUMA 支持
- 安装 GPU 版本的 PyTorch
- 安装 Flash Attention 和 FlashInfer 加速库
- 编译和安装 KTransformers
- 更新系统库
- 验证安装
git clone https://github.com/maaaxinfinity/ktrun.git (github)
git clone https://gitcode.com/Limitee/ktrun.git (gitcode)
sudo bash run.shwget https://raw.githubusercontent.com/maaaxinfinity/ktrun/refs/heads/main/run.sh
chmod +x start.shwget https://gitcode.com/Limitee/ktrun/raw/main/start.sh
chmod +x start.sh./start.sh选项:
-h, --help 显示帮助信息
-m, --model_path PATH 设置模型路径 (默认: deepseek-ai/DeepSeek-R1)
-g, --gguf_path PATH 设置GGUF路径 (默认: ~/model)
-c, --cpu_infer NUM 设置CPU推理数量 (默认: 380)
-t, --max_new_tokens NUM 设置最大新token数 (默认: 16384)
-l, --cache_lens NUM 设置缓存长度 (默认: 8192)
-o, --optimize_config_path PATH 设置优化配置文件 (默认: DeepSeek-V3-Chat.yaml)
# 使用默认参数启动
./start.sh
# 指定模型路径和其他参数
./start.sh -m custom-model -g /path/to/model -c 16 -t 8192 -l 2048
# 使用特定的优化配置文件
./start.sh -o DeepSeek-V3-Chat.yaml安装完成后，您需要激活创建的 conda 环境：
source /path/to/activate_env.sh脚本会在安装结束时显示确切的激活命令路径。
激活环境后，您可以验证安装：
python -c "import ktransformers; print(ktransformers.__version__)"
python -c "import torch; print('CUDA可用:', torch.cuda.is_available())"A: 脚本会提示您输入安装目录，默认为当前目录下的 ktransformers 文件夹。
A: 脚本会提示您输入环境名称，默认为 ktrans_main。
A: 在安装配置中选择"是否使用国内代理和镜像站点?"选项为"是"。
A: 您可以重新运行脚本，它会检测已完成的步骤并继续安装。
A: 安装日志保存在当前目录，格式为 ktransformers_install_日期时间.log。
A: 可以通过start.sh脚本的命令行参数进行设置，如-m指定模型路径，-c指定CPU推理数量等。
如果遇到 CUDA 相关问题：
# 检查 NVIDIA 驱动
nvidia-smi
# 检查 CUDA 版本
nvcc --version
# 检查 PyTorch CUDA 支持
python -c "import torch; print(torch.cuda.is_available())"如果某些依赖项安装失败：
# 手动安装 flashinfer
pip install flashinfer-python -f https://flashinfer.ai/whl/cu124/torch2.6
# 手动安装 PyTorch
pip install torch torchvision torchaudio -f https://download.pytorch.org/whl/cu124如果环境激活失败：
# 重新初始化 conda
conda init bash
source ~/.bashrc
# 手动激活环境
conda activate ktrans_main