性能测试
性能测试会对计算机产生较高的负载，并且根据计算机性能的不同（如 CPU 推理 VS RTX 5090 推理）花费的时间也不同，请务必了解这一点！
llama-server
llama-bench
模型列表
全部节点
本机
运行
参数设置
Llama.cpp 版本
测试结果
复制
TXT
历史记录
请选择模型
暂无结果
模型列表
全部节点
本机
提示词长度
输出最大 token
并发次数
运行
测试记录
CSV
JSON
MD
暂无数据
时间
模型
提示词
预填充(token/s)
输出
输出(token/s)
操作
暂无记录
参数设置
重置
GPU 设备
勾选要使用的 GPU，取消勾选则生成 -dev 参数排除该设备
选择 llama.cpp 版本后显示
主要 GPU
设置 llama-bench 使用的主 GPU（--main-gpu）
默认
加载参数中…