故障排除

本页面列出了一些常见错误以及修复它们的提示。

CUDA 错误：遇到非法内存访问

此错误可能是由于内核错误或内存不足问题导致的。

• 如果是内核错误，则很难修复。

• 如果是内存不足，有时它会报告此错误而不是“内存不足”。在这种情况下，尝试为 --mem-fraction-static 设置更小的值。--mem-fraction-static 的默认值约为 0.8 - 0.9。https://github.com/sgl-project/sglang/blob/1edd4e07d6ad52f4f63e7f6beaa5987c1e1cf621/python/sglang/srt/server_args.py#L92-L102

服务器挂起

如果服务器挂起，请尝试在启动服务器时禁用一些优化。

• 添加 --disable-cuda-graph。

• 添加 --disable-flashinfer-sampling。