Tags: MoonshotAI/moonpalace
Tags
v0.10.0 MoonPalace 现在支持自动创建和使用缓存 你可以通过 `--auto-cache` 参数启用自动缓存功能,并搭配 `--cache-min-bytes`/`--cache-ttl`/`--cache-cleanup` 参数调节缓存的各项参数: ```shell $ moonpalace start --port <PORT> --auto-cache --cache-min-bytes 4096 --cache-ttl 90 --cache-cleanup 86400 ``` `--cache-min-bytes` 参数指定了当调用 `/chat/completions` 接口时,请求的内容大小超过 `--cache-min-bytes` 设定的值时,将会自动启用缓存: 1. 若当前请求内容不匹配任何已经创建的缓存时,创建一个新的缓存,有效时间为 `--cache-ttl` 设定的值; 2. 若当前请求内容匹配了已经创建的缓存时,使用已创建的缓存,并刷新缓存有效时间,有效时间为 `--cache-ttl` 设定的值; `--cache-cleanup` 参数指定了缓存何时被清除,若已经创建的缓存在 `--cache-cleanup` 设定的时间(秒)内没有被使用过,将会被 MoonPalace 清除。
PreviousNext