Skip to content

[Feature]: 增加手动设置上下文压缩阈值 #101

@JohnXu22786

Description

@JohnXu22786

What workflow is missing or painful today?

我觉得可以除了内置还可以整一个手动设置的,因为自动压缩阈值较低可以使得更加节约上下文成本。比如说有的长度是 20 万,实际上那一个在 4 万左右就够了的话,多余的会比较浪费💰

Proposed change

具体来说通过自定义一组预设定义模型的api等,包括上下文这种,这样自定义预设可以发挥更大的作用,比如一个模型可能有多种上下文设置的可能性(对于不同的项目),然后在 OH 界面里面,通过选择不同的模型,直接就是可以选到同一个模型的不同的预设。

Alternatives considered

No response

Additional context

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions