try to fix ai
This commit is contained in:
parent
0ac74b95c5
commit
1cbebeec37
1 changed files with 2 additions and 2 deletions
|
|
@ -63,7 +63,7 @@ SYSTEM_PROMPT = (
|
|||
|
||||
# Размер контекста — количество сообщений на чат
|
||||
# Сколько сообщений держим в БД. Нужно для быстрой очистки.
|
||||
_CONTEXT_SIZE = 100
|
||||
_CONTEXT_SIZE = 20
|
||||
# Ограничение на общий размер промпта, чтобы системное сообщение не вытеснялось
|
||||
# при сборке длинной истории (приблизительно ~8k символов ≈ 2k токенов).
|
||||
_MAX_PROMPT_CHARS = 8_000
|
||||
|
|
@ -145,7 +145,7 @@ async def _generate_response(chat_id: int, user_text: str, user_name: str) -> st
|
|||
msgs = await asyncio.to_thread(_build_messages, chat_id, SYSTEM_PROMPT, user_text, user_name)
|
||||
payload = {
|
||||
"messages": msgs,
|
||||
"max_tokens": 500,
|
||||
"max_tokens": 200,
|
||||
"temperature": 0.8,
|
||||
"top_p": 0.9,
|
||||
}
|
||||
|
|
|
|||
Loading…
Reference in a new issue