doc/todo_people.md

@@ -1,64 +0,0 @@
-Для того чтобы раскидать задачи между тремя людьми, я распределю их по сложности и приоритету.
-
-### Человек 1 (Основной фокус на поиске):
-
-#### `search/main.py`
-
-* **P0**: Переключить основной query на `question.search_text` с fallback на `question.text`
-* **P0**: Подключить `question.variants` как дополнительные query-варианты
-* **P0**: Подключить `question.hyde` как дополнительные dense-запросы
-* **P0**: Подключить `question.keywords` как основу для sparse-запросов
-* **P0**: Перестать терять retrieval-кандидатов после rerank
-* **P0**: Дедуплицировать `message_ids` перед ответом
-* **P0**: Ограничить финальную выдачу до `top-50`
-* **P0**: Агрегировать score по `message_id`
-* **P2**: Использовать `entities.people` и `entities.emails` для boost или фильтрации
-* **P2**: Использовать `entities.documents`, `entities.names`, `entities.links` для lexical boost
-* **P2**: Использовать `date_range` для фильтрации по `metadata.start` и `metadata.end`
-* **P2**: Использовать `contains_quote` и `contains_forward` как сигналы ранжирования
-* **P2**: Добавить multi-query fusion в `Qdrant`
-* **P2**: Подобрать `prefetch`, `retrieve_k`, `rerank_limit`
-* **P3**: Добавить retry и timeout политику для dense/rerank HTTP вызовов
-
----
-
-### Человек 2 (Основной фокус на индексации и разметке):
-
-#### `index/main.py`
-
-* **P1**: Перейти с символьного chunking на chunking по сообщениям
-* **P1**: Учитывать time gap при сборке чанков
-* **P1**: Маркировать в тексте `quote`, `forward`, автора сообщения и автора цитаты
-* **P1**: Развести `page_content`, `dense_content`, `sparse_content`
-* **P1**: Материализовать `sender_id` и `mentions` в индексируемый текст
-* **P1**: Разбирать `file_snippets` и вытаскивать имя файла, mime и url
-* **P1**: Разбирать `member_event` и превращать его в индексируемый текст
-
-#### `index/requirements.txt` и/или `search/requirements.txt`
-
-* **P4**: Добавить `razdel`
-* **P4**: Добавить `pymorphy3`
-* **P4**: Добавить `rapidfuzz`
-
----
-
-### Человек 3 (Основной фокус на Docker и зависимостях):
-
-#### `docker-compose.yml`
-
-* **P3**: Привести локальный `docker-compose.yml` к схеме с `API_KEY`
-* **P3**: Добавить `--platform linux/amd64` в сборку образов
-
-#### `doc/` (новый файл с регрессионными вопросами)
-
-* **P3**: Зафиксировать набор локальных тестовых вопросов для проверки регрессий
-
-#### `search/requirements.txt`
-
-* **P4**: Добавить `python-dateutil` или `dateparser`
-* **P4**: Добавить `tenacity`
-
----
-
-Таким образом, задачи равномерно распределены по 3 участникам с учётом сложности и области фокуса.
-

docker-compose.yml

@@ -60,4 +60,3 @@ services:
       OPEN_API_PASSWORD: ${OPEN_API_PASSWORD:?set OPEN_API_PASSWORD before docker compose up}
     ports:
       - "8002:8000"
-

search/main.py

@@ -270,111 +270,6 @@ async def qdrant_search(
     return response.points
 
 
-async def qdrant_search_dense_only(
-    client: AsyncQdrantClient,
-    dense_vector: list[float],
-    question_data: Question,
-) -> Any | None:
-    must_conditions: []
-
-    if question_data.date_range:
-        must_conditions.append(
-            models.FieldCondition(
-                key="metadata.start",
-                range=models.Range(
-                    gte=question_data.date_range.from_,
-                    lte=question_data.date_range.to_,
-                ),
-            )
-        )
-
-    if question_data.asker:
-        must_conditions.append(
-            models.FieldCondition(
-                key="metadata.participants",
-                match=models.MatchValue(value=question_data.asker),
-            )
-        )
-
-    search_filter = models.Filter(must=must_conditions) if must_conditions else None
-
-    response = await client.query_points(
-        collection_name=QDRANT_COLLECTION_NAME,
-        prefetch=[
-            models.Prefetch(
-                query=dense_vector,
-                using=QDRANT_DENSE_VECTOR_NAME,
-                limit=DENSE_PREFETCH_K,
-                filter=search_filter,
-            ),
-        ],
-        query=models.FusionQuery(fusion=models.Fusion.RRF),
-        limit=RETRIEVE_K,
-        with_payload=True,
-    )
-
-    if not response.points:
-        return None
-
-    return response.points
-
-
-def collect_query_variants(question: Question) -> list[str]:
-    variants: list[str] = []
-    seen: set[str] = set()
-
-    def add_query(text: str | None) -> None:
-        if text is None:
-            return
-        normalized = text.strip()
-        if not normalized:
-            return
-        if normalized in seen:
-            return
-        seen.add(normalized)
-        variants.append(normalized)
-
-    add_query(question.search_text)
-    add_query(question.text)
-
-    for variant in question.variants or []:
-        add_query(variant)
-
-    return variants
-
-
-def collect_hyde_queries(question: Question, base_queries: list[str]) -> list[str]:
-    hyde_queries: list[str] = []
-    seen: set[str] = set(base_queries)
-
-    for hyde_query in question.hyde or []:
-        normalized = hyde_query.strip()
-        if not normalized:
-            continue
-        if normalized in seen:
-            continue
-        seen.add(normalized)
-        hyde_queries.append(normalized)
-
-    return hyde_queries
-
-
-def deduplicate_points(points: list[Any]) -> list[Any]:
-    unique_points: list[Any] = []
-    seen_ids: set[str] = set()
-
-    for point in points:
-        point_id = str(getattr(point, "id", ""))
-        if not point_id:
-            continue
-        if point_id in seen_ids:
-            continue
-        seen_ids.add(point_id)
-        unique_points.append(point)
-
-    return unique_points
-
-
 def extract_message_ids(point: Any) -> list[str]:
     payload = point.payload or {}
     metadata = payload.get("metadata") or {}
@@ -439,31 +334,18 @@ async def health() -> dict[str, str]:
 
 @app.post("/search", response_model=SearchAPIResponse)
 async def search(payload: SearchAPIRequest) -> SearchAPIResponse:
-    queries = collect_query_variants(payload.question)
+    query = payload.question.text.strip()
-    if not queries:
+    if not query:
-        raise HTTPException(status_code=400, detail="question.search_text or question.text is required")
+        raise HTTPException(status_code=400, detail="question.text is required")
 
-    hyde_queries = collect_hyde_queries(payload.question, queries)
-    query = queries[0]
     client: httpx.AsyncClient = app.state.http
     qdrant: AsyncQdrantClient = app.state.qdrant
 
-    all_points: list[Any] = []
+    dense_vector = await embed_dense(client, query)
-    for query_variant in queries:
+    sparse_vector = await embed_sparse(query)
-        dense_vector = await embed_dense(client, query_variant)
+    best_points = await qdrant_search(qdrant, dense_vector, sparse_vector, payload.question)
-        sparse_vector = await embed_sparse(query_variant)
-        points = await qdrant_search(qdrant, dense_vector, sparse_vector, payload.question)
-        if points:
-            all_points.extend(list(points))
 
-    for hyde_query in hyde_queries:
+    if best_points is None:
-        hyde_dense_vector = await embed_dense(client, hyde_query)
-        hyde_points = await qdrant_search_dense_only(qdrant, hyde_dense_vector, payload.question)
-        if hyde_points:
-            all_points.extend(list(hyde_points))
-
-    best_points = deduplicate_points(all_points)
-    if not best_points:
         return SearchAPIResponse(results=[])
 
     best_points = await rerank_points(client, query, list(best_points))