eSlider
0d73146ebc
Release Please / Release Please (push) Skipped
Release / GoReleaser (push) Skipped
Tests / Secret scan (gitleaks) (push) Skipped
Tests / Test (Go 1.25) (push) Skipped
Tests / Test (Go stable) (push) Skipped
Tests / Secret scan (gitleaks) (pull_request) Successful in 3s
Tests / Test (Go 1.25) (pull_request) Successful in 19s
Tests / Test (Go stable) (pull_request) Successful in 29s
112 lines
5.7 KiB
Markdown
112 lines
5.7 KiB
Markdown
---
|
||
type: reference
|
||
status: current
|
||
related:
|
||
- docs/elasticsearch.md
|
||
- docs/unified-file-client.md
|
||
- docs/community-server-db.md
|
||
---
|
||
|
||
# Поиск и индексация
|
||
|
||
Четыре разных контура поиска. Не путать: у каждого свой индекс, свои входы и
|
||
свой способ обновления.
|
||
|
||
| Контур | Что ищет | Индекс | Обновление | Вход |
|
||
|--------|----------|--------|------------|------|
|
||
| REST `@search` | только имена в БД | нет | — (живой запрос) | `oo search` (по умолчанию `--backend oo`) |
|
||
| ES `files_file` | имя + текст Office | Elasticsearch портала | сервер, асинхронно | `oo search --content` |
|
||
| ES `oo_docs_text` | PDF/сканы (свой) | Elasticsearch портала | `oo index` | `oo search --backend own` |
|
||
| TSV `ooscan` | файлы папок | файл `*.tsv` | `ooscan <folder...>` | потребитель (не библиотека) |
|
||
|
||
## Карта кода
|
||
|
||
- `file_core.go` — интерфейсы `Searcher`, модели `SearchQuery`/`SearchHit`.
|
||
- `file_es.go` — `ESSearcher` (индекс OnlyOffice `files_file`).
|
||
- `file_es_text.go` — `ESTextIndex` (`oo_docs_text`): `Ensure`, `Put`, `Delete`,
|
||
`Search`.
|
||
- `file_text_index.go` — `TextIndexer`: обход папок (`FileStore.List`), download
|
||
(`FileStore.Download`), извлечение текста (`internal/docpipe`), запись в
|
||
`TextIndex`; пул воркеров.
|
||
- `file_facade.go` — связка бэкендов (`Files().Search()`, порядок и fallback).
|
||
- CLI: `cmd/oo/search.go`, `cmd/oo/index.go`.
|
||
- Разовые бинари для match: `cmd/ooscan/` (TSV-индекс папок),
|
||
`cmd/pdfamount/` (суммы по PDF в папке).
|
||
- `internal/docpipe` — текст из PDF (pdftotext), для сканов OCR
|
||
(ocrmypdf/tesseract), вложения PDF (pdfdetach).
|
||
|
||
## Поиск
|
||
|
||
```bash
|
||
# имя, индекс портала
|
||
oo search "Rechnung" --limit 50 --json
|
||
# имя + текст Office (docx/xlsx/pptx)
|
||
oo search "Mahngebühr" --content
|
||
# свой индекс: PDF и сканы
|
||
oo search "S1019" --backend own --folder 649
|
||
```
|
||
|
||
Флаги `oo search`: `--content`, `--folder ID`, `--limit N`, `--backend oo|own`,
|
||
`--substring`, `--json`. Требует `ONLYOFFICE_ES_URL` (см.
|
||
[elasticsearch.md](elasticsearch.md)); `--backend own` дополнительно ничего не
|
||
требует от сервера — читает `oo_docs_text`.
|
||
|
||
Почему не REST: `GET /api/2.0/files/@search/{query}` ищет только имя в БД
|
||
(`fileDao.Search`), ES не трогает. Почему PDF не в `files_file`: сервер индексит
|
||
контент только для форматов из `files.index.formats` (по умолчанию
|
||
`.pptx|.xlsx|.docx`) — отсюда свой `oo_docs_text`.
|
||
|
||
## Обновление своего индекса (`oo index`)
|
||
|
||
```bash
|
||
# одна папка
|
||
oo index folder 649 --recursive --exts pdf
|
||
# точечно по id
|
||
oo index files 3576 3578
|
||
# без записи: что было бы проиндексировано
|
||
oo index folder 649 --recursive --dry-run
|
||
```
|
||
|
||
Флаги: `--recursive`, `--exts pdf` (по умолчанию), `--limit N`,
|
||
`--workers 3`, `--lang deu+eng`, `--min-chars N` (порог текстового слоя, ниже
|
||
которого включается OCR), `--work-dir`, `--backend rest|dav`, `--dry-run`,
|
||
`--json`.
|
||
|
||
Свойства:
|
||
|
||
- Идемпотентно: upsert по `id` файла; повтор не двоит.
|
||
- Сервер OnlyOffice не меняется: индекс живёт рядом (`ONLYOFFICE_ES_TEXT_INDEX`,
|
||
по умолчанию `oo_docs_text`).
|
||
- Медленно на сканах (OCR на каждый файл). Ограничивай `--folder`/`--limit`,
|
||
не индексируй корень целиком.
|
||
- Индексация PDF в `files_file` не делается — только `oo_docs_text`.
|
||
|
||
## Bulk-инструменты `ooscan` / `pdfamount`
|
||
|
||
Плоский TSV без Elasticsearch, для внешних потребителей.
|
||
|
||
```bash
|
||
# рекурсивный индекс папок: file_id, folder_id, path, title
|
||
ooscan <FOLDER_ID>... > index.tsv
|
||
# суммы по PDF папки: file_id, title, amount
|
||
pdfamount <FOLDER_ID> [TITLE_FILTER] > amounts.tsv
|
||
```
|
||
|
||
- `ooscan`: троттлинг 350 мс на папку, `DoRetry` на 429, глубина до 8, `path` —
|
||
путь внутри просканированного корня.
|
||
- `pdfamount`: строка с `%`/`MwSt`/`USt`/`Prozent`/`Steuer` суммой не считается;
|
||
приоритет меток (`zu zahlender betrag` > `rechnungsbetrag` > … > `summe`).
|
||
- Какие корни сканировать и как обновлять индекс — решает потребитель; это не
|
||
часть библиотеки. Сверка Excel — `office-assistant` (`cmd/match`,
|
||
`docs/reference/match-index.md`).
|
||
|
||
## Грабли
|
||
|
||
- ES слушает только `127.0.0.1:9200` внутри VM — SSH-туннель обязателен
|
||
(`-o ControlMaster=no -o ControlPath=none`, см. [elasticsearch.md](elasticsearch.md)).
|
||
- Портальные листинги/скачивание упираются в 429; все bulk-пути идут через
|
||
`DoRetry` (линейный бэкофф), `ooscan` дополнительно спит 350 мс на папку.
|
||
- `files_file` обновляется сервером асинхронно — свежий файл виден не сразу.
|
||
- `title` analyzer `whitespacecustom`: имя — один токен, подстрока только через
|
||
`--substring` (или wildcard).
|