forked from Dan4ick/Lidar_Muxa
Zhirik1337
200cb78348
Узел tools/flyguard_ros2_node.py (п. 16.7: отдавал массив вместо PointCloud2, публиковал треки без решения) переписан: разбор через новый flyguard.cdr.from_ros_message, публикация через flyguard.export.export_frame, не падает от битого кадра, по умолчанию подключает artifacts/*.npz. flyguard/bag.py: битый CDR-пакет в бэге пропускается с логом вместо обрыва всего чтения (Bag.n_frames_failed). tools/compare_benchmark.py: флаг --fail-on-net-down для CI-гейта регрессии по методологии парных переворотов (EXPERIMENTS п. 16.1). Добавлен pyproject.toml (ruff, не прогнан — в окружении нет ruff/pip). Тесты 46/46 (tests/test_pipeline.py). Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
95 lines
4.9 KiB
Python
95 lines
4.9 KiB
Python
"""Парное сравнение двух прогонов полигона на одних и тех же вставках.
|
||
|
||
Полигон шумит сильнее, чем меняет его большинство правок: две реализации
|
||
случайности при одинаковых настройках расходятся на P@150 на 0.07, на P@100
|
||
у ящика — на 0.11 (EXPERIMENTS п. 16.1). Поэтому сравнивать итоговые таблицы
|
||
двух прогонов нельзя.
|
||
|
||
Но у каждого сценария свой генератор (`make_benchmark.scenario_rng`), и от
|
||
решений конвейера он не зависит: при другой настройке на вход идут те же
|
||
кадры с теми же вставками, до луча. Значит, разница двух прогонов — только
|
||
от настройки, и её видно по отдельным наблюдениям: сколько было 0 и стало 1
|
||
и наоборот. Перевороты в одну сторону — настоящий эффект, даже когда он
|
||
меньше межзернового шума; поровну в обе стороны — шум.
|
||
|
||
python tools/compare_benchmark.py artifacts/benchmark.json new.json
|
||
python tools/compare_benchmark.py a.json b.json --objects человек_лежа,ящик
|
||
|
||
Для CI-гейта (провалить сборку при регрессии) добавьте
|
||
`--fail-on-net-down N`: выход с кодом 1, если (1→0) − (0→1) по всем
|
||
предметам больше N. Не включено по умолчанию — без него это только отчёт.
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
import argparse
|
||
import json
|
||
|
||
import numpy as np
|
||
|
||
MIN_VISIBLE_RAYS = 2 # как в plot_benchmark: меньше — предмет не освещён
|
||
|
||
|
||
def load(path: str) -> dict:
|
||
with open(path, encoding="utf-8") as f:
|
||
return {(r["bag"], r["obj"], r["lateral"]): r for r in json.load(f)}
|
||
|
||
|
||
def main() -> None:
|
||
ap = argparse.ArgumentParser(description=__doc__)
|
||
ap.add_argument("before", help="прогон «было» (json из make_benchmark)")
|
||
ap.add_argument("after", help="прогон «стало»")
|
||
ap.add_argument("--objects", default="",
|
||
help="через запятую; пусто — все предметы")
|
||
ap.add_argument("--edges", default="0,15,40,90,130,170,230",
|
||
help="границы полос дальности, м")
|
||
ap.add_argument("--fail-on-net-down", type=int, default=None, metavar="N",
|
||
help="выйти с кодом 1, если (1→0) − (0→1) больше N (для CI)")
|
||
args = ap.parse_args()
|
||
|
||
a, b = load(args.before), load(args.after)
|
||
if set(a) != set(b):
|
||
raise SystemExit("разный состав сценариев — прогоны не парные")
|
||
edges = [float(x) for x in args.edges.split(",")]
|
||
objs = ([o for o in args.objects.split(",") if o] if args.objects
|
||
else sorted({k[1] for k in a}))
|
||
|
||
print(f"{'предмет':14s}{'полоса':>12}{'набл.':>7}{'было':>7}{'стало':>7}"
|
||
f"{'0→1':>6}{'1→0':>6}")
|
||
total_up = total_down = 0
|
||
for obj in objs:
|
||
obj_up = obj_down = 0
|
||
for lo, hi in zip(edges[:-1], edges[1:]):
|
||
n = ha = hb = up = down = 0
|
||
for k, ra in a.items():
|
||
if k[1] != obj:
|
||
continue
|
||
rb = b[k]
|
||
da = np.asarray(ra["d"])
|
||
if da.shape != np.shape(rb["d"]) or not np.allclose(da, rb["d"]):
|
||
raise SystemExit(f"вход разошёлся в {k}: прогоны не парные")
|
||
m = (da >= lo) & (da < hi) & (np.asarray(ra["rays"]) >= MIN_VISIBLE_RAYS)
|
||
x, y = np.asarray(ra["hit"])[m], np.asarray(rb["hit"])[m]
|
||
n += int(m.sum())
|
||
ha += int(x.sum())
|
||
hb += int(y.sum())
|
||
up += int(((x == 0) & (y == 1)).sum())
|
||
down += int(((x == 1) & (y == 0)).sum())
|
||
obj_up += up
|
||
obj_down += down
|
||
if n >= 20:
|
||
print(f"{obj:14s}{f'{lo:.0f}–{hi:.0f} м':>12}{n:7d}{ha / n:7.2f}"
|
||
f"{hb / n:7.2f}{up:6d}{down:6d}")
|
||
print(f"{obj:14s}{'всего':>12}{'':21s}{obj_up:6d}{obj_down:6d}")
|
||
total_up += obj_up
|
||
total_down += obj_down
|
||
print(f"\nвсе предметы: 0→1 {total_up}, 1→0 {total_down}")
|
||
|
||
if args.fail_on_net_down is not None:
|
||
net_down = total_down - total_up
|
||
if net_down > args.fail_on_net_down:
|
||
raise SystemExit(f"регрессия: (1→0) − (0→1) = {net_down} > "
|
||
f"{args.fail_on_net_down}")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main()
|