feat(validatie): multi-machine bootstrap (rclone+Box) + beheerpagina

[EdF2021]

Summary

Lost de "DB komt niet mee bij pull op andere computer"-pijn op door oeren/ centraal in Box te hosten en de DB altijd lokaal te herbouwen via één bootstrap-commando. Per machine éénmalig rclone config, daarna ./scripts/bootstrap.sh.

Onderdelen

Scripts

• scripts/sync_oeren.sh — rclone-wrapper. Valideert dat rclone geïnstalleerd is en de remote in config staat. Override via RCLONE_REMOTE / RCLONE_OEREN_PAD / OEREN_PAD env-vars.
• scripts/bootstrap.sh — chained uv sync --extra dev → sync_oeren.sh → ingest --alles → seed.py. Flags: --skip-sync, --skip-seed, --seed-bulk.

Beheerpagina (/beheer)

• Beschermd via BEHEER_ENABLED=true in .env (default uit, dus geen blootstelling op gedeelde servers).
• 4 tabs:
  • 📊 Status — # OERs per instelling, # geïndexeerd, laatste ingest-run met scope/timestamp/duur, # PDFs+MD op schijf. Verse SQLite-connectie zodat subprocess-commits direct zichtbaar zijn (gecachte _db.get_conn() lost dat niet op).
  • ☁️ Sync oeren — knop draait sync_oeren.sh, output live in scrollende code-block.
  • 🗄 Re-ingest — scope-dropdown (alles + 5 instellingen) + --reset checkbox, draait ingest.
  • 🌱 Seed — seed.py (basis 3+2 accounts) of seed_bulk.py (~1000 studenten).
• Subprocess-streaming via subprocess.Popen(stdout=PIPE, bufsize=1) + lazy generator dat regels yieldt; UI vernieuwt placeholder met laatste 300 regels.

DB

• Nieuwe tabel ingest_runs (id, tijdstip, scope, n_oers, n_kerntaken, duur_seconden).
• voeg_ingest_run_toe() + laatste_ingest_run() helpers in db.py.
• ingest.main() logt elke run met start/eind-tijd en counts.

Documentatie

• CLAUDE.md uitgebreid met: multi-machine setup-stappen (rclone install → config → bootstrap), BEHEER_ENABLED env-var, beheerpagina-tabs.

Eenmalige setup-flow voor andere machines

curl https://rclone.org/install.sh | sudo bash
rclone config       # remote "box", storage "box", default flags
git clone git@github.com:cedanl/samenwijzer.git
cd samenwijzer/validatie_samenwijzer
./scripts/bootstrap.sh

Test plan

• uv run python -m pytest (63/63 groen)
• uv run ruff check src/ app/ scripts/
• bash -n scripts/sync_oeren.sh scripts/bootstrap.sh (syntax-check)
• Browser smoke-test: /beheer zonder flag → toegang geweigerd; met flag → 4 tabs renderen, ingest-subprocess streamt live, exit=0, status-tab toont nieuwe run
• Reviewer: pak een 2e machine, draai bootstrap, check of oer_documenten correct gevuld wordt
• Reviewer: bevestig dat BEHEER_ENABLED niet per ongeluk in een prod .env staat

Tradeoffs / aandachtspunten

• rclone is een externe binary: vereist installatie per machine. Voorgesteld bewust boven boxsdk Python omdat rclone OAuth-flow visueel afhandelt en geen tokens-in-env nodig is.
• Beheerpagina draait subprocesses op de Streamlit-host. Lokaal prima, op gedeelde server een security-vraag — daarom env-flag-bewaakt.
• Status-tab gebruikt verse SQLite-connectie i.p.v. de gecachte _db.get_conn(). Lichte overhead per render, maar nodig om commits van net-afgesloten subprocesses te zien.

🤖 Generated with Claude Code