Skip to content

Weitere Rezeptquellen archivieren, beginnend mit Ethan Chlebowski - #3

Open
hansdoebel wants to merge 1 commit into
mainfrom
hansdoebel/per-186-weitere-rezeptquellen
Open

hansdoebel wants to merge 1 commit into
mainfrom
hansdoebel/per-186-weitere-rezeptquellen

Conversation

@hansdoebel

Copy link
Copy Markdown
Owner

Das Quellenarchiv wächst um Cook Well / Ethan Chlebowski, RecipeTin Eats, Zucker & Jagdwurst, Maangchi und Pick Up Limes. Alle öffentlichen Originalkarten werden mit konkreter Quell-URL, tatsächlicher Urheberangabe und Originalmengen gesichert. Begonnen wurde mit Cook Well.

Neue Quelle Vollständige Karten Unvollständige Karten Ausgelassene Mitgliedsinhalte
Cook Well 307 1 318
RecipeTin Eats 1542 0 0
Zucker & Jagdwurst 1120 4 0
Maangchi 451 0 0
Pick Up Limes 489 0 0
Gesamt 3909 5 318

3.914 zusätzliche Quellkarten; 4.391 Sitemap-Seiten geprüft, keine verbleibenden Abruffehler. Bei Zucker & Jagdwurst werden deutsche Fassungen statt doppelter englischer Übersetzungen erfasst. Diese Originaldaten sind noch keine neuen Markdown-/SQL-Rezepte für die Einkaufsliste.

Serious Eats ist ausdrücklich ausgeschlossen: Der Herausgeber untersagt automatisiertes Content-Archiving ohne vorherige schriftliche Erlaubnis in seiner robots.txt. Ein Ausschlussmanifest dokumentiert null Rezeptabrufe. Keine privaten oder kostenpflichtigen Rezeptdaten werden gespeichert.

Der Scraper unterstützt verschachtelte Text-Anleitungen, sichtbare Maangchi-Karten bei unvollständigem/fehlendem JSON-LD, ältere HTML-Layouts und die tatsächliche Sprache/Byline. Atomare Checkpoints erlauben die Wiederaufnahme; offene Crawls können die Quellenprüfung nicht bestehen. Begrenzte Parallelität, robots.txt-Prüfung und gezielte Wiederholungen bleiben erhalten.

Die vorhandenen vier parallelen CI-Jobs prüfen auch alle neuen Archive. Lokal erfolgreich: npm run lint, npm test (31 Tests) und git diff --check. Die Tests decken Quellformate, Mitgliederausschlüsse, Wiederaufnahme und die Abgrenzung von Rezepttext gegen Kommentare ab.

Bezug: PER-186.

@linear-code

linear-code Bot commented Nov 16, 2026

Copy link
Copy Markdown

PER-186

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant