feat(sources): Wayback pass, automatic trimming, detention rule, ten cases re-sourced

Second and third rounds on the dossier pipeline, reviewed locally before commit.

Retrieval
- wayback_pass.py: retries every BLOCKED/DEAD/THIN/ERROR linked source through
  the Wayback Machine; blocks carry the snapshot date, archive URL and the live
  verdict. 143 slots retried: 93 fetched, 37 no snapshot, 12 script shells, 1 PDF.
- fetch_sources.py: fetch_wayback() helper.
- add_extra_sources.py: files staged extra_* finds (web search, not on the DB
  record) into the store with a provenance note.
- Cases re-sourced by web search: 248 (Oslo: Document.no, Avisa Oslo, NRK; the
  linked Le Parisien piece is case 242 and is marked OFF-CASE), 258 Kharkiv,
  260 Singapore, 358 Bangkok, 365 Las Vegas, 388 Verneuil-sur-Seine, 390 Zoersel,
  430 Homestead. 341 of 364 cases now hold a fetched article; 11, 66 and 399
  have no public text source (podcast, police video, direct victim report).

Trimming
- auto_trim.py: case-anchored furniture cut for UNTRIMMED blocks. Finds the body
  run that mentions the case, merges across subheadings and short furniture
  gaps, drops teasers, share bars, date/URL/caption lines and subscription
  pitches; refuses pages with no record term or almost no body. 302 blocks
  trimmed; 16 left on auto-trim-review.md (7 OFF-CASE suspects). Every cut is
  labelled AUTO-TRIMMED, UNREVIEWED in the dossier; the full extract stays in
  staging/. Decisions with anchors in trim-decisions-auto.json.
- build_cases.py / verify_all.py: banners for auto-trimmed and archived blocks,
  staged-file check extended to Wayback blocks, flag legend under the record.

Detention rule
- README "Definitions": the DB field `kidnappings` is the DETENTION violence
  type (victim, guard, staff or relative held to force submission or execute
  the theft), distinct from the Kidnapping scenario (taken away and held).
- detention-flag-review.md / detention-flag-corrections.json: 40 records
  reviewed with evidence; 30 set-to-1 proposals accepted by the owner on
  2026-09-06 (listed in corrections-approved.md), 10 still open.
- apply_detention_wording.py: "Violence Used" in the 70 reviewed summaries now
  names detention explicitly (62 of 70 labelled), supported by the summary's
  own text; idempotent; supersedes the batch scripts' wording.

Worklist and docs
- sofia-worklist.md: 248 decisions, detention rule item replacing the old
  "no abduction" item, fresh-search section for the textless cases.
- README-START-HERE.md: progress notes, run commands, next steps.
- Bug fixed in passing: Wayback blocks stored in-memory text with carriage
  returns; now stored as read back from disk.

verify_all.py PASSES (2321 checks).

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01GZZENdTLzNGsbNy4DyF1yt
This commit is contained in:
StellarCrow
2026-09-06 19:36:45 +02:00
co-authored by Claude Fable 5.1
parent 499fd61f79
commit 439e83a4cb
588 changed files with 24800 additions and 13190 deletions
@@ -26,6 +26,9 @@ DATABASE RECORD
notes Suspects observed and spotted each time due to security measures in place after January 28 incident.
has_processed_date 0
created_at 2026-05-25 17:17:32
(flag legend: 'kidnappings' is the DETENTION flag — 1 when the victim was held against
their will at any point, tied, locked in, held at gunpoint or taken away; it is NOT the
same as the 'Kidnapping' scenario, which means taken away and held. See README, Definitions.)
AI SUMMARY [generated at bulk import, NOT verified against sources]
**Victims:** Male crypto entrepreneur, his partner, four children (three young), and a private music teacher present at the time. Southwest borough, Montréal.
@@ -45,12 +48,81 @@ LINKED SOURCES
[url_2] https://www.ctvnews.ca/montreal/on-patrol/article/two-men-arrested-on-canada-wide-arrest-warrants-after-montreal-home-invasion/
[url_3] https://www.noovo.info/nouvelles/patrouille/article/invasion-a-domicile-le-spvm-met-le-grapin-sur-un-mineur-et-un-complice-majeur-en-ontario/
OTHER LINKED SOURCES
[BLOCKED] url None — raw request refused; try the WebFetch path, which is a model transcription and must be labelled as such
https://www.journaldemontreal.com/2026/05/07/violations-de-domicile-une-famille-montrealaise-prise-pour-cible-pour-de-la-cryptomonnaie
------------------------------------------------------------------------------------------------
FETCHED ARTICLE 1 [AUTO-TRIMMED — UNREVIEWED]
!! Furniture was cut by a script keyed on this case's record, not by a person.
!! It may still carry passages about OTHER cases from a round-up article.
!! The full page extract is kept in staging/ if a cut needs revisiting.
Source journaldemontreal.com
URL https://www.journaldemontreal.com/2026/05/07/violations-de-domicile-une-famille-montrealaise-prise-pour-cible-pour-de-la-cryptomonnaie
Field url
Retrieved 2026-09-05T13:21:47+00:00 via Wayback Machine snapshot 20260509063918, deterministic extraction (HTTP None)
Language unknown
Kept paragraphs headline [0] + 3-24 of 26
Length 3,854 chars
Integrity sha256 096e1774d23579568290c907062d38b6512b22aea936c0ef9978092ee2594ffb
Trimmed AUTO-TRIMMED, unreviewed: kept paragraphs 3-24 plus headline [0]; dropped 2 leading and 1 trailing paragraphs. Case-term hits on page: 17.
Note live URL was BLOCKED on the first pass; text comes from an archived copy dated 2026-05-09
Archive http://web.archive.org/web/20260509063918/https://www.journaldemontreal.com/2026/05/07/violations-de-domicile-une-famille-montrealaise-prise-pour-cible-pour-de-la-cryptomonnaie
Caveat retrieved from a Wayback Machine snapshot, not the live page. The
snapshot date is in the method line; the live URL was unreadable.
------------------------------------------------------------------------------------------------
ORIGINAL (unknown, verbatim as retrieved)
Violations de domicile: une famille montréalaise prise pour cible pour de la cryptomonnaie | JDM
Cette résidence de larrondissement Sud-Ouest a été prise pour cible quatre fois en quelques semaines par des suspects voulant y perpétrer des violations de domicile.
PHOTO OLIVIER FAUCHER
La famille dun Montréalais œuvrant en cryptomonnaie a été ciblée par quatre tentatives de violations de domicile en quelques semaines cet hiver, dont une où un coup de feu a été tiré et qui a récemment mené à deux arrestations.
« Cest un crime crapuleux et violent », sindigne Pierre-Marc Houle, commandant de la Section des enquêtes par projet Sud du Service de police de la Ville de Montréal (SPVM).
Le corps de police a annoncé jeudi larrestation dans la région de Toronto dun mineur de 17 ans et de Christopher Ethan Prince, 20 ans, en lien avec une violation de domicile survenue le 28 janvier dernier, dans larrondissement du Sud-Ouest.
Ce jour-là, un entrepreneur du domaine de la cryptomonnaie se trouvait dans sa maison avec sa conjointe et ses quatre enfants, dont trois sont en bas âge. Un professeur de musique privé se trouvait aussi dans la résidence.
• Regardez aussi ce podcast vidéo tiré de l'émission de Benoit Dutrizac, diffusée sur les plateformes QUB et simultanément sur le 99.5 FM Montréal :
Vers 19 h 30, un individu prétendant être un livreur de colis sest présenté à la résidence familiale. Lorsquun occupant a ouvert la porte, lui et trois complices seraient entrés.
« Quand la victime [lentrepreneur en cryptomonnaie] est descendue du deuxième étage, cest là quelle a été confrontée avec les suspects. Lun dentre eux aurait fait feu et cest un autre suspect qui aurait été atteint à labdomen », a indiqué M. Houle.
Le commandant Pierre-Marc Houle, chef de section des enquêtes par projets Sud du SPVM
Photo Agence QMI, JOEL LEMAY
Le père de famille na heureusement subi quune légère blessure du bras, qui na pas été causée par le coup de feu.
Les bandits ont ensuite pris la fuite en laissant plusieurs « éléments de preuves » sur les lieux, selon le SPVM.
Les suspects, originaires de la région de Toronto, ne se connaissaient pas tous. Ils auraient accepté un contrat via les réseaux sociaux qui ciblait cet homme en lien avec la cryptomonnaie, a précisé le commandant Houle.
La famille n’était toutefois pas au bout de ses peines. Début mars, des suspects ont fait trois nouvelles tentatives de violation de domicile en autant de jours à la même résidence.
« Ça na pas fonctionné, mais cest très inquiétant. Il y a eu des moyens de protection déployés [sur la maison] et les suspects ont été aperçus. Ils ne sont pas rentrés dans la maison », fait savoir le commandant Houle.
Le 11 mars, la famille a décidé de quitter les lieux pour des raisons de sécurité.
« On se met à la place des victimes qui sont carrément traumatisées. Ce sont ces gens sans histoire », déplore M. Houle.
Au cours des dernières années, plusieurs crimes similaires en lien avec la cryptomonnaie sont survenus dans le grand Montréal. Dans la plupart des cas, lobjectif est de dérober des fonds sur place en obtenant un transfert pouvant atteindre des centaines de milliers de dollars.
Lenquête sur l’événement du 28 janvier se poursuit afin de retrouver deux autres suspects, dont un âgé de 16 ans. Dautres individus pourraient aussi être traqués par le SPVM en lien avec les tentatives de début mars, précise le commandant Houle.
Un survol intelligent pour rester à jour, même le midi
Voir toutes nos infolettres
Voir la politique de confidentialité
Vous devez être connecté pour commenter. Se connecter
Bienvenue dans la section commentaires! Notre objectif est de créer un espace pour un discours réfléchi et productif. En publiant un commentaire, vous acceptez de vous conformer aux Conditions d'utilisation.
------------------------------------------------------------------------------------------------
FETCHED ARTICLE 1 [RAW EXTRACT — NOT YET TRIMMED]
FETCHED ARTICLE 2 [RAW EXTRACT — NOT YET TRIMMED]
!! This is the whole page as extracted. It still contains site furniture,
!! and may contain teaser headlines for UNRELATED cases. Trim on read-through.
!! Do not quote from it without checking the passage belongs to this case.
@@ -188,19 +260,19 @@ Meta AI model hacks another company during testing
Chile telescope spots dust from SpaceX rocket crash into moon
------------------------------------------------------------------------------------------------
FETCHED ARTICLE 2 [RAW EXTRACT — NOT YET TRIMMED]
!! This is the whole page as extracted. It still contains site furniture,
!! and may contain teaser headlines for UNRELATED cases. Trim on read-through.
!! Do not quote from it without checking the passage belongs to this case.
FETCHED ARTICLE 3 [AUTO-TRIMMED — UNREVIEWED]
!! Furniture was cut by a script keyed on this case's record, not by a person.
!! It may still carry passages about OTHER cases from a round-up article.
!! The full page extract is kept in staging/ if a cut needs revisiting.
Source noovo.info
URL https://www.noovo.info/nouvelles/patrouille/article/invasion-a-domicile-le-spvm-met-le-grapin-sur-un-mineur-et-un-complice-majeur-en-ontario/
Field url_3
Retrieved 2026-08-06T13:39:26+00:00 via raw HTTP retrieval, deterministic extraction (HTTP 200)
Language unknown
Kept paragraphs ALL 12 paragraphs, untrimmed
Length 2,345 chars
Integrity sha256 8a6d9010a04d09d6d9772ed7439d3cd87105d9f964eb1d551953805e402bc7fb
Trimmed NOT TRIMMED. Full page extract; trim on read-through.
Kept paragraphs headline [0] + 3-11 of 12
Length 2,224 chars
Integrity sha256 9aa068e4817bf9ae872a4846a7430d14f7e56e51bb253b4a1dcc26e7f0cb99d0
Trimmed AUTO-TRIMMED, unreviewed: kept paragraphs 3-11 plus headline [0]; dropped 2 leading and 0 trailing paragraphs. Case-term hits on page: 8.
Caveat retrieved from a live page on the date above. Unlike text copied
from the spreadsheet, there is no second copy to hash it against.
------------------------------------------------------------------------------------------------
@@ -209,10 +281,6 @@ ORIGINAL (unknown, verbatim as retrieved)
Un jeune homme et un mineur arrêtés en lien avec une invasion à domicile qui a mal tourné
Passer au contenu principal
Invasion à domicile: le SPVM met le grapin sur un mineur et un complice majeur en Ontario
Malgré ces arrestations, la police poursuit son enquête afin de localiser deux autres suspects.
Deux hommes âgés de 20 et 17 ans qui faisaient lobjet de mandats darrestation pancanadiens ont été arrêtés mercredi par les autorités à Ajax et Toronto, en Ontario, pour leur possible implication dans une invasion de domicile et dune décharge darme à feu qui date du début de lannée à Montréal.