Verkrijg uit elke bron, veilig.
Binnenkort
Dien een link in of roep de API aan. Corvidint herkent de bron, brengt elk bestand in kaart en verkrijgt wat uw beleid selecteert, geverifieerd en vastgelegd.
Bronnen
- Directe linkshttps://archive.example.org/…
- WeblijstenIndex of /pub/2026/
- Onion-services….onion
- Peer-to-peer-swarmsmagnet:?xt=urn:btih:…
Gepubliceerd, nieuwste eerst
- attachments/samples.zip1,4 GiBChecksum van de bron geverifieerd
- attachments/bulletins/bulletin-2026-07.pdf16,9 MiBChecksum berekend bij aankomst
- captures/listing-0001.html428 KiBChecksum berekend bij aankomst
- attachments/indicators-0417.json2,3 MiBGeverifieerd door het overdrachtsprotocol
- screens/page-0001.png717 KiBChecksum berekend bij aankomst
- attachments/bulletins/bulletin-2026-06.pdf14,2 MiBChecksum van de bron geverifieerd
- shared/case-0417/notes.txt6,2 KiBChecksum van de bron geverifieerd
Alles waar een link naartoe kan leiden.
Eén generieke pijplijn herkent elke bron, bekend of niet. Standaarden, beoordeelde recipes en connectoren met versiebeheer verbreden haar zonder nieuwe code in de kern.
Alleen bronnen waaruit u geautoriseerd mag verzamelen. Ontbrekende toegang wordt een verzoek om actie, nooit een omweg.
Directe links
Bereikt viaVPN-tunnelsTor-pool
Directe, gedeelde en tijdelijke links, redirects en de tussenpagina’s daartussen.
- https://
- http://
- 302 Found
- ?expires=…
Weblijsten
Bereikt viaVPN-tunnelsTor-pool
Serverindexen, catalogi, tabellen, detailpagina’s, galerijen, feeds en gepagineerde JSON-lijsten.
- Index of /
- ?page=2
- <enclosure>
- next_cursor
Bestandsservers
Bereikt viaVPN-tunnels
FTP en FTPS, SFTP met vastgezette hostsleutels en WebDAV-collecties, map voor map.
- ftp://
- ftps://
- sftp://
- PROPFIND
Cloudopslag
Bereikt viaVPN-tunnels
Geconfigureerde opslag-remotes en gedeelde mappen, opgesomd via hun eigen interfaces.
- remote:bucket/
- /shared/
- next_page_token
Bestandshosts
Bereikt viaVPN-tunnels
Hostingdiensten met eigen linkformaten, herkend door speciale adapters en geïsoleerde engines.
- /file/…
- /folder/…
- #key
Dynamische pagina’s
Bereikt viaVPN-tunnelsTor-pool
Links die alleen een script opbouwt, worden gevonden door een browser in een sandbox, binnen strikte budgetten.
- <script>
- fetch()
- subresources
Onion-services
Bereikt viaTor-pool
Onion-adressen gaan alleen naar de geïsoleerde Tor-pool en raken nooit gewone DNS.
- .onion
- client auth
Peer-to-peer-swarms
Bereikt viaPeersessies
Magnetlinks en torrentbestanden draaien in eigen getunnelde sessies, nooit over Tor, zonder daarna te seeden.
- magnet:?xt=
- .torrent
- info-hash
Archieven en sets
Bereikt viaElk netwerk
Archieven worden onderdeel voor onderdeel opgesomd en de delen van een set uit meerdere delen worden als één gekozen.
- .zip
- .tar.gz
- .7z
- .rar
- .iso
- .part1
Geautoriseerde toegang
Bereikt viaVPN-tunnelsTor-pool
Wachtwoorden, tokens, sleutels en onion-clientsleutels worden eenmaal verstuurd, bewaard als verwijzing en nooit meer getoond.
- username_password
- token
- ssh_key
- onion_client_auth
Eén link wordt een volledige inventaris.
Herkenning verzamelt bewijs voordat ze iets gelooft. Een grootte blijft onbekend tot ze is bewezen, en een lijst is pas compleet wanneer elke tak is gesloten.
- archive.example.org/
collections/ collectie0417/ - attachments/
83 bestanden1,9 GiB - bulletins/
79 bestanden282 MiB - indicators-0417.jsondata2,3 MiB
- samples-part2.7zarchiefgrootte onbekend286 MiB
- samples.ziparchief1,4 GiB
- readme.txtarchiefonderdeel
- docs/
overview.pdf archiefonderdeel - 10 onderdelen meer
- unknown-0042.binonbekend type3,1 MiB
- captures/
148 bestanden46,1 MiB - index.htmltussenpagina48,0 KiB
- README.txttekst2,1 KiB
- screens/
64 bestanden41,1 MiB - video/
2 bestanden1,5 GiB - recording-02.mp4video1,1 GiB
- walkthrough.mp4video412 MiB
- ValiderenSchema, poort en hostklasse worden gecontroleerd zonder de bron te benaderen.
- Netwerk kiezenEen onion-naam kiest de Tor-pool, elke andere naam een VPN-tunnel.
- Bewijs verzamelenHeaders, handtekeningen, lijsten en range-reads, goedkoopste eerst.
- ClassificerenBestand, map, collectie of tussenpagina, elk met zijn bewijs.
- OpsommenMappen pagina voor pagina, archieven onderdeel voor onderdeel, lussen doorbroken.
- De lijst sluitenCompleet binnen de scope, alleen wanneer geen enkele tak openstaat.
{"location_id": "loc_01JAH8K2","name": "samples.zip","depth": 1,"has_children": false,"listing_complete": true,"resource": {"resource_id": "res_01JAH8K2","kind": "file","kind_status": "confirmed","discovery_state": "resolved","size": {"bytes": "1481763717","status": "validated","basis": "representation"},"media": {"category": "archive","identification_status": "confirmed","detected_media_type": "application/zip"}}}Nieuwe sites, zonder nieuwe code
Standaardprotocollen vragen alleen configuratie. Bekende paginalay-outs krijgen declaratieve recipes. Nieuwe protocollen krijgen een connector met versiebeheer, nooit een wijziging in de kern.
- StandaardenWeblijsten, FTP, SFTP, WebDAV en opslag-remotes, direct begrepen.
- RecipesFetch, select, extract, emit. Geen scripts, geen code, alleen bewerkingen die het platform toestaat.
- ConnectorenPakketten met versiebeheer die buiten het proces draaien en eerst een conformiteitskit doorstaan.
Hoe een recipe zijn plek verdient
- Voorgesteld
- Getest op fixtures
- Canary op een deel van het werk
- Gepromoveerd op bewijs
- Ingetrokken bij drift
Een model mag de stappen van een recipe voorstellen. Mensen beoordelen ze en alleen bewijs promoveert ze.
{"recipe_key": "archive-listing.paged","version": 3,"language_version": "1.0","scope": {"hosts": ["archive.example.org"],"path_patterns": ["/collections/*"]},"steps": [{"op": "fetch","target": "input_url","accept": "html"},{"op": "select","language": "css","expression": "table.listing a.file","as": "links"},{"op": "extract","from": "links","attribute": "href","as": "hrefs"},{"op": "emit","kind": "unknown","native_id_from": "hrefs","relation": "contains"}],"expected_evidence": {"exhaustiveness": "provider_declared"}}Fictieve waarden, veldnamen precies zoals de API ze definieert
Er wordt niets gedownload voordat de volgorde vaststaat.
Regels bepalen wat is toegestaan, wordt uitgesloten of in quarantaine gaat. Strikte selectie wacht op een gesloten lijst en bekende groottes en rangschikt daarna elk bestand op grootte.
Beleidsregels, hoogste prioriteit eerst
- 1exclude-videoAfspeelbare video wordt uitgesloten.
- 2inspect-unknownOnbekende typen worden geïnspecteerd; niet-sluitend betekent quarantaine.
- 3opaque_
encrypted_ Versleutelde archieven blijven ondoorzichtig tot iemand het wachtwoord geeft.when_ acquired - 4default_
action Al het andere is toegestaan.
Vastgelegd bij de selectie
strict_order_closed_inventory
Elk bestand van de volledige inventaris is vóór het downloaden op grootte gerangschikt.
Selectiemodi
- 1Elk bestand, grootste eerst
- 2Het grootste bestand
- 3Het grootste bestand per map
- 4Bestanden binnen een groottebereik
Strikte modus wacht op een gesloten lijst en bekende groottes. Progressieve modus begint eerder en zegt dat.
{"candidate_id": "rep_0008D","display_name": "walkthrough.mp4","candidate_kind": "representation","selection_revision": 2,"action": "exclude","rule_id": "exclude-video","reason_codes": ["video_excluded"],"evidence": [{"mechanism": "format_header","attribute": "kind","status": "confirmed","summary": "video/mp4"}]}Elk verzoek vertrekt via een tunnel.
Probes, lijsten en overdrachten gebruiken allemaal geautoriseerde egress. Valt een tunnel weg, dan stoppen de verzoeken: er is geen directe route om op terug te vallen.
Elk verzoek passeert de beleidspoort en vertrekt dan via de route die zijn bron vereist.
Onion-verkeer neemt gelaagde Tor-circuits, in een eigen geïsoleerde pool.
Swarms worden betreden vanuit eigen peersessies. Stukken komen binnen en daarna wordt niets geseed.
Tunnel uit. Nieuwe verzoeken stoppen, overdrachten maken een checkpoint en er vertrekt niets direct.
Tunnel terug. Overdrachten hervatten vanaf hun checkpoints.
- Privé-, loopback- en metadata-adressen worden bij het verbinden geweigerd.
- Onion-namen raken nooit gewone DNS.
- Peersessies stoppen met delen zodra de gevraagde bestanden compleet zijn.
- Een ingetrokken koppeling sluit lopende verbindingen en de gateway bevestigt dat.
- Wanneer een stop niet kan worden bevestigd, blijft de capaciteit vastgehouden tot dat wel kan.
- Gedeeltelijke bestanden staan in objectopslag, zodat een andere eenheid ze kan hervatten.
Geverifieerd, vastgelegd, nooit uitgevoerd.
Een onafhankelijke verifier hasht elk gestaged bestand. Bytes worden op inhoud opgeslagen, eenmalig gepubliceerd en alleen als bijlage geleverd.
Een afwijking gaat in quarantaine en wordt opnieuw verkregen, nooit gepubliceerd.
Twee locaties, één blob
Identieke bytes worden eenmalig opgeslagen op hun SHA-256. Elke locatie die ernaar verwees blijft bewaard.
Bewaard als bewijs, nooit uitgevoerd
- Niets wat is verkregen wordt geopend, uitgevoerd, geïnstalleerd of gemount.
- Analyzers draaien zonder netwerk, als eigen gebruiker, met tijd- en geheugenlimieten.
- Archiefpaden worden gecontroleerd voordat één enkel onderdeel wordt uitgepakt.
- Bestanden verlaten het platform alleen als bijlage, via kortlevende links op een aparte origin.
{"file_id": "file_0008","logical_path": "attachments/samples.zip","stored_name": "21d80013bfc9266b","size_bytes": "1481763717","sha256": "21d80013bfc9266bc453a3db98d1f3d14a2be4483d5020d74ec194a763336753","integrity_level": "origin_checksum_verified","origin_checksum": {"algorithm": "sha256","value": "21d80013bfc9266bc453a3db98d1f3d14a2be4483d5020d74ec194a763336753"},"source_resource_id": "res_01JAH8K2","published_at": "2026-10-05T08:31:00Z"}Fictieve waarden, veldnamen precies zoals de API ze definieert
Gebouwd om te worden aangeroepen, klaar voor de parser.
Elk project dient opdrachten in via de API en volgt ze via events. De parser neemt elk gepubliceerd bestand over met zijn checksum en herkomst.
- Uw project
- Downloader
- Parser
- Uw projectDownloaderDient opdracht inEen opdracht met een idempotentiesleutel: een nieuwe poging maakt nooit een tweede opdracht.
De opdracht die uw project verstuurt {"sources": [{"url": "https://archive.example.org/collections/0417/"},{"url": "https://share.example.net/s/K7q2xWm9"}],"policy_profile": "evidence-default","destination_id": "evidence-store","client_reference": "Archive capture, case 0417"} - DownloaderUw projectAccepteert na opslagPas beantwoord zodra de opdracht en haar beleid zijn opgeslagen.
Wat er terugkomt {"job_id": "job_01JAH7Q2M4K8V3","policy_revision": "prv_4","accepted_at": "2026-10-05T08:12:04Z","idempotent_replay": false} - DownloaderParserKondigt een gepubliceerd bestand aanOndertekende webhooks, of events die u pollt of vanaf een cursor streamt.
Het event dat de parser ontvangt {"event_id": "0f6e2a90-41d7-4c0b-9e5a-000000000010","event_type": "file.published","schema_version": "1.0","occurred_at": "2026-10-05T08:31:12Z","job_id": "job_01JAH7Q2M4K8V3","aggregate_type": "file","aggregate_id": "file_0008","aggregate_version": 3,"stream_seq": "10","data": {"file_id": "file_0008","logical_path": "attachments/samples.zip","size_bytes": "1481763717","verification_level": "origin_checksum_verified","selection_revision": 2}} - ParserDownloaderLeest het bestandsrecordDe parser controleert of het bestand is gecommit en leest zijn SHA-256.
Het bestandsrecord dat de parser controleert {"file_id": "file_0008","job_id": "job_01JAH7Q2M4K8V3","logical_path": "attachments/samples.zip","original_name": "samples.zip","size_bytes": "1481763717","sha256": "21d80013bfc9266bc453a3db98d1f3d14a2be4483d5020d74ec194a763336753","integrity_level": "origin_checksum_verified","state": "committed","detected_media_type": "application/zip"} - ParserDownloaderHaalt het op via een kortlevende linkEen kortlevende link; de parser hasht de bytes opnieuw voordat hij parset.
Inventaris, manifest en beslissingen kunnen ook als NDJSON worden geëxporteerd.
Fictieve waarden, veldnamen precies zoals de API ze definieert
Zie het op uw eigen bronnen.
Vertel ons wat u nodig hebt. Wij laten u een live capture zien, van post tot verzegeld record.
Liever e-mail? Schrijf naar [email protected].