Her kaynaktan, güvenle edinin.
Yakında
Bir bağlantı gönderin veya API’yi çağırın. Corvidint kaynağı çözümler, her dosyayı haritalar ve politikanızın seçtiklerini doğrulanmış ve kayıtlı olarak edinir.
Kaynaklar
- Doğrudan bağlantılarhttps://archive.example.org/…
- Web listeleriIndex of /pub/2026/
- Onion servisleri….onion
- Peer-to-peer sürülerimagnet:?xt=urn:btih:…
Yayımlananlar, en yeni önce
- attachments/samples.zip1,4 GiBKaynağın sağlama toplamı doğrulandı
- attachments/bulletins/bulletin-2026-07.pdf16,9 MiBSağlama toplamı varışta hesaplandı
- captures/listing-0001.html428 KiBSağlama toplamı varışta hesaplandı
- attachments/indicators-0417.json2,3 MiBTransfer protokolüyle doğrulandı
- screens/page-0001.png717 KiBSağlama toplamı varışta hesaplandı
- attachments/bulletins/bulletin-2026-06.pdf14,2 MiBKaynağın sağlama toplamı doğrulandı
- shared/case-0417/notes.txt6,2 KiBKaynağın sağlama toplamı doğrulandı
Bir bağlantının götürebildiği her şey.
Tek bir genel akış, bilinen ya da bilinmeyen her kaynağı çözümler. Standartlar, gözden geçirilmiş tarifler ve sürümlü konnektörler onu çekirdeğe yeni kod eklemeden genişletir.
Yalnızca toplama yetkiniz olan kaynaklar. Eksik erişim bir eylem talebine dönüşür, asla bir dolambaçlı yola değil.
Doğrudan bağlantılar
Ulaşım yoluVPN tünelleriTor havuzu
Doğrudan, paylaşılan ve geçici bağlantılar, yönlendirmeler ve aralarındaki ara sayfalar.
- https://
- http://
- 302 Found
- ?expires=…
Web listeleri
Ulaşım yoluVPN tünelleriTor havuzu
Sunucu dizinleri, kataloglar, tablolar, ayrıntı sayfaları, galeriler, feed’ler ve sayfalanmış JSON listeleri.
- Index of /
- ?page=2
- <enclosure>
- next_cursor
Dosya sunucuları
Ulaşım yoluVPN tünelleri
FTP ve FTPS, sabitlenmiş ana makine anahtarlarıyla SFTP ve WebDAV koleksiyonları, klasör klasör.
- ftp://
- ftps://
- sftp://
- PROPFIND
Bulut depolama
Ulaşım yoluVPN tünelleri
Yapılandırılmış depolama uzak noktaları ve paylaşılan klasörler, kendi arayüzleriyle listelenir.
- remote:bucket/
- /shared/
- next_page_token
Dosya barındırıcılar
Ulaşım yoluVPN tünelleri
Kendine özgü bağlantı biçimleri olan barındırma hizmetleri; özel adaptörler ve yalıtılmış motorlarla çözümlenir.
- /file/…
- /folder/…
- #key
Dinamik sayfalar
Ulaşım yoluVPN tünelleriTor havuzu
Yalnızca bir betiğin oluşturduğu bağlantıları, katı bütçeler dahilinde, kum havuzlu bir tarayıcı bulur.
- <script>
- fetch()
- subresources
Onion servisleri
Ulaşım yoluTor havuzu
Onion adresleri yalnızca yalıtılmış Tor havuzuna gider ve sıradan DNS’e asla uğramaz.
- .onion
- client auth
Peer-to-peer sürüleri
Ulaşım yoluPeer oturumları
Magnet bağlantıları ve torrent dosyaları kendi tünelli oturumlarında, asla Tor üzerinden değil ve sonrasında seed yapılmadan çalışır.
- magnet:?xt=
- .torrent
- info-hash
Arşivler ve kümeler
Ulaşım yoluHerhangi bir ağ
Arşivler üye üye listelenir ve çok parçalı bir kümenin parçaları tek bir bütün olarak seçilir.
- .zip
- .tar.gz
- .7z
- .rar
- .iso
- .part1
Yetkili erişim
Ulaşım yoluVPN tünelleriTor havuzu
Parolalar, token’lar, anahtarlar ve onion istemci anahtarları bir kez gönderilir, referans olarak saklanır ve bir daha gösterilmez.
- username_password
- token
- ssh_key
- onion_client_auth
Bir bağlantı eksiksiz bir envantere dönüşür.
Çözümleme, herhangi bir şeye inanmadan önce kanıt toplar. Bir boyut kanıtlanana kadar bilinmez kalır ve bir liste ancak her dal kapandığında tamamdır.
- archive.example.org/
collections/ koleksiyon0417/ - attachments/
83 dosya1,9 GiB - bulletins/
79 dosya282 MiB - indicators-0417.jsonveri2,3 MiB
- samples-part2.7zarşivboyut bilinmiyor286 MiB
- samples.ziparşiv1,4 GiB
- readme.txtarşiv üyesi
- docs/
overview.pdf arşiv üyesi - 10 üye daha
- unknown-0042.binbilinmeyen tür3,1 MiB
- captures/
148 dosya46,1 MiB - index.htmlara sayfa48,0 KiB
- README.txtmetin2,1 KiB
- screens/
64 dosya41,1 MiB - video/
2 dosya1,5 GiB - recording-02.mp4video1,1 GiB
- walkthrough.mp4video412 MiB
- DoğrulaŞema, port ve ana makine sınıfı, kaynakla iletişime geçmeden denetlenir.
- Ağı seçBir onion adı Tor havuzunu, diğer her ad bir VPN tünelini seçer.
- Kanıt toplaBaşlıklar, imzalar, listeler ve aralık okumaları; en ucuzu önce.
- SınıflandırDosya, klasör, koleksiyon veya ara sayfa; her biri kanıtıyla.
- ListeleKlasörler sayfa sayfa, arşivler üye üye; döngüler kesilir.
- Listeyi kapatKapsam dahilinde tamamdır, yalnızca hiçbir dal açık kalmadığında.
{"location_id": "loc_01JAH8K2","name": "samples.zip","depth": 1,"has_children": false,"listing_complete": true,"resource": {"resource_id": "res_01JAH8K2","kind": "file","kind_status": "confirmed","discovery_state": "resolved","size": {"bytes": "1481763717","status": "validated","basis": "representation"},"media": {"category": "archive","identification_status": "confirmed","detected_media_type": "application/zip"}}}Yeni siteler, yeni kod olmadan
Standart protokoller yalnızca yapılandırma ister. Bilinen sayfa düzenleri bildirimsel tarifler alır. Yeni protokoller sürümlü bir konnektör alır, asla çekirdek değişikliği değil.
- StandartlarWeb listeleri, FTP, SFTP, WebDAV ve depolama uzak noktaları, kutudan çıktığı gibi anlaşılır.
- TariflerGetir, seç, çıkar, yay. Betik yok, kod yok, yalnızca platformun izin verdiği işlemler.
- KonnektörlerSüreç dışında çalışan ve önce bir uyumluluk setini geçen sürümlü paketler.
Bir tarif yerini nasıl kazanır
- Önerildi
- Test verisiyle sınandı
- İşin bir kısmında canary
- Kanıtla terfi ettirildi
- Sapma nedeniyle geri çekildi
Bir model bir tarifin adımlarını önerebilir. İnsanlar gözden geçirir ve onu yalnızca kanıt terfi ettirir.
{"recipe_key": "archive-listing.paged","version": 3,"language_version": "1.0","scope": {"hosts": ["archive.example.org"],"path_patterns": ["/collections/*"]},"steps": [{"op": "fetch","target": "input_url","accept": "html"},{"op": "select","language": "css","expression": "table.listing a.file","as": "links"},{"op": "extract","from": "links","attribute": "href","as": "hrefs"},{"op": "emit","kind": "unknown","native_id_from": "hrefs","relation": "contains"}],"expected_evidence": {"exhaustiveness": "provider_declared"}}Kurgusal değerler, alan adları API’nin tanımladığı haliyle
Sıralama kanıtlanmadan hiçbir şey indirilmez.
Kurallar neyin izinli olduğuna, dışarıda bırakılacağına veya karantinaya alınacağına karar verir. Katı seçim kapalı bir liste ve bilinen boyutları bekler, sonra her dosyayı boyuta göre sıralar.
Politika kuralları, en yüksek öncelik önce
- 1exclude-videoOynatılabilir video dışarıda bırakılır.
- 2inspect-unknownBilinmeyen türler incelenir; sonuçsuz kalırsa karantina.
- 3opaque_
encrypted_ Şifreli arşivler, biri parolayı sağlayana kadar opak kalır.when_ acquired - 4default_
action Geri kalan her şeye izin verilir.
Seçimle birlikte kaydedilir
strict_order_closed_inventory
Eksiksiz envanterin her dosyası, indirmeden önce boyuta göre sıralandı.
Seçim modları
- 1Her dosya, en büyük önce
- 2En büyük dosya
- 3Her klasörün en büyük dosyası
- 4Bir boyut aralığındaki dosyalar
Katı mod, kapalı bir liste ve bilinen boyutları bekler. Aşamalı mod erken başlar ve bunu belirtir.
{"candidate_id": "rep_0008D","display_name": "walkthrough.mp4","candidate_kind": "representation","selection_revision": 2,"action": "exclude","rule_id": "exclude-video","reason_codes": ["video_excluded"],"evidence": [{"mechanism": "format_header","attribute": "kind","status": "confirmed","summary": "video/mp4"}]}Her istek bir tünelden çıkar.
Yoklamalar, listeler ve transferler aynı yetkili çıkışı kullanır. Bir tünel düştüğünde istekler durur: geri dönülecek doğrudan bir yol yoktur.
Her istek politika geçidinden geçer, ardından kaynağının gerektirdiği şeritten çıkar.
Onion trafiği, kendi yalıtılmış havuzunda katmanlı Tor devreleri kullanır.
Sürülere kendi peer oturumlarından katılınır. Parçalar gelir, sonrasında hiçbir şey seed edilmez.
Tünel kapalı. Yeni istekler durur, transferler kontrol noktası alır ve hiçbir şey doğrudan çıkmaz.
Tünel geri geldi. Transferler kontrol noktalarından devam eder.
- Özel, loopback ve metadata adresleri bağlantı anında reddedilir.
- Onion adları sıradan DNS’e asla uğramaz.
- Peer oturumları, istenen dosyalar tamamlanır tamamlanmaz paylaşmayı bırakır.
- İptal edilen bir bağlama canlı bağlantıları kapatır ve ağ geçidi bunu onaylar.
- Bir durdurma doğrulanamazsa, kapasitesi doğrulanana kadar ayrılmış kalır.
- Kısmi dosyalar nesne depolamada durur, böylece başka bir birim devam edebilir.
Doğrulandı, kaydedildi, asla çalıştırılmadı.
Bağımsız bir doğrulayıcı hazırlanan her dosyanın hash değerini hesaplar. Baytlar içeriğe göre saklanır, bir kez yayımlanır ve yalnızca ek olarak sunulur.
Uyuşmazlık karantinaya alınır ve yeniden edinilir, asla yayımlanmaz.
İki konum, tek blob
Aynı baytlar SHA-256 değeriyle bir kez saklanır. Onlara işaret eden her konum korunur.
Kanıt olarak saklanır, asla çalıştırılmaz
- Edinilen hiçbir şey açılmaz, çalıştırılmaz, kurulmaz veya bağlanmaz.
- Analizörler ağsız, kendi kullanıcılarıyla, zaman ve bellek sınırlarıyla çalışır.
- Arşiv yolları, tek bir üye çıkarılmadan önce denetlenir.
- Dosyalar yalnızca ek olarak, ayrı bir kaynakta kısa ömürlü bağlantılarla dışarı çıkar.
{"file_id": "file_0008","logical_path": "attachments/samples.zip","stored_name": "21d80013bfc9266b","size_bytes": "1481763717","sha256": "21d80013bfc9266bc453a3db98d1f3d14a2be4483d5020d74ec194a763336753","integrity_level": "origin_checksum_verified","origin_checksum": {"algorithm": "sha256","value": "21d80013bfc9266bc453a3db98d1f3d14a2be4483d5020d74ec194a763336753"},"source_resource_id": "res_01JAH8K2","published_at": "2026-10-05T08:31:00Z"}Kurgusal değerler, alan adları API’nin tanımladığı haliyle
Çağrılmak üzere kuruldu, parser’a hazır.
Her proje API üzerinden iş gönderir ve olaylarla izler. Parser, yayımlanmış her dosyayı sağlama toplamı ve kökeniyle alır.
- Projeniz
- Downloader
- Parser
- ProjenizDownloaderBir iş gönderirİdempotentlik anahtarlı bir iş: yeniden deneme asla ikinci bir iş oluşturmaz.
Projenizin gönderdiği iş {"sources": [{"url": "https://archive.example.org/collections/0417/"},{"url": "https://share.example.net/s/K7q2xWm9"}],"policy_profile": "evidence-default","destination_id": "evidence-store","client_reference": "Archive capture, case 0417"} - DownloaderProjenizSaklandığında kabul ederYalnızca iş ve politikası saklandıktan sonra yanıtlanır.
Geri dönen yanıt {"job_id": "job_01JAH7Q2M4K8V3","policy_revision": "prv_4","accepted_at": "2026-10-05T08:12:04Z","idempotent_replay": false} - DownloaderParserYayımlanmış bir dosyayı duyururİmzalı webhook’lar veya bir imleçten sorguladığınız ya da akış olarak aldığınız olaylar.
Parser’ın aldığı olay {"event_id": "0f6e2a90-41d7-4c0b-9e5a-000000000010","event_type": "file.published","schema_version": "1.0","occurred_at": "2026-10-05T08:31:12Z","job_id": "job_01JAH7Q2M4K8V3","aggregate_type": "file","aggregate_id": "file_0008","aggregate_version": 3,"stream_seq": "10","data": {"file_id": "file_0008","logical_path": "attachments/samples.zip","size_bytes": "1481763717","verification_level": "origin_checksum_verified","selection_revision": 2}} - ParserDownloaderDosya kaydını okurParser, dosyanın kalıcı olarak kaydedildiğini doğrular ve SHA-256 değerini okur.
Parser’ın denetlediği dosya kaydı {"file_id": "file_0008","job_id": "job_01JAH7Q2M4K8V3","logical_path": "attachments/samples.zip","original_name": "samples.zip","size_bytes": "1481763717","sha256": "21d80013bfc9266bc453a3db98d1f3d14a2be4483d5020d74ec194a763336753","integrity_level": "origin_checksum_verified","state": "committed","detected_media_type": "application/zip"} - ParserDownloaderKısa ömürlü bir bağlantıyla alırKısa ömürlü bir bağlantı; parser ayrıştırmadan önce baytların hash değerini yeniden hesaplar.
Envanter, manifest ve kararlar ayrıca NDJSON olarak dışa aktarılır.
Kurgusal değerler, alan adları API’nin tanımladığı haliyle
Kendi kaynaklarınızda görün.
İhtiyacınızı bize anlatın. Gönderiden mühürlü kayda kadar canlı bir yakalamayı birlikte inceleyelim.
E-postayı mı tercih edersiniz? [email protected] adresine yazın.