LAB · AÇIK KAYNAK
Veri Kökeni İzleyici
Bir eğitim veri kümesine giren her parçanın kaynağını, kullanım iznini ve toplanma amacını eklemeli bir defterde tutan açık kaynak kurulum. Veri kökeni sorusunu kişilerin hafızasından çıkarıp denetlenebilir bir kayda taşımak isteyen veri ve uyum ekipleri için.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Veri Kökeni İzleyici henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Kısa cevap
Eğitim veri kümesindeki her parçanın hangi kaynaktan, hangi izinle ve hangi amaç için geldiğini makine okunur bir defterde tutan kurulum.
Ne çözüyor?#
Bir modelin davranışı sorgulandığında sorulan ilk şey verinin nereden geldiğidir. Bu cevabın nerede durduğu kuruma göre değişir: dizin adlarında, ayrı bir tabloda ya da yalnızca ilgili kişilerin hafızasında; son durumda ekip değiştiğinde cevap da kaybolur. Bu kurulum, veri kümesine giren her parçanın kaynağını, kullanım iznini ve ilk toplanma amacını tek şemada tutar ve bu kaydı eğitim koşusuna bağlar. Amaç denetime hazır bir izlek üretmek; veri kalitesini iyileştirmek ya da izin metinlerini yorumlamak değil.
Bileşenler#
| Bileşen | Sorumluluğu |
|---|---|
| Toplayıcı | Ham dosyaların bulunduğu depoyu tarar; her parça için içerik özeti ve kalıcı bir parça kimliği üretir. |
| Köken defteri | Kaynak, izin dayanağı, amaç ve zaman alanlarını tek şemada tutar; yalnızca eklemeli yazılır, kayıt üzerine yazılmaz. |
| İzin çözümleyici | Kaynağın lisans veya sözleşme kaydını defterdeki izin alanına eşler; eşleşmeyeni boş bırakıp işaretler. |
| Kanıt paketleyici | Bir eğitim koşusunun kullandığı parça kimliklerini tek dosyada dışa aktarır. |
| Doğrulayıcı | Defteri ve diskteki kümeyi karşılaştırır; kökeni eksik ya da defterde olup kümede bulunmayan parçaları listeler. |
Köken kaydının alanları#
- Kaynak kimliği: parçanın alındığı depo, satın alma kaydı veya iç sistem
- İzin dayanağı: lisans adı, sözleşme maddesi veya rıza kaydının bulunduğu yer
- Toplanma amacı: verinin ilk toplandığı amaç, eğitimde kullanım amacından ayrı alanda tutulur
- Dönüşüm zinciri: parçanın hangi işlemlerden sırayla geçtiği
- Sorumlu: kaydı giren ekip ve kaydın yeniden gözden geçirileceği tarih
Kurulum akışı#
- 1Şemayı sabitle
Defterin alanları kurum sözlüğüne göre bir kez tanımlanır. Defter eklemeli olduğu için sonradan alan eklemek eski kayıtları geçersiz kılmaz, yalnızca eski kayıtlarda o alan boş kalır.
- 2Mevcut kümeyi tara
Toplayıcı var olan veri dizinlerini gezer ve kökeni bilinmeyen parçalar için boş kayıt açar. Boşluk gizlenmez; görünür bir borç listesi olarak durur.
- 3İzinleri elle eşle
İzin dayanağı otomatik türetilmez. Her kaynak için bir kişi lisans ya da sözleşme referansını girer ve kaydın altına imzasını bırakır.
- 4Eğitim hattına bağla
Eğitim işi başlarken kullandığı parça kimliklerini deftere bildirir; kanıt paketi koşu çıktısının yanında saklanır.
- 5Doğrulamayı düzenli çalıştır
Doğrulayıcı defter ile küme arasındaki sapmayı raporlar. Sapma kapanmadan küme kökeni tam sayılmaz; bu, kurulumun tek kabul ölçütüdür.
Yapılandırmaya bırakılan kararlar#
| Karar | Seçenekler | Neye göre |
|---|---|---|
| Defterin yazıldığı yer | Uygulama veritabanında ayrı koleksiyon / nesne deposunda eklemeli dosya | Denetim dış saklama şartı getiriyorsa nesne deposu; sorgu ihtiyacı ağırsa veritabanı |
| Parça kimliği | İçerik özeti / yol ve sürüm çifti | Aynı dosya birden çok yolda duruyorsa içerik özeti; dizin yapısı anlam taşıyorsa çift |
| Kökeni eksik parçaya davranış | Eğitimi durdur / uyarıyla geçir | Düzenlemeye tabi alanlarda durdurma, keşif çalışmasında uyarı |
| İzin alanının ayrıntısı | Serbest metin / kontrollü liste | Hukuk ekibi bu alandan rapor üretecekse kontrollü liste |
| Kanıt paketinin kapsamı | Yalnızca kimlikler / kimlikler ve içerik özetleri | Koşuyu yeniden üretme gereği varsa içerik özetleri de pakete girer |
Kapsam dışı#
Defter, girilen izin dayanağının hukuken yeterli olup olmadığına karar vermez; beyanı olduğu gibi taşır. Kişisel veri tespiti, anonimleştirme ve silme talebi işleme akışları bu kurulumun dışındadır. Model çıktısının hangi eğitim parçasından etkilendiğini gösteren bir atıf mekanizması da yoktur: defter veriye bakar, modele bakmaz.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- MLOps / LLMOpsMLOpsMakine öğrenmesi modellerinin geliştirilmesini, dağıtımını, izlenmesini ve yenilenmesini tekrarlanabilir ve denetlenebilir hale getiren mühendislik disiplinidir.
- Responsible AIResponsible AIYapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.