TEMSİLÎ VAKA · FİNANS
Kredi politikası metinlerinde kaynak gösteren soru-cevap
Şube ve bölge kredi birimlerindeki personel, teminat kabul esasları, sektör limitleri ve istisna yetkileri için intranette biriken genelge, sirküler ve ek tabloları elle tarıyordu. Aynı konuda birden çok revizyon yan yana duruyor, hangisinin yürürlükte olduğu çoğu zaman dosya adındaki tarihten tahmin ediliyordu. Yanlış sürüme dayanan bir tahsis kararı ancak komite görüşmesinde ya da iç denetim örneklemesinde fark ediliyordu. O ana kadar hangi soruya hangi belgeden cevap verildiği hiçbir yerde kayıtlı değildi.
Beklenen etki
- Kapsam
- Teminat esasları, sektör limitleri ve istisna yetkileri başlıkları tek arama yüzeyinde toplandı
- İzlenebilirlik
- Her cevap dayandığı parçanın revizyon numarası ve yürürlük tarihiyle birlikte gösteriliyor
- Ölçüm
- Geri getirme isabeti, alıntı doğruluğu ve mülga sürüm kullanımı birbirinden ayrı izleniyor
- Yetki
- Kısıtlı politika ekleri yetkisiz kullanıcının aday kümesine hiç girmiyor
Temsilî senaryo: buradaki satırlar ölçüm sonucu değil, bu kurulumda hangi büyüklüğün izlenmesi gerektiğini gösterir.
Bu kayıt gerçek bir müşteri işi değildir. Sinaptik Lab'in bu problemde izlediği yaklaşımı, mimari kararları ve ölçüm düzenini göstermek için yazılmış temsilî bir senaryodur: kurum adı taşımaz, içindeki hiçbir değer gerçek ölçüm değildir ve referans olarak gösterilemez. Gerçek projelerden vakalar müşteri onayı alındıkça bu kütüphaneye eklenir.
Problem
Şube ve bölge kredi birimlerindeki personel, teminat kabul esasları, sektör limitleri ve istisna yetkileri için intranette biriken genelge, sirküler ve ek tabloları elle tarıyordu. Aynı konuda birden çok revizyon yan yana duruyor, hangisinin yürürlükte olduğu çoğu zaman dosya adındaki tarihten tahmin ediliyordu. Yanlış sürüme dayanan bir tahsis kararı ancak komite görüşmesinde ya da iç denetim örneklemesinde fark ediliyordu. O ana kadar hangi soruya hangi belgeden cevap verildiği hiçbir yerde kayıtlı değildi.
Yaklaşım
Politika metinleri başlık hiyerarşisine göre parçalandı ve her parça yürürlük tarihi, revizyon numarası, onaylayan birim ve görünürlük sınıfı meta verisiyle indekslendi; sürüm bilgisi cevabın süsü değil geri getirmenin girdisi yapıldı. Arama hibrit kuruldu, çünkü ürün kodları, kısaltmalar ve madde göndermeleri sözcük eşleşmesi isterken politika dili anlamsal benzerlik istiyordu. Yetki filtresi geri getirmeden önce uygulandı: kullanıcının göremeyeceği bir parça aday kümesine hiç girmiyor, dolayısıyla özet yoluyla da sızmıyor. Cevap üretiminde alıntı zorunlu tutuldu; bir iddia parça kimliğine bağlanamıyorsa asistan cevap uydurmak yerine soruyu kredi tahsis birimine yönlendiriyor.
Kullanılan teknolojiler
- Sürüm etiketli parçalama
- Hibrit geri getirme
- Sorgu öncesi yetki filtresi
- Alıntı zorunlu cevap üretimi
- Altın küme ile değerlendirme hattı
- Sorgu günlüğünde kişisel veri redaksiyonu
Bağlam, kurulum ve ölçüm
Problem ve yaklaşım özetin üstünde; burada kararların gerekçesi ve mimarinin ayrıntısı var.
Bağlam ve kısıtlar#
Kredi politikası bir kurumda tek bir belge değildir: ana politika dokümanı, onu değiştiren genelgeler, sektör bazlı limit ekleri, teminat değerleme esasları ve istisna yetki tabloları birlikte yaşar. Bu metinlerin ortak özelliği sık revize edilmesi ve revizyonun eski sürümü ortadan kaldırmamasıdır; eski sürüm, o dönemde verilmiş kararların gerekçesi olduğu için arşivde kalmak zorundadır.
Kısıt tarafında iki sınır baştan belliydi. Birincisi görünürlük: politika eklerinin bir bölümü yalnız kredi tahsis ve risk birimlerine açık, şube kullanıcısı bunları göremez. İkincisi sorumluluk: asistan politika yorumlamaz, metnin ne dediğini gösterir; istisna talebi ve yetki aşımı gerektiren durumlarda karar mercii değişmedi.
Veri ve erişim#
Kaynak kümesi intranet doküman kitaplığı, onay iş akışındaki genelge kayıtları ve limit tablolarıydı. Yürürlük tarihi çoğu belgenin içinde değil doküman yönetim sisteminin meta verisinde duruyordu; bu yüzden içerik ile meta veri birlikte çekilmeden parçalama anlamlı hâle gelmedi. Parçalar bir sonraki alanlarla birlikte indekslendi.
- Belge kimliği, revizyon numarası ve yürürlük başlangıç tarihi
- Durum etiketi: yürürlükte, revize edildi, mülga
- Onaylayan birim ve doküman sahibi
- Görünürlük sınıfı: şube, bölge, tahsis, risk
- Ürün ve sektör etiketleri ile başlık yolu
Mimari kararlar#
Kararların çoğu doğruluktan değil yanlış cevabın maliyetinden türedi. Yanlış sürümle verilen bir cevabın maliyeti, cevapsız kalmış bir sorunun maliyetinden yüksek olduğu için sistem kararsız kaldığı yerde konuşmamayı seçecek şekilde ayarlandı.
| Karar | Seçilen yol | Neden |
|---|---|---|
| Parçalama birimi | Başlık hiyerarşisi, tablolar ayrı tip | Sabit uzunlukta parçalama madde ile istisnasını birbirinden ayırıyor, limit matrisinde satır-sütun ilişkisini bozuyordu |
| Arama yöntemi | Sözcük ve anlam eşleşmesinin birleşimi | Ürün kodu ve kısaltma tam eşleşme ister, politika dili ise farklı sözcüklerle aynı şeyi anlatır |
| Yetki uygulaması | Geri getirme öncesi filtre | Sonradan filtreleme, görülmemesi gereken parçanın özet yoluyla sızmasına açık kapı bırakıyor |
| Mülga belgeler | İndekste kalır, varsayılan sorguda dışlanır | Geçmiş kararın gerekçesi sorulduğunda gerekli, güncel soruda ise yanıltıcı |
| Cevap sözleşmesi | Alıntısız cevap reddedilir | Kaynağa bağlanamayan cümle denetlenemiyor; denetlenemeyen cevap kredi sürecinde kullanılamaz |
| Kararsızlık davranışı | Yönlendirme, tahmin değil | Politika metninde karşılığı olmayan soru genelde istisna talebidir ve insan değerlendirmesi gerektirir |
Güvenlik ve yetki#
Yetki modeli mevcut dizin servisindeki rollere bağlandı, asistan içinde ikinci bir yetki tablosu kurulmadı; iki kaynak arasındaki kayma zamanla sızma sebebi olur. Sorgu günlükleri ayrı bir risk kalemi olarak ele alındı, çünkü serbest metin soru kutusuna müşteri adı ya da kimlik numarası yazılması olağan bir kullanıcı davranışı. Günlükler yazılmadan önce redaksiyondan geçiyor ve saklama süresi doküman kitaplığından bağımsız tanımlandı.
Ölçüm düzeni#
- Geri getirme isabeti ile cevap kalitesi ayrı ölçülüyor; doğru parça gelmediyse üretim katmanını düzeltmenin faydası yok
- Alıntı doğruluğu ayrı bir denetim: gösterilen parça cümleyi gerçekten destekliyor mu
- Mülga sürüm kullanımı tek başına izlenen bir hata sınıfı, genel yanlışlık oranına gömülmüyor
- Altın küme sahadan besleniyor: şubelerin gerçek soruları anonimleştirilip uzman cevabıyla eşleştiriliyor
- Rol başına sızma sorguları her yayımdan önce koşuluyor ve sonucu yayım kapısına bağlı
- Cevapsızlık bir başarısızlık değil ayrı bir çıktı olarak raporlanıyor; oranındaki ani düşüş uydurma belirtisi sayılıyor
Devreye alma ve işletme#
- 1Gölge koşu
Asistan cevap üretiyor ama kullanıcıya gösterilmiyor; kredi tahsis uzmanları çıktıyı ve gösterilen kaynağı puanlıyor, hatalar parçalama ve meta veri tarafına geri besleniyor.
- 2Sınırlı pilot
Seçilmiş şube grubunda cevap gösteriliyor, her cevapta kaynak bağlantısı ve geri bildirim düğmesi var; kullanıcı hatalı sürüm işaretlediğinde kayıt doküman sahibine gidiyor.
- 3İçerik yönetişimi
Genelge yayımlandığında indeksleme onay iş akışına bağlandı; yeni revizyon yürürlüğe girdiğinde eski parçanın durum etiketi aynı işlemle güncelleniyor.
- 4İşletme nöbeti
Haftalık gözden geçirmede cevapsızlık oranı, sızma sorgusu sonuçları ve hatalı sürüm bildirimleri birlikte okunuyor; doküman sahibi olmayan başlıklar kapsam dışına alınıyor.
Nerede yanıldık#
İlk sürümde bütün belgeler aynı parçalama kuralından geçirildi ve limit tabloları düz metne dönüştürüldü. Metin sorularında iyi çalışan sistem, tablo sorularında sütun başlığını komşu satırla eşleştirip tutarlı görünen yanlış cevaplar üretti; bu hatalar genel doğruluk ölçümünde kaybolduğu için geç fark edildi. İkinci yanılgı meta veriyle ilgiliydi: yürürlük tarihinin belge içinde yazdığını varsaydık, oysa güvenilir tarih doküman yönetim sisteminde duruyordu ve bazı belgelerde ikisi çelişiyordu. Çelişki bulunduğunda hangi kaynağın üstün olduğunu yazılı bir kurala bağlamak, parçalama algoritmasını iyileştirmekten daha fazla iş gördü.
Bir sonraki projede ne değişir?
Bir vakanın en değerli bölümü sonuç değil, tekrar edilebilir dersidir.
- 01
Sürüm ve yürürlük bilgisi parça meta verisine yazılmadığında model mülga genelgeyi güncel sanıyor; metnin içinde geçen tarih bu iş için yeterli bir sinyal değil.
- 02
Kısaltmalar, ürün kodları ve madde göndermeleri tam eşleşme ister; yalnız gömme tabanlı arama bunları sessizce kaçırıyor ve kaçırdığını da belli etmiyor.
- 03
Yetki filtresi geri getirmeden sonra uygulanırsa kullanıcı belgeyi açamadığı hâlde özetini okuyor; filtre aday kümesinin oluşturulduğu yere taşınmalı.
- 04
Bilmiyorum yolu açıkça ödüllendirilmediğinde model en yakın benzer politikayı komşu ürüne uyarlıyor; cevapsızlık bir hata değil, ölçülen bir çıktı olmalı.
- 05
Elektronik tablodaki limit matrisleri düz metne çevrilince satır ile sütun ilişkisi kayboluyor; tablolar ayrı parça tipi olarak, satır bazında serileştirilmek zorunda.
Vaka kütüphanesinden
- EğitimDers materyali üretiminde telif ve kaynak zinciriBir eğitim içeriği ekibinin slayt, çalışma kâğıdı ve ders notu arşivi yıllar içinde karışık kaynaklardan büyümüştü: internetten alınmış görseller, yabancı kitaplardan çevrilmiş paragraflar, farklı lisanslarla dolaşan açık ders materyalleri. Bir hak sahibi itiraz ettiğinde hangi paragrafın nereden geldiğini kimse söyleyemiyor; arama dosya adına ve ekip hafızasına kalıyordu. Model destekli üretim devreye girdikten sonra bu belirsizlik büyüdü, çünkü üretilen metnin dayandığı kaynak hiçbir yerde yazılı olmuyordu. Ekipte yaygın olan eğitim amaçlı kullanım serbesttir varsayımı da hiç denetlenmemiş bir varsayımdı.
- EğitimÖdeve biçimlendirici geri bildirim üretimiBir özel okul grubunda dil ve sosyal bilimler öğretmenleri her hafta çok sayıda yazılı ödev okuyordu; not zamanında giriliyordu ama öğrenciye dönen şey bir puan ile kısa bir genel yorumdu. Hangi öğrencinin hangi rubrik ölçütünde tekrar tekrar zorlandığı hiçbir yerde toplu olarak durmuyordu; öğretmen bunu kendi defterindeki izlenimden hatırlıyordu. Geri bildirim yazma işi mesai dışına taştığı için dönem başındaki ödevlerde ayrıntılı, dönem sonuna doğru tek cümleye inen bir kalite farkı oluşuyordu. Velinin gördüğü tabloda puan vardı, gerekçe yoktu.
- EğitimÖğrenci risk modelinde etik sınırlarBir yükseköğretim kurumunda akademik danışmanlar, dersi bırakma ya da kayıt yenilememe riski taşıyan öğrencilere ulaşmayı sezgiyle yapıyordu: yokluğu fark edilen öğrenciye yazılıyor, fark edilmeyen kimseye görünmüyordu. Devam bilgisi, ödev teslimleri ve öğrenme yönetim sistemi hareketleri ayrı sistemlerde durduğu için kimse bunları tek bir öğrenci için yan yana koymuyordu. Danışmanın haftada yapabileceği görüşme sayısı sınırlıydı ama bu sınırın kime harcandığı hiçbir kayıtta yoktu. Risk modeli gündeme geldiğinde ilk itiraz teknik değildi: skor öğrenciye yapışan bir etikete dönerse ne olacağı soruldu.
BUILD
Aynı yaklaşımı kurumunuzda kurmak ister misiniz?
Discovery oturumunda mevcut durumunuzu, veri erişiminizi ve başarı tanımınızı birlikte yazıyoruz.