TEMSİLÎ VAKA · ÜRETİM
Kalite raporlarında ölçüm yöntemi taşıyan özetleme
Kalite biriminin ürettiği rapor yığını okunamayacak hacme ulaşmıştı: gelen malzeme kontrol raporları, proses yeterlilik çıktıları, ölçüm sistemi analizleri, laboratuvar test sonuçları, müşteri şikâyet incelemeleri ve iç denetim bulguları. Yönetim özet istiyordu ve ilk denenen özetleyici rakamı bağlamından koparıyordu: "sertlik uygun" diyor ama hangi standarda göre, hangi numune sayısıyla ve hangi ölçüm cihazıyla olduğunu düşürüyordu. Daha kötüsü, "sınırda" ile "uygunsuz" arasındaki ayrımın kaybolduğu özetler vardı ve bunlar kalite kaydına referans verilerek kullanılmaya başlanmıştı. Özetin kendi doğruluğunu ölçen hiçbir düzenek yoktu.
Beklenen etki
- Kapsam
- Malzeme kontrol, proses yeterlilik, laboratuvar test ve şikâyet inceleme raporları tek özet sözleşmesinde toplandı
- Ölçüm
- Temellilik, tamlık, yöntem taşıması ve çelişki birbirinden ayrı izleniyor; tek bir kalite puanı üretilmiyor
- İşleyiş
- Yöntem veya örneklem alanı boş kalan iddialar özetten düşüyor ve eksik listesinde görünüyor
- Sınır
- Özet kalite kaydının yerine geçmiyor; imzalı rapor tek kaynak, denetime giren özetler taslak olarak kalıyor
Temsilî senaryo: buradaki satırlar ölçüm sonucu değil, bu kurulumda hangi büyüklüğün izlenmesi gerektiğini gösterir.
Bu kayıt gerçek bir müşteri işi değildir. Sinaptik Lab'in bu problemde izlediği yaklaşımı, mimari kararları ve ölçüm düzenini göstermek için yazılmış temsilî bir senaryodur: kurum adı taşımaz, içindeki hiçbir değer gerçek ölçüm değildir ve referans olarak gösterilemez. Gerçek projelerden vakalar müşteri onayı alındıkça bu kütüphaneye eklenir.
Problem
Kalite biriminin ürettiği rapor yığını okunamayacak hacme ulaşmıştı: gelen malzeme kontrol raporları, proses yeterlilik çıktıları, ölçüm sistemi analizleri, laboratuvar test sonuçları, müşteri şikâyet incelemeleri ve iç denetim bulguları. Yönetim özet istiyordu ve ilk denenen özetleyici rakamı bağlamından koparıyordu: "sertlik uygun" diyor ama hangi standarda göre, hangi numune sayısıyla ve hangi ölçüm cihazıyla olduğunu düşürüyordu. Daha kötüsü, "sınırda" ile "uygunsuz" arasındaki ayrımın kaybolduğu özetler vardı ve bunlar kalite kaydına referans verilerek kullanılmaya başlanmıştı. Özetin kendi doğruluğunu ölçen hiçbir düzenek yoktu.
Yaklaşım
Özeti serbest metin olarak bırakmayı bıraktık: her iddia için değer, birim, yöntem ya da standart, numune veya örneklem bilgisi ve tarih penceresi alanları zorunlu; bu alanlardan biri kaynakta yoksa iddia özete girmiyor, eksik olarak işaretleniyor. Sayıları model yeniden yazmıyor; kaynaktaki hücreye veya alıntıya referansla taşınıyor ve ayrıştırma kod tarafında yapılıyor, çünkü dil modeli basamağı ve ondalık ayırıcıyı sessizce değiştirebiliyor. Değerlendirmeyi tek bir kalite puanı olarak kurmadık; temellilik, tamlık, yöntem taşıması ve iç çelişki ayrı ayrı ölçülüyor, çünkü toplu puan hangi kipte bozulduğunu söylemiyor. Model yargıcı yalnızca tarama işi yapıyor; sürüm kapısı kalite mühendisinin etiketlediği altın kümede, zira yargıç ile üretici aynı aileden olduğunda kendi hatasını onaylıyor. Denetim bulgusu ve müşteri şikâyeti özetleri otomatik yayımlanmıyor, taslak olarak kalıyor.
Kullanılan teknolojiler
- Zorunlu alanlı özet sözleşmesi
- Referansla sayı taşıma ve kodda ayrıştırma
- Ayrışık değerlendirme kontrolleri
- İnsan etiketli altın küme ve sürüm kapısı
- Eksik yöntem nedeniyle iddia düşürme
- Yayım öncesi kalite onayı
Bağlam, kurulum ve ölçüm
Problem ve yaklaşım özetin üstünde; burada kararların gerekçesi ve mimarinin ayrıntısı var.
Bağlam ve kısıtlar#
Kalite raporları birbirine benzemez. Proses yeterlilik çıktısı alt grup yapısına ve zaman penceresine bağlıdır; laboratuvar test raporu bir standarda ve numune hazırlığına bağlıdır; ölçüm sistemi analizi cihaz ve operatör değişkenliğini ayırır. Bu belgelerdeki sayıyı taşımak, yanındaki yöntemi taşımadan bir anlam ifade etmiyor.
Kısıt, özetin nereye gittiğiydi. Bir yönetim sunumunda kullanılan özet ile müşteri denetiminde gösterilen bir kayıt aynı şey değildir; ikincisi izlenebilirlik yükümlülüğü taşır. Bu yüzden sistemin tasarımı, özetin yayım yolunu belge sınıfına bağlamak zorundaydı.
Veri ve erişim#
Raporların bir bölümü kalite yönetim sisteminde yapılandırılmış kayıt olarak, bir bölümü ise dosya olarak duruyordu; en değerli sayılar genellikle dosya içindeki tablolarda saklıydı. Erişim rollere bağlandı: şikâyet ve denetim kayıtları kalite yönetimi dışına açılmadı, üretim tarafı yalnızca kendi hattının proses raporlarını görebiliyor.
- Gelen malzeme kontrol raporları: tedarikçi ve parti bilgisiyle, yapılandırılmış kayıt olarak
- Proses yeterlilik ve kontrol grafiği çıktıları: karakteristik, alt grup yapısı ve zaman penceresi ayrılmadan taşınmıyor
- Laboratuvar test raporları: standart referansı ve numune bilgisi zorunlu alan; bunlar yoksa iddia düşüyor
- Ölçüm sistemi analizleri: cihaz ve operatör değişkenliği bilgisi, sayının güvenilirliğini yorumlamak için
- Şikâyet ve iç denetim kayıtları: erişimi kısıtlı, otomatik yayım yolu kapalı
- Altın küme: kalite mühendisinin etiketlediği rapor ve referans özet çiftleri, sürüm kapısının tek dayanağı
Mimari kararlar#
Bu vakanın mimarisi bir metin üretme mimarisi değil, bir kısıt mimarisidir: modelin neyi yazamayacağını tanımlamak, ne yazacağını tanımlamaktan daha çok iş gördü.
| Karar | Seçilen yol | Neden |
|---|---|---|
| Özet sözleşmesi | Her iddia için değer, birim, yöntem, örneklem ve tarih penceresi zorunlu | Yöntemi düşmüş bir sayı kalite kaydında yanlış bilgidir |
| Sayı taşıma | Model sayıyı yeniden yazmıyor; kaynak hücreye referansla taşınıyor | Basamak ve ondalık ayırıcı sessizce değişebiliyor, hata sonradan görülüyor |
| Nitel sınıflandırma | Uygun, sınırda ve uygunsuz ayrımı kaynaktan taşınıyor, modelden yorum istenmiyor | Modelin yorumu bu üç sınıfı ikiye indiriyor |
| Değerlendirme | Temellilik, tamlık, yöntem taşıması ve çelişki ayrı kontroller | Toplu puan hangi kipte bozulduğunu söylemiyor |
| Yargıç kullanımı | Model yargıcı tarama için, sürüm kapısı insan etiketli altın kümede | Yargıç ile üretici aynı aileden olduğunda kendi hatasını onaylıyor |
| Yayım yolu | Denetim bulgusu ve şikâyet özetleri taslak olarak kalıyor | Bu kayıtlar dış denetime giriyor; otomatik yayım izlenebilirliği zedeliyor |
Güvenlik ve yetki#
Ölçüm düzeni#
- Temellilik: her cümlenin kaynak satırına bağlanabilirliği, haftalık örneklemde kalite mühendisi denetimiyle
- Tamlık: raporun kritik bulgusunun özete girip girmediği, referans özetlerle karşılaştırmalı
- Yöntem taşıması: birim, standart ve örneklem alanlarının doluluğu otomatik kontrol ediliyor
- Düşürülen iddia sayısı: yöntem alanı boş olduğu için özete alınmayan kalemler ayrı izleniyor, hata sayılmıyor
- İç çelişki: aynı özet içinde birbirini dışlayan iddialar otomatik taranıyor
- Altın küme regresyonu: her sürüm yayımdan önce insan etiketli kümede koşuyor ve geçmeyen sürüm yayımlanmıyor
Devreye alma ve işletme#
- 1Belge sınıfı ayrımı
Raporlar yayım yoluna göre üç sınıfa ayrıldı: iç okuma, yönetim özeti ve dış denetime girebilir; üçüncüsünde otomatik yayım hiç açılmadı.
- 2Altın küme kurulumu
Kalite mühendisleri gerçek raporlar üzerinde referans özet yazdı; küme bilinçli olarak taranmış ve bozuk tablolu belgeleri de içerdi.
- 3Taslak üretimi
Özetler yalnızca taslak olarak üretildi; kalite mühendisi düzeltti ve düzeltmeler kontrol kiplerine göre etiketlendi.
- 4Sürüm kapısı
Model veya istem değişikliği, altın kümede ayrışık kontrollerden geçmeden yayıma alınmıyor.
Nerede yanıldık#
En pahalı hata bir biçim ayrıntısından çıktı. Raporların bir bölümü Türkçe, bir bölümü İngilizce geliyordu ve ondalık ayırıcı ikisinde farklıydı; normalleştirme sırasında bir ölçü olduğundan büyük okundu. Bunu yakalayan şey otomatik kontrollerimiz değil, sayıyı tanıyan bir kalite mühendisi oldu. Modelin sayıyı hiç yeniden yazmaması kararı bu olaydan sonra geldi. Değerlendirme kümemizde de yanıldık: kümeyi düzgün, makinede üretilmiş raporlardan kurmuştuk, oysa sahadan gelen belgelerin önemli bölümü taranmış ve tablo yapısı bozuktu. Küme gerçek belgelerle yenilendiğinde ölçümlerimiz düştü, ama ilk kez anlam taşımaya başladı.
Bir sonraki projede ne değişir?
Bir vakanın en değerli bölümü sonuç değil, tekrar edilebilir dersidir.
- 01
Ondalık ayırıcı bir biçim ayrıntısı değil, bir güvenlik sorunu. Türkçe raporlarda virgül, İngilizce laboratuvar çıktılarında nokta kullanılıyordu ve normalleştirme sırasında bir ölçü olduğundan büyük okundu. Sayıyı hiç yeniden yazmama kararı buradan çıktı.
- 02
Rakam doğruysa özet doğru değildir. Ölçüm yöntemi, numune sayısı ve standart referansı düştüğünde geriye kalan sayı kalite kaydında yanlış bilgidir; yöntem alanını zorunlu tutmak özetin kapsamını daralttı ama kullanılabilir hâle getirdi.
- 03
"Sınırda" ile "uygun" arasındaki fark özetlerde ilk kaybolan şey. Bu ayrımı korumak için modelin nitel yorumunu değil, kaynaktaki sınıflandırmayı taşımak gerekti.
- 04
Toplu bir kalite puanı hangi kipte bozulduğunu söylemiyor. Temellilik ve tamlığı ayrı ölçmeye başladığımızda, sorunun uydurma cümlelerde değil atlanan kritik bulgularda olduğunu gördük.
- 05
Değerlendirme kümesi temiz raporlardan kurulmuşsa saha sonuçları hakkında bir şey söylemiyor. Gelen raporların önemli bölümü taranmış ve tablo yapısı bozuk geliyordu; kümeye bu belgeler eklendiğinde ölçüm anlamlı hâle geldi.
Vaka kütüphanesinden
- EğitimDers materyali üretiminde telif ve kaynak zinciriBir eğitim içeriği ekibinin slayt, çalışma kâğıdı ve ders notu arşivi yıllar içinde karışık kaynaklardan büyümüştü: internetten alınmış görseller, yabancı kitaplardan çevrilmiş paragraflar, farklı lisanslarla dolaşan açık ders materyalleri. Bir hak sahibi itiraz ettiğinde hangi paragrafın nereden geldiğini kimse söyleyemiyor; arama dosya adına ve ekip hafızasına kalıyordu. Model destekli üretim devreye girdikten sonra bu belirsizlik büyüdü, çünkü üretilen metnin dayandığı kaynak hiçbir yerde yazılı olmuyordu. Ekipte yaygın olan eğitim amaçlı kullanım serbesttir varsayımı da hiç denetlenmemiş bir varsayımdı.
- EğitimÖdeve biçimlendirici geri bildirim üretimiBir özel okul grubunda dil ve sosyal bilimler öğretmenleri her hafta çok sayıda yazılı ödev okuyordu; not zamanında giriliyordu ama öğrenciye dönen şey bir puan ile kısa bir genel yorumdu. Hangi öğrencinin hangi rubrik ölçütünde tekrar tekrar zorlandığı hiçbir yerde toplu olarak durmuyordu; öğretmen bunu kendi defterindeki izlenimden hatırlıyordu. Geri bildirim yazma işi mesai dışına taştığı için dönem başındaki ödevlerde ayrıntılı, dönem sonuna doğru tek cümleye inen bir kalite farkı oluşuyordu. Velinin gördüğü tabloda puan vardı, gerekçe yoktu.
- EğitimÖğrenci risk modelinde etik sınırlarBir yükseköğretim kurumunda akademik danışmanlar, dersi bırakma ya da kayıt yenilememe riski taşıyan öğrencilere ulaşmayı sezgiyle yapıyordu: yokluğu fark edilen öğrenciye yazılıyor, fark edilmeyen kimseye görünmüyordu. Devam bilgisi, ödev teslimleri ve öğrenme yönetim sistemi hareketleri ayrı sistemlerde durduğu için kimse bunları tek bir öğrenci için yan yana koymuyordu. Danışmanın haftada yapabileceği görüşme sayısı sınırlıydı ama bu sınırın kime harcandığı hiçbir kayıtta yoktu. Risk modeli gündeme geldiğinde ilk itiraz teknik değildi: skor öğrenciye yapışan bir etikete dönerse ne olacağı soruldu.
BUILD
Aynı yaklaşımı kurumunuzda kurmak ister misiniz?
Discovery oturumunda mevcut durumunuzu, veri erişiminizi ve başarı tanımınızı birlikte yazıyoruz.