Model çağrı maliyetinin birim işe bölünmesi

Bağlam ve kısıtlar#

Buradaki kurulum, hem şebeke tarafında hem de rekabete açık tedarik tarafında faaliyeti olan bir enerji şirketinin ortak model kullanımı. Üç ekip aynı anahtarı paylaşıyor, fatura tek satır geliyor, bütçe sahibi ise faaliyet bazında hesap sorabilmek durumunda. Kısıt yalnızca mühendislik değil muhasebe kısıtı: paylaşılan bir altyapının maliyeti lisanslı ve rekabete açık faaliyetler arasında savunulabilir bir ölçütle dağıtılabilmeli, aksi hâlde elle konan oran her denetimde yeniden tartışılıyor. Faturanın döviz cinsinden gelmesi de bütçe karşılaştırmasını bulanıklaştırıyordu.

Harcama verisi ve erişim#

İşin başında harcamaya dair iki kaynak vardı ve ikisi de tek başına yetersizdi: sağlayıcı faturası ile uygulama kayıtları. Fatura toplamı doğru söylüyor ama kırılım vermiyordu; uygulama kayıtları ise istek başına bilgi taşıyordu, ancak maliyetle eşleşmiyordu. Dahası bu iki kaynak iki ayrı ekibin elindeydi — fatura finansta, kayıtlar platform ekibinde — ve kimse ikisini aynı raporda görmüyordu. Kayıt tasarımında bilinçli bir sınır çizildi: maliyet kaydı istem ve cevap metnini taşımaz, yalnızca üst veri tutar.

• Sağlayıcı faturası: aylık, döviz cinsinden ve iş akışı kırılımı olmadan; tek başına maliyet muhasebesi kurmaya yetmiyor.
• Geçit kayıtları: istek başına model, giren ve çıkan token sayısı, gecikme, yeniden deneme sayısı ve sonuç durumu.
• Etiket kümesi: iş akışı, ekip, maliyet merkezi, faaliyet (lisanslı / rekabete açık) ve ortam (geliştirme / üretim).
• İş kuyruğu kimliği: harcamayı birim işe bağlayan tek alan; bu alan olmadan token sayısı iş sayısına bölünemiyor.
• İçerik ayrımı: maliyet telemetrisi metin taşımaz, böylece kişisel veri barındırmayan ve uzun saklanabilen bir yüzey elde ediliyor.
• Erişim: fatura ile kayıtları birlikte gösteren görünüm, finans ve platform rollerinin ikisine de açık; iyileştirme tartışması ancak bu ortak görünümle mümkün oldu.

Mimari kararlar#

Kararlar iki gruba ayrıldı: ölçmeyi mümkün kılanlar ve harcamayı düşürenler. Sıra bilinçliydi — ölçüm kurulmadan yapılan iyileştirmenin etkisi kanıtlanamıyor, kanıtlanamayan iyileştirme de bir sonraki bütçe görüşmesinde savunulamıyor.

Güvenlik ve yetki sınırı#

Maliyet çalışmasının güvenlik tarafı iki noktada toplanıyor: neyin kaydedildiği ve neyin yeniden kullanıldığı. Harcama telemetrisi uzun saklanacak bir yüzey olduğu için istem ve cevap metnini hiç taşımayacak biçimde tasarlandı; kayıt yalnızca üst veri tuttuğu sürece saklama süresi tartışması bu hattın dışında kalıyor. Yeniden kullanım tarafında ise önbellek ayrıca ele alındı, çünkü maliyeti düşüren bileşenler arasında yetki sınırını taşıyabilen tek kalem o.

Ölçüm düzeni#

Göstergeler tek bir kurala göre seçildi: bir kalem para cinsinden ifade edilemiyorsa iyileştirme kararına girmiyor. Token sayısı, önbellek isabeti ve çağrı adedi yalnızca ara büyüklük olarak tutuluyor; karar masasına çıkan her satırın faturada karşılığı olan bir kalemle eşleşmesi gerekiyor. Bu yüzden ölçüm düzeni mühendislik göstergeleriyle muhasebe kalemlerini aynı tabloda taşıyor.

• Birim iş maliyeti: özetlenen rapor, sınıflanan iş emri ve tamamlanan tahmin koşusu başına harcama.
• Etiketsiz harcama payı: sıfıra yakın tutulması gereken, hattın sağlığını gösteren bir kalem.
• Kademe dağılımı: işlerin ne kadarının küçük modelde kapandığı, yükseltme oranı ve yükseltme gerekçesi.
• Boşa giden harcama: başarısız, zaman aşımına düşen ve yeniden denenen çağrıların payı.
• Önbellek tasarrufu para cinsinden: isabet sayısı değil, isabetin önlediği token maliyeti.
• Faaliyet kırılımı: lisanslı ve rekabete açık faaliyet arasındaki dağıtımın etiketten türetilmesi ve fatura ile mutabakatı.

Devreye alma ve işletme#

1. 1Ölçmeden önce ölçüm

   Hiçbir iyileştirme yapılmadan geçit devreye alındı ve bir dönem boyunca yalnızca kayıt toplandı.

2. 2Etiket zorunluluğu

   Önce uyarı, sonra ret: ekiplere geçiş süresi tanındıktan sonra etiketsiz istek kapatıldı.

3. 3Tek tek açma

   Önbellek, kademelendirme ve toplu kuyruk farklı haftalarda açıldı; aynı hafta açıldığında hangi kalemin ne getirdiği ayrıştırılamıyor.

4. 4Kota ve nöbet

   İş akışı başına günlük sınır, ani artış uyarısı ve durdurma anahtarı tanımlandı; nöbet platform ekibinde.

5. 5Aylık mutabakat

   Geçit kayıtlarının toplamı fatura ile karşılaştırılıyor; fark açıklanabilir olmadıkça ay kapatılmıyor.

Nerede yanıldık#

İlk hamle model değiştirmek oldu ve token birim fiyatı düştüğü için kazanılmış sayıldı; oysa daha uzun cevaplar ve artan yeniden denemeler farkı büyük ölçüde geri aldı, çünkü ölçüt hâlâ token başına fiyattı. Gerçek sürükleyici kalem sonradan görüldü: geri getirilen parça yerine tüm dokümanın bağlama konması ve üst sınırı olmayan bir otomasyonun kendi kendine döngüye girmesi. Önbellek tarafında da yanlış göstergeye bakıldı; isabet oranı yüksek görünüyordu ama isabetler en ucuz sorgularda toplandığı için faturada karşılığı yoktu. Son olarak fatura ile kayıt toplamının tam eşleşmemesi bir süre normal karşılandı; sapmanın üst sınırı yazılı hâle gelmedikçe bu tolerans her açıklanamayan kalemi içine alıyor.