MESLEK · Veri ve model

Data Engineer nasıl olunur?

Veriyi kaynağından kullanıma güvenilir, izlenebilir ve zamanında taşıyan hatları kuran mühendis.

Seviyeni ölç

Temel sorumluluk: 6
Kıdem basamağı: 3
Beceri: 6
Rota bölümü: —

01İŞ TANIMI

Ne yapar?

Aynı iş şu adlarla da anılır: Veri Mühendisi · Analytics Engineer

01
Kaynak sistemlerle şema sözleşmeleri kurar ve ihlalleri yakalar
02
Veri kalitesi denetimlerini hatta gömer; sessiz bozulmayı engeller
03
Köken (lineage) kaydını tutar: bir sayı hangi kaynaklardan türedi
04
Tazelik ve gecikme hedeflerini tanımlar ve izler
05
Kişisel veri alanlarını işaretler ve saklama süresini uygular
06
Geriye dönük düzeltmeleri (backfill) güvenli biçimde yürütür

02KIDEM

Basamaklar ve ne değiştiği

Unvanlar kurumdan kuruma değişir, sorumluluk sınıfları değişmez. Her basamak bir kanıtla eşleşir: o basamakta olduğunuzu gösterebileceğiniz somut bir iş.

1Junior Data EngineerGiriş
Odak
Tanımlı bir hattı çalışır tutar ve arızaları raporlar.
Bu basamağın kanıtı
Yazdığı bir kalite testi bozuk veriyi ambara girmeden durdurmuştur.
Sorumluluklar
- Dönüşüm işlerini yazar ve testlerini ekler
- Başarısız çalışmaları inceler, geçici ile yapısal arızayı ayırır
- Tazelik gecikmelerini bildirir
2Data EngineerOrta
Odak
Bir alan (domain) veri hattının tamamına sahiptir.
Bu basamağın kanıtı
Yukarı akıştaki bir şema değişikliği, veri bozulmadan önce yakalanmıştır.
Sorumluluklar
- Kaynak ekiplerle şema sözleşmesi müzakere eder
- Tazelik ve bütünlük hedeflerini tanımlar, ihlalde uyarı kurar
- Backfill'i idempotan ve geri alınabilir biçimde yürütür
- Kişisel veri alanlarını etiketleyip saklama politikasını uygular
3Senior Data EngineerKıdemli
Odak
Veri platformunun sözleşmelerini ve maliyet yapısını tasarlar.
Bu basamağın kanıtı
Bir raporun sayısı sorgulandığında kaynağına dakikalar içinde inilebiliyordur.
Sorumluluklar
- Alan sahipliği modelini ve sözleşme standardını kurar
- Depolama ve işlem maliyetini kullanım değerine bağlar
- Köken kaydını denetlenebilir hâle getirir

03BİR GÜN

İş günü neye benziyor?

Meslek seçimini unvan değil, günün nasıl geçtiği belirler.

Sabah
Gece koşan işlerin tazelik ve bütünlük raporunu okur.
Öğleden önce
Yukarı akışta değişen bir alanın etkisini köken kaydından geriye doğru izler.
Öğleden sonra
Yeni bir kalite testi yazar; hangi bozulmayı yakalayacağını belgelendirir.
Gün sonu
Saklama süresi dolan kişisel veri kayıtlarının silindiğini doğrular.

04YETKİNLİK

Beceriler ve araçlar

Araç listesi hızla değişir; işe alım görüşmelerinde belirleyici olan araçlar değil beceriler.

Gerekli beceriler

Veri modelleme
Toplu ve akış işleme
Şema evrimi yönetimi
Veri kalitesi testi
Köken ve üstveri yönetimi
Maliyet farkındalıklı depolama tasarımı

Bu role hangi geçmişlerden gelinir

Backend mühendisliğinden veri tarafına geçiş
Veritabanı yöneticiliğinden yükselme
Analitik veya raporlamadan mühendisliğe kayma

Teknolojiler

İş akışı zamanlayıcısı
Veri ambarı veya göl
Akış platformu
Dönüşüm çerçevesi
Veri kataloğu

Bilmesi gereken kavramlar

05SONUÇ

Ne üretir, nasıl ölçülür?

Bir rolün gerçek tanımı unvanında değil, ürettiği çıktıda ve başarısının nasıl ölçüldüğündedir.

Ürettiği çıktılar

Şema sözleşmeleri
Veri kalitesi test kümesi
Köken haritası
Tazelik ve gecikme hedefleri
Saklama ve silme takvimi

Başarı ölçütleri

Sessiz bozulma sayısı: Uyarı üretmeden aşağı akışa geçen bozuk veri olayları; sıfıra yaklaşması hattın işini yaptığını gösterir.
Tazelik ihlali oranı: Veri hedeflenen süre içinde hazır olmadığı çalışmaların oranı.
Kökene inme süresi: Bir sayının hangi kaynaklardan türediğini bulmak için geçen süre.

06PORTFOLYO

Neyi göstermek işe yarar?

Çalışan bir demo tek başına yetmez; demolar kolay, kalıcılık zordur. Aşağıdaki her madde belirli bir yetkinliği kanıtlar.

Veri kökeni izleyici
Bir metrik değerinden geriye doğru tüm kaynakları çıkarabilen bir köken kaydı.
Neyi kanıtlar: Bir sayının nereden geldiğini gösterebilmek.
Veri Kökeni İzleyici
Saklama takvimi
Kişisel veri alanlarını sınıflandırıp saklama süresini otomatik uygulayan bir düzen.
Neyi kanıtlar: Süresi dolan kaydın gerçekten silindiğini göstermek.
Veri Saklama Takvimi
Şema sözleşmesi ihlali yakalama
Yukarı akışta bilerek bir alanı değiştirip hattın bunu üretime taşımadan durdurduğunu göstermek.
Neyi kanıtlar: Sessiz bozulmanın önlenebildiğini kanıtlamak.

07DÜZELTME

Sık duyulan ama yanlış

Veri hattı çalışıyorsa veri doğrudur.
İşin başarıyla bitmesi verinin doğru olduğunu göstermez. Boş tablo, kaymış alan ve sessizce değişen birim de 'başarılı' biter. Doğruluk ayrıca test edilmelidir.
Göl mimarisi ambarı gereksiz kılar.
İkisi farklı sorunları çözer. Göl ham ve yapılandırılmamış veriyi ucuz saklar; ambar sorgulanabilir ve sözleşmeli bir katman sunar. Çoğu kurumda ikisi birlikte kullanılır.
Veri mühendisliği yapay zekâdan bağımsız bir alandır.
Geri getirme sistemleri, değerlendirme setleri ve model eğitimi doğrudan bu hatlara bağlıdır. Yapay zekâ projelerinin gecikmelerinde en sık görülen kök neden veri hazırlığıdır.

08KOMŞU MESLEKLER

Bununla karıştırılanlar

Kariyer kararı çoğunlukla 'bu meslek nedir' değil 'bununla şu arasındaki fark nedir' sorusudur.

Tümünü gör

Aynı rol ailesinden: Veri ve model

Sık sorulan sorular

Yapay zekâ projelerinde Data Engineer neden kritik?

Model kalitesinin tavanını veri kalitesi belirler ve bu tavan model değiştirilerek yükseltilemez. Geri getirme sistemi güncel olmayan belgeyle çalışıyorsa cevap yanlış olur; değerlendirme seti temsil gücü olmayan veriden kuruluyorsa ölçüm yanıltır. Uygulamada yapay zekâ projelerinin takıldığı yer çoğunlukla model değil, veriye erişim, veri kalitesi ve izin durumudur.

Şema sözleşmesi nedir?

Veriyi üreten ekiple tüketen ekip arasında, alanların adı, tipi, zorunluluğu ve anlamı üzerine yapılan açık bir anlaşmadır. Sözleşme kodda doğrulanabilir biçimde tutulur; kaynak tarafta uyumsuz bir değişiklik yapıldığında hat veriyi aşağı akışa geçirmeden durur. Sözleşme olmadan yukarı akıştaki masum görünen bir yeniden adlandırma, haftalar sonra fark edilen bir rapor hatasına dönüşür.

LEARN

Nereden başlayacağını bilmiyorsan önce ölç

Seviye testi, mevcut becerilerine göre hangi bölümden başlaman gerektiğini söyler.

Seviye testini çöz Tüm rotalar