Veri işleme
Firecrawl
Web sitelerini gezip JavaScript ile üretilen içeriği de dahil ederek LLM'e verilebilir markdown veya şemaya uyan JSON'a çeviren tarama ve kazıma API'si.
Özet kart
- Kim kullanmalı?
- Web içeriğini RAG hattına veya ajan bağlamına beslemesi gereken ekipler; klasik kazıyıcıların boş döndüğü modern sitelerle uğraşanlar. Kazımanın hukuki ve etik sorumluluğunu üstlenmek istemeyen ekipler için uygun değil.
- En iyi kullanım
- JavaScript ile içerik üreten (SPA) bir dokümantasyon sitesinin tamamını gezip her sayfayı temiz markdown olarak almak: HTTP tabanlı kazıyıcıların boş döndüğü sayfalarda içerik çıkarılır ve ayrı bir temizleme adımı gerekmez.
- Fiyat modeli
- Depo AGPL-3.0 lisanslı; kendi barındırmanızda yazılım bedelsiz. Yönetilen hizmet (yıllık faturada aylık tutar; aylık ödemede birim fiyat yükseliyor — Hobby aylıkta 19 USD): Free 0 USD (1.000 kredi), Hobby 16 USD (5.000 kredi), Standard 83 USD (100.000 kredi), Growth 333 USD (500.000 kredi), Scale 599 USD (1.000.000 kredi), Enterprise özel fiyat. Tüm ücretli planlarda 5 USD'lik artışlarla ek kredi yüklenebiliyor ve aylık harcama sınırı konabiliyor. Kaynak: https://www.firecrawl.dev/pricing
Artıları
- JavaScript ile üretilen sayfaları işliyor; klasik HTTP kazıyıcıların boş döndüğü modern sitelerde içerik çıkarıyor.
- Çıktı doğrudan markdown veya şemaya uyan JSON; LLM'e vermek için ayrı bir temizleme adımı gerekmiyor.
- Tek URL kazıma, site gezme, site haritası çıkarma ve arama ayrı uç noktalar hâlinde sunuluyor.
- AGPL-3.0 depo sayesinde kendi altyapınızda çalıştırma yolu açık; yönetilen hizmete mecbur değilsiniz.
- Aylık harcama sınırı konabiliyor; kredi tabanlı modelde faturanın kontrolden çıkması engellenebiliyor.
Eksileri
- AGPL-3.0 bulaşıcı bir lisans: kendi barındırmada kapalı bir ürünün içine gömmek hukuki inceleme gerektiriyor.
- Kredi muhasebesi sayfa sayısına doğrudan eşit değil; tarayıcı gerektiren ağır sayfalar daha fazla kredi yakıyor.
- Kazıma hukuki ve etik olarak gri alan: robots.txt, kullanım şartları ve telif sorumluluğu kullanıcıda kalıyor.
- Kendi barındırma, tarayıcı havuzu ve proxy yönetimi demek; yönetilen hizmetin işini üstlenmek ucuz değil.
- Fiyatlar yıllık faturaya göre ilan edilmiş; aylık ödemede birim maliyet daha yüksek oluyor.
Sinaptik değerlendirmesi
Firecrawl, web içeriğini LLM'e hazır hâle getirme işini tek API'ye indiren en pratik araç; JavaScript ile üretilen sayfalarda klasik kazıyıcılarla kıyaslanamayacak sonuç veriyor. Dokümantasyon, mevzuat veya rakip içeriği toplayan RAG hatları için doğru seçim. İki kalemi atlamamak gerekir: AGPL-3.0 kendi barındırmada hukuki inceleme konusudur, kazımanın telif ve kullanım şartları sorumluluğu ise tamamen kullanıcıdadır. Yerel dosya arşivlerini işlemek istiyorsanız bu araç değil, Unstructured gerekir.
Alternatifler
- Unstructured
- LlamaIndex
- LangChain
- Chroma
Bu inceleme bir ürün önerisi değil kategori değerlendirmesidir. Sponsorlu içerikler açıkça işaretlenir; bu sayfa sponsorlu değildir.
Araç seçkisinden
- Veri işlemeBelge İşleme (kategori incelemesi)Tarama, form ve tabloları yapılandırılmış veriye dönüştürür.
- Veri işlemeUnstructuredPDF, Office belgesi, e-posta ve HTML gibi kaynakları başlık, tablo ve paragraf gibi yapılandırılmış öğelere ayırıp RAG hattına hazır hâle getiren belge işleme katmanı.
- Görsel üretimiAdobe FireflyAdobe'un görsel, vektör, video ve ses üretimini tek arayüzde toplayan üretken yapay zekâ uygulaması; Creative Cloud araçlarının içine de gömülü çalışıyor.
- Ajan çerçevesiAjan Çerçevesi (kategori incelemesi)Planlama, araç çağırma ve bellek yönetimi için hazır yapı taşları sunar.
- GözlemlenebilirlikArize PhoenixOpenTelemetry tabanlı izleri toplayıp LLM ve RAG hattını not defterinde ya da kendi sunucunuzda inceleten, yerel öncelikli değerlendirme ve gözlemlenebilirlik aracı.