LLM Turkey

Yeni profesyonel program · 2027

Agentic AI Engineering & EvalOps

Claude Code ile Agentic AI Sistemleri Geliştirme, Güvenlik ve Değerlendirme Uzmanlığı

Claude Code ile gerçek agentic AI sistemleri geliştir. MCP, RAG ve agent orkestrasyonunu öğren. Geliştirdiğin sistemlerin doğruluğunu, güvenliğini ve performansını LLM & Agent Evaluation yöntemleriyle ölç.

14 hafta
Süre
70 saat
Canlı eğitim
Haftada 2 gün
2 sa teori · 3 sa uygulama
10–15 kişi
Sınıf
Online
Canlı ve uygulamalı

Program hakkında

Agentic sistemleri tasarlayan, geliştiren ve ölçen mühendisler için.

Program, kurumsal problemlere yönelik yapay zekâ sistemlerini uçtan uca ele alır: mimariyi tasarlamak, Claude Code ile geliştirmek, araç ve veri entegrasyonlarını kurmak, güvenlik kontrollerini uygulamak ve sistemin kalitesini LLM ve Agent Evaluation yöntemleriyle ölçmek.

Bu bir Claude Code kullanım kursu değildir. Claude Code programın ana geliştirme aracıdır; öğretilen mühendislik prensipleri ise belirli bir modele veya sağlayıcıya bağlı değildir.

Seviye
Orta – İleri
Format
Online · canlı · uygulamalı
Teori
Haftada 1 gün · 2 saat · toplam 28 saat
Uygulama
Haftada 1 gün · 3 saat · toplam 42 saat
Ana araç
Claude Code
Kontenjan
10–15 kişi

Kimler için?

Yazılım geliştirme deneyimi olan teknik profesyoneller için.

  • —Yazılım geliştiriciler
  • —AI engineer'lar
  • —Software engineer'lar
  • —Tech lead'ler
  • —Yazılım mimarları
  • —DevOps mühendisleri
  • —Agentic AI sistemleri geliştirmek isteyen deneyimli teknik profesyoneller

Ön koşullar

  • 01Temel yazılım geliştirme deneyimi
  • 02Git bilgisi
  • 03Terminal kullanımı
  • 04API ve temel backend kavramlarına aşinalık

Program başlangıç seviyesinde değildir. Kod yazma deneyimi olmayan katılımcılar için uygun değildir.

Dört mühendislik yetkinliği

Tasarla, geliştir, ölç, işlet. Sonra tekrar.

Program dört yetkinliği ayrı dersler olarak değil, sürekli dönen bir mühendislik yaşam döngüsü olarak işler. Her hafta bu döngünün en az bir halkasını somut bir çıktıyla kapatır.

  1. 01 · DESIGN

    Sistem tasarımı

    • Agentic AI mimarileri
    • Agentic loop
    • Tool calling
    • Workflow tasarımı
    • Context engineering
    • RAG mimarisi
    • Mimari kararlar ve risk analizi
  2. 02 · BUILD

    Yazılım ve agent geliştirme

    • Claude Code
    • Agent harness
    • Skills ve hooks
    • Git tabanlı geliştirme
    • MCP server geliştirme
    • API entegrasyonları
    • Stateful workflow'lar
    • Multi-agent orkestrasyonu
    • Test otomasyonu
  3. 03 · EVALUATE

    LLM & Agent Evaluation

    • Ground truth
    • Evaluation dataset'leri
    • Rubric tasarımı
    • LLM-as-a-Judge
    • İnsan değerlendirmesi
    • Task success
    • Tool-call doğruluğu
    • Trajectory değerlendirmesi
    • Prompt injection ve güvenlik testleri
    • Hata analizi
  4. 04 · OPERATE

    İşletme ve sürekli iyileştirme

    • Tracing
    • Observability
    • CI/CD
    • Quality gate'ler
    • Regresyon testleri
    • Token ve API maliyetleri
    • Latency ölçümü
    • Sürekli değerlendirme
Evaluation her aşamada

Program kazanımları

Program sonunda katılımcılar:

  • 01Agentic AI mimarileri tasarlayabilir.
  • 02Claude Code ile profesyonel yazılım geliştirme süreçlerini yönetebilir.
  • 03MCP ve API entegrasyonları geliştirebilir.
  • 04RAG tabanlı kurumsal bilgi sistemleri oluşturabilir.
  • 05Stateful ve multi-agent workflow'lar tasarlayabilir.
  • 06Agent güvenliği ve erişim kontrollerini uygulayabilir.
  • 07LLM ve Agent Evaluation veri setleri oluşturabilir.
  • 08Ground truth, rubric ve LLM-as-a-Judge yöntemlerini kullanabilir.
  • 09Agent davranışlarını görev başarısı ve araç kullanım doğruluğu açısından değerlendirebilir.
  • 10Evaluation sonuçlarını CI/CD ve kalite süreçlerine entegre edebilir.
  • 11AI sistemlerinin performansını, maliyetini ve güvenilirliğini ölçebilir.

14 haftalık müfredat

Her hafta: teori, uygulama, somut çıktı.

Haftanın ilk günü 2 saatlik teori, ikinci günü 3 saatlik uygulama oturumudur. Her hafta, final projesine eklenen bir parçayla kapanır.

  1. Hafta 01Agentic AI Engineering Foundations

    Teori

    Agentic sistemler, LLM ile agent arasındaki fark, harness kavramı, agentic loop ve sistem mimarisi.

    Uygulama

    Claude Code kurulumu, repository analizi ve final projesinin mimari iskeletinin oluşturulması.

    Kazanım

    Bir agentic sistemin bileşenlerini ayırt eder; projenin mimari iskeletini ve ilk değerlendirme ölçütlerini tanımlar.

  2. Hafta 02Tool Calling & Agent Execution

    Teori

    Tool calling, agent state, araç yürütme ve görev yönetimi.

    Uygulama

    İlk çalışan agent ve araç entegrasyonları.

    Kazanım

    Araç çağırabilen, durumunu yöneten çalışan bir agent geliştirir ve araç çağrılarını kayıt altına alır.

  3. Hafta 03MCP & System Integration

    Teori

    MCP mimarisi: client–server, tools, resources; entegrasyon güvenliği ve erişim kontrolleri.

    Uygulama

    Özel bir MCP server ve kurumsal API entegrasyonu.

    Kazanım

    Yetki sınırları tanımlı bir MCP server yazar ve agent'a bağlar.

  4. Hafta 04Context Engineering & RAG

    Teori

    Retrieval, context yönetimi, embedding'ler, grounding ve kaynak doğrulama.

    Uygulama

    Kurumsal dokümanlar üzerinden kaynak temelli bilgi erişimi.

    Kazanım

    Kaynak gösteren bir RAG katmanı kurar; cevapların kaynağa sadakatini ölçmeye başlar.

  5. Hafta 05Stateful Workflows

    Teori

    Workflow orkestrasyonu, state, memory, retry, fallback ve hata yönetimi.

    Uygulama

    Çok adımlı kurumsal görevlerin yürütülmesi.

    Kazanım

    Hata durumunda toparlanabilen, adımları izlenebilir çok adımlı bir workflow kurar.

  6. Hafta 06Multi-Agent Engineering

    Teori

    Agent delegasyonu, orkestrasyon, handoff ve çok ajanlı mimari kararları.

    Uygulama

    Tek agent ve multi-agent yaklaşımlarının aynı görev üzerinde karşılaştırılması.

    Kazanım

    Tek ve çok ajanlı mimariyi maliyet, karmaşıklık ve başarı açısından gerekçeli olarak karşılaştırır.

  7. Hafta 07Reliability Engineering

    Teori

    Structured output'lar, hata yönetimi, güvenilirlik ve test stratejileri.

    Uygulama

    Unit ve integration testleri, hata senaryoları ve fallback davranışları.

    Kazanım

    Sistemin kritik yollarını testlerle güvenceye alır ve hata senaryolarını belgeler.

  8. Hafta 08Agent Security

    Teori

    Prompt injection, araç izinleri, yetkisiz erişim, sandbox ve veri güvenliği.

    Uygulama

    Kontrollü güvenlik senaryoları ve yetki sınırı testleri.

    Kazanım

    Agent için tehdit modeli çıkarır; prompt injection ve yetki aşımı testlerini sisteme ekler.

  9. Hafta 09LLM Evaluation

    Teori

    Ground truth, rubric, değerlendirme metrikleri, insan değerlendirmesi ve LLM-as-a-Judge; dokuz kalite boyutu.

    Uygulama

    Evaluation dataset'i oluşturma ve model çıktılarını değerlendirme.

    Kazanım

    Rubric'i ve ground truth'u olan bir evaluation dataset'i hazırlar, model çıktılarını gerekçeli puanlar.

  10. Hafta 10Agent Evaluation

    Teori

    Task success, tool-call doğruluğu, trajectory değerlendirmesi ve hata analizi.

    Uygulama

    Agent davranışlarının çok adımlı değerlendirilmesi.

    Kazanım

    Agent'ı yalnızca son cevaba göre değil, izlediği yol ve araç kullanımına göre değerlendirir.

  11. Hafta 11EvalOps & Regression Evaluation

    Teori

    Rater kalibrasyonu, dataset versiyonlama, değerlendirme otomasyonu ve regresyon.

    Uygulama

    Tekrarlanabilir bir evaluation pipeline'ı geliştirme.

    Kazanım

    Her değişiklikte yeniden çalışan, versiyonlu bir değerlendirme hattı kurar.

  12. Hafta 12Production Engineering

    Teori

    Observability, tracing, CI/CD, quality gate'ler; token ve latency ölçümleri.

    Uygulama

    Geliştirme sürecine otomatik kalite ve değerlendirme kontrollerinin entegrasyonu.

    Kazanım

    Evaluation sonuçlarını CI/CD'de bir quality gate olarak kullanır; maliyet ve gecikmeyi izler.

  13. Hafta 13Integrated Engineering Lab

    Teori

    Sistem kalite kriterleri, bütünleşik test stratejileri ve production readiness.

    Uygulama

    Final projesinin sistem testi; performans ve güvenlik iyileştirmeleri.

    Kazanım

    Final projesini bütünleşik testlerden geçirir, bulgulara göre iyileştirir.

  14. Hafta 14Final Engineering Assessment

    Teori

    Teknik değerlendirme metodolojisi, sistem raporlama ve sonuç analizi.

    Uygulama

    Final proje sunumları, bağımsız testler ve teknik değerlendirme.

    Kazanım

    Sistemini, değerlendirme raporunu ve mühendislik kararlarını teknik bir sunumla savunur.

Uygulama yaklaşımı

Her hafta iki oturum, tek bir proje.

Teori günü · 2 saat
Kavramlar, mimari kararlar ve değerlendirme yöntemleri; gerçek örnekler üzerinden.
Uygulama günü · 3 saat
Claude Code ile canlı geliştirme. Haftanın konusu final projesine eklenir.
Tek proje, 14 hafta
Her hafta aynı sistemi büyütürsünüz; final, sıfırdan değil 13 haftalık birikimin üstüne kurulur.
Küçük sınıf
10–15 kişilik sınıflarda kod incelemesi ve soru için zaman kalır.

EvalOps entegrasyonu

EvalOps birikimi, mühendislik sürecinin içinde.

LLM Turkey'in EvalOps değerlendirme yaklaşımı bu programın içine taşındı. Dokuz kalite boyutunun tamamı öğretilir; uygulama ise seçilmiş senaryolar üzerinde derinlemesine yapılır.

9 kalite boyutu

  1. P1Instruction Following
  2. P2Truthfulness
  3. P3Safety
  4. P4Bias
  5. P5Reasoning
  6. P6Clarity
  7. P7Robustness
  8. P8Explainability
  9. P9Efficiency

Agent değerlendirmesi

  • Görev tamamlama
  • Tool-call doğruluğu
  • Trajectory değerlendirmesi
  • Politika uyumu
  • Maliyet / performans

Operasyonel ölçümler

  • Latency
  • Token ve API maliyeti
  • Tracing

Final projesi

Enterprise Operations Agent

Katılımcılar kurumsal operasyon taleplerini işleyen bir agentic AI sistemi geliştirir. Sistem API ve MCP araçlarını kullanır, kurumsal dokümanlara RAG ile erişir, çok adımlı görevleri yürütür, kritik adımlarda insan onayı ister ve kendi değerlendirme altyapısıyla gelir.

  1. 01Operasyon talebi
  2. 02Orchestrator agent
  3. 03MCP / API araçları
  4. 04Kurumsal dokümanlar · RAG
  5. 05İnsan onayı
  6. 06Güvenlik kontrolleri
  7. 07Sonuç + iz kaydı
  8. 08Evaluation · tracing · quality gate

Sistemin yetenekleri

  • —Kurumsal operasyon taleplerinin işlenmesi
  • —API ve MCP entegrasyonları
  • —RAG ile kaynak temelli bilgi erişimi
  • —Çok adımlı görev yürütme
  • —İnsan onayı mekanizmaları
  • —Güvenlik kontrolleri
  • —Agent evaluation
  • —Tracing ve performans izleme

Teslim edilenler

  • 01Çalışan agentic AI uygulaması
  • 02Mimari diyagram ve teknik dokümantasyon
  • 03API ve MCP entegrasyonları
  • 04Test edilmiş workflow mekanizmaları
  • 05Güvenlik kontrolleri ve test sonuçları
  • 06Evaluation dataset
  • 07LLM ve Agent Evaluation raporu
  • 08Observability ve performans ölçümleri
  • 09Final teknik sunum

Hedef, gerçekçi koşullarda test edilmiş ve sınırları belgelenmiş çalışan bir sistemdir; tam otonomi ya da hatasızlık iddiası değil.

Değerlendirme sistemi

Değerlendirmeyi öğreten program, kendi değerlendirmesini de şeffaf yapar.

Haftalık çıktılar
Her uygulama oturumunun sonunda projeye eklenen, incelenebilir bir teslim.
Final projesi
Çalışan sistem, teknik dokümantasyon, evaluation dataset'i ve değerlendirme raporu.
Bağımsız testler
Final haftasında sistemler, katılımcının hazırlamadığı test senaryolarıyla da sınanır.
Teknik sunum
Mimari ve değerlendirme kararlarının gerekçeleriyle sunulması.

Eğitmenler ve program yönetimi

İki eğitmen, iki ayrı sorumluluk.

Program lideri ve teori eğitmeni

Yasemin Arslan, MSc.

Müfredat tasarımı, teorik eğitim, mühendislik metodolojisi ve değerlendirme yaklaşımından sorumludur. LLM Turkey'in kurucusudur.

LinkedIn ↗

Uygulama eğitmeni

Doğukan Veziroğlu

AI ENGINEER

42 saatlik canlı uygulama oturumlarından ve teknik laboratuvarlardan sorumludur.

Ön kayıt

İlk dönem için ön kayıt olun.

Dönem tarihleri ve kayıt koşulları kesinleştiğinde ön kayıt yaptıranlarla iletişime geçiyoruz. Ön kayıt ücretsizdir ve bağlayıcı değildir.

Ödeme alınmaz; ön kayıt bağlayıcı değildir.

Dönem
Açıklanacak
Başlangıç
Açıklanacak
Ders günleri
Açıklanacak
Kontenjan
10–15 kişi

Sık sorulan sorular

Yazılım bilmeyen biri bu programa katılabilir mi?

Hayır. Program orta–ileri seviyededir. Temel yazılım geliştirme deneyimi, Git ve terminal kullanımı ile API ve backend kavramlarına aşinalık beklenir. Yazılım deneyimi gerektirmeyen bir değerlendirme eğitimi arıyorsanız bize yazın.

Bu bir Claude Code kursu mu?

Hayır. Claude Code programın ana geliştirme aracıdır; programın konusu agentic AI sistemlerinin tasarımı, geliştirilmesi, güvenliği ve değerlendirilmesidir. Öğretilen mühendislik prensipleri belirli bir modele veya sağlayıcıya bağlı değildir.

Haftalık zaman taahhüdü nedir?

Haftada iki gün canlı oturum vardır: 2 saat teori ve 3 saat uygulama, toplam 70 saat. Ders günleri ve saatleri dönem açıldığında bu sayfada ilan edilir.

Önceki EvalOps Specialist programından farkı ne?

EvalOps Specialist, model çıktılarını değerlendirmeye odaklanan ve yazılım bilgisi gerektirmeyen bir programdı. Bu program agentic sistemleri geliştirmeyi de kapsar; EvalOps'un dokuz kalite boyutu ve değerlendirme yöntemleri programın Evaluate ve Operate aşamalarına entegre edilmiştir.

Hangi ödeme yöntemleri var?

iyzico güvenli ödeme altyapısıyla kredi kartı ya da banka EFT / havale.

İptal ve iade koşulları nelerdir?

Koşullar İade ve İptal Koşulları ile Mesafeli Satış Sözleşmesi'nde yer alır; kayıt sırasında bu metinleri onaylarsınız.

Agentic AI sistemlerini geliştirmeyi ve ölçmeyi öğrenin.

14 hafta, 70 saat canlı eğitim ve sonunda savunabileceğiniz çalışan bir sistem.