Yapay zekânın son metre problemi, bir AI sisteminin ürettiği tahmin veya önerinin gerçek dünyada yetkilendirilmiş bir eyleme dönüşmesi sırasında ortaya çıkan güvence boşluğudur. Bir model yüksek doğruluk, açıklanabilirlik ve sağlamlık gösterebilir; ancak kullanılan veri eskiyse, işlem yanlış bağlamda yürütülüyorsa, gerekli yetki bulunmuyorsa, politika değişmişse veya sistem bağımlılıklarından biri sağlıksız durumdaysa aynı çıktıya dayanılarak eyleme geçilmesi uygun olmayabilir.

Çalışma bu problemi çözmek amacıyla decision-time assurance yani karar zamanı güvencesi kavramını ve tavsiye ile eylem arasına yerleştirilen bir decision gate yani karar kapısı mimarisini öneriyor. Karar kapısı; kanıt, kanıt güncelliği, yetki, kapsam, politika, sistem sağlığı, izlenebilirlik, geri çekilmiş izinler ve işlemin sonucu gibi faktörleri kontrol ederek eylem için ALLOW, REVIEW, ABSTAIN veya BLOCK durumlarından birini üretmektedir.

Ancak kaynak çalışma bu mimarinin farklı sektörlerde etkinliğini kanıtlayan tamamlanmış bir deney sunmamaktadır. Önerilen sistem, test edilebilir hipotezler, hata enjeksiyon senaryoları ve gelecekte yürütülmesi gereken ampirik çalışmalar için kavramsal bir çerçeve niteliğindedir.

Yapay Zekânın Son Metre Problemi Nedir?

Yapay zekânın son metre problemi, AI tarafından üretilen bir çıktının gerçek dünyada sonuç doğuran bir eyleme dönüşmesinden hemen önceki güvence boşluğudur. Bu noktada temel soru artık yalnızca “Model doğru mu?” değil, “Bu belirli eylemin mevcut kanıt, yetki, politika ve sistem durumu altında şu anda gerçekleştirilmesine izin verilmeli mi?” sorusudur.

Bir kredi modeli yüksek temerrüt riski hesaplayabilir. Bununla birlikte bu çıktı, başvurunun otomatik olarak reddedilmesi için tek başına yeterli değildir. Kullanılan mali verilerin güncel olması, modelin ilgili müşteri grubunda kullanımının onaylanmış olması, yürürlükteki kredi politikasının karşılanması ve karar veren aktörün gerekli yetkiye sahip olması gerekebilir.

Benzer bir durum sağlık alanında da ortaya çıkar. Bir model belirli bir hastalık riskini doğru biçimde tahmin etmiş olabilir. Ancak yeni bir laboratuvar sonucu ortaya çıkmışsa, hastanın kimlik kaydı yanlış eşleşmişse veya model söz konusu hasta popülasyonu için onaylanmamışsa doğru tahmin doğrudan doğru eylem anlamına gelmez.

Tahmin, tavsiye, karar ve uygulama aynı şey değildir

Çalışma yapay zekâ tabanlı süreci dört ayrı aşamada ele almaktadır:

Tahmin → Tavsiye → Karar → Uygulama

Kaynağın vurguladığı kavramsal ayrımlar şu biçimde özetlenebilir:

• Tahmin ≠ Karar
• Model performansı ≠ Karar izni
• Teknik yetenek ≠ Kurumsal yetki
• Model güven skoru ≠ Eylem izni
• Açıklama ≠ Kanıt

Karar Zamanı Güvencesi Nedir?

Karar zamanı güvencesi, belirli bir AI destekli eylemin tam uygulama anında yeterli kanıta, geçerli yetkiye, uygun bağlama, yürürlükteki politikaya, sağlıklı sistem durumuna, doğru kullanım kapsamına ve geçerli izin durumuna sahip olup olmadığını değerlendiren kontrol sürecidir.

Çalışma bu ilişkiyi aşağıdaki genel fonksiyonla ifade etmektedir:

Permission(d,t) = G(E_t, A_t, C_t, P_t, H_t, S_t, R_t)

Buradaki önemli fikir, son izin fonksiyonunun mutlaka başka bir yapay zekâ modeli olması gerekmediğidir. Kaynak çalışma özellikle yüksek sonuç doğuran alanlarda deterministik kurallar, imzalı kanıtlar, politika motorları, formel kısıtlar veya denetlenebilir mekanizmaların tercih edilebileceğini belirtmektedir.

Bir diğer temel güvenlik ilkesi belirsizliğin otomatik olarak izne dönüşmemesidir:

MandatoryCondition = UNKNOWN ⇒ State ≠ ALLOW

Başka bir ifadeyle, zorunlu bir şartın sağlanıp sağlanmadığı bilinmiyorsa sistem sessiz biçimde “izin ver” sonucuna geçmemelidir.

Karar Kapısı Nasıl Çalışır?

Karar kapısı, yapay zekâ veya otonom ajanın tavsiyesi ile gerçek dünya eylemi arasına yerleştirilen mantıksal kontrol sınırıdır. Görevi modeli yeniden değerlendirmekten çok, belirli işlemin o anda sahip olduğu kanıt, yetki, politika, sistem sağlığı ve kapsam koşullarını kontrol ederek işlemin gerçekleştirilmesine izin verilip verilmeyeceğini belirlemektir.

Temel mimari şu şekilde ifade edilmektedir:

AI / Agent → Recommendation → [ Decision Gate ] → Action

Dört temel izin durumu

Zamansal bütünlük neden önemlidir?

Bir kararın yalnız doğru bilgiye değil, karar anında erişilebilir olan doğru bilgiye dayanması gerekir. Çalışma bunu şu ilişkiyle ifade etmektedir:

InformationUsed(t) ⊆ InformationAvailable(t)

Bu ilke özellikle geçmiş verilerle yapılan değerlendirmelerde önemlidir. Daha sonra ortaya çıkan bilgilerin geçmiş karar hesabına yanlışlıkla dahil edilmesi, sistemin gerçekte sahip olduğundan daha iyi görünmesine neden olabilir.

Bu nedenle kaynak, “olayın gerçekleştiği zaman” ile “sistemin bilgiyi öğrendiği zaman” arasında ayrım yapılmasını önermektedir. Kanıtların ayrıca geçerlilik başlangıç ve bitiş zamanları taşıması mümkündür:

ValidEvidence(e,t) = Integrity(e) ∧ Scope(e) ∧ (valid_from(e) ≤ t ≤ valid_until(e))

Kanıt kökeni ve bütünlüğü

Bir değerin nereden geldiğini bilmek, karar zamanı güvencesinin temel unsurlarından biridir. Çalışma veri dönüşüm zincirini:

Source → Transformation₁ → … → Transformationₙ → DecisionValue

olarak ifade etmektedir.

Ancak veri kökeninin izlenebilir olması kaynağın doğru olduğunu tek başına kanıtlamaz. Provenance daha sınırlı bir şeyi kanıtlar: hangi kaynağın ve hangi dönüşüm zincirinin belirli karar değerini ürettiği sonradan belirlenebilir.

Yetki ile teknik erişim neden ayrılmalıdır?

Kaynağa göre bir aktörün teknik olarak bir işlemi yapabiliyor olması, kurumsal olarak o işlemi gerçekleştirmeye yetkili olduğu anlamına gelmez.

Authority = (Identity, Role, Scope, Limit, Validity, DelegationChain)

Örneğin bir finans ajanı ödeme hazırlayabilir ancak ödemeyi serbest bırakma yetkisine sahip olmayabilir. Bir klinik destek modeli tedavi önerebilir ancak reçete düzenleyemez. Bir yazılım ajanı servisi yeniden başlatmaya yetkiliyken ağ güvenlik politikasını değiştirme yetkisine sahip olmayabilir.

Politikanın yalnız belgede bulunması yeterli midir?

Çalışmanın önemli ayrımlarından biri şudur:

DocumentedPolicy ≠ EnforcedPolicy

Bir kuruluşun “50.000 avronun üzerindeki ödemelerde iki bağımsız onay gerekir” şeklinde yazılı politikaya sahip olması ile bu koşulun işlem anında sistem tarafından zorunlu olarak kontrol edilmesi aynı şey değildir.

Bununla birlikte çalışma her etik veya hukuki gerekliliğin basit kurallara dönüştürülmesini önermemektedir. “Müşterinin en iyi çıkarına göre hareket et” gibi bağlamsal yükümlülükler insan yorumuna ihtiyaç duyabilir. Karar kapısının hangi koşulların makine tarafından güvenilir biçimde kontrol edilebileceğini, hangilerinin insan incelemesine bırakılması gerektiğini ayırt etmesi gerekir.

Sonuç büyüdükçe güvence de artmalı mı?

Kaynak, güvence düzeyini işlemin sonucu ve geri döndürülemezliğiyle ilişkilendirmektedir:

RequiredAssurance ∝ Consequence × Irreversibility × Uncertainty × Exposure

Düşük etkili şirket içi bir öneri yalnız kayıt ve model sağlığı denetimi gerektirebilirken milyon avroluk bir finansal transfer güncel kanıt, çift yetkilendirme, dolandırıcılık kontrolleri, işlem limitleri ve insan onayı gerektirebilir.

Çalışmanın Yöntemi ve Bulguları

Bu çalışma deneysel olarak ne yapıyor?

Kaynak çalışma klasik anlamda tamamlanmış bir kontrollü deney veya saha doğrulaması sunmamaktadır. Araştırmanın temel katkısı kavramsal ayrımlar, makine tarafından değerlendirilebilir invariants, hata sınıflandırması, referans mimari ve gelecekte sınanması önerilen deney protokolüdür.

Bu nedenle aşağıdaki bölümlerde belirtilen “sonuçlar”, doğrulanmış performans kazanımlarından çok araştırmanın önerdiği sistem yapıları ve test edilebilir hipotezler olarak anlaşılmalıdır.

Son metre için 15 hata türü

Çalışmanın önerdiği 12 temel invariant

Kaynak özellikle bu invariantların evrensel olarak yeterli olduğu iddiasında değildir. Bunlar alanlara göre geliştirilebilecek ve karşı örneklerle sınanabilecek tasarım hipotezleridir.

Yedi katmanlı referans mimari

Bu mimaride kritik noktalardan biri uygulama katmanının ajan tarafından alternatif bir API üzerinden atlanamamasıdır. Karar kapısı yalnız tavsiye veren bir kontrol haline gelirse gerçek anlamda uygulama sınırı olmaktan çıkar.

AICOS CORE nedir?

AICOS CORE kaynak çalışmada yüksek sonuçlu yapay zekâ için deneysel bir Decision Assurance Runtime geliştirme yönü olarak sunulmaktadır. Sistem; kanıt bağlama, zamansal bütünlük, provenance, politika değerlendirmesi, sistem sağlığı, geri çekme durumu, karar kayıtları ve ALLOW/REVIEW/ABSTAIN/BLOCK durumlarını araştırmak için referans mimari olarak kullanılmaktadır.

Ancak çalışma şu ayrımı özellikle korumaktadır:

Design ≠ Implementation ≠ Validation ≠ Production Evidence

Bir mimarinin tasarlanmış veya yazılıma dönüştürülmüş olması, bağımsız olarak doğrulandığı ya da üretim ortamında güvenilirliğinin kanıtlandığı anlamına gelmez.

Önerilen değerlendirme metodolojisi

Önerilen altı hipotez

1. Karar zamanı güvencesinin hata enjeksiyonları altında model-only ve logging-only sistemlere göre hatalı ALLOW oranını azaltması beklenmektedir.
2. ABSTAIN ve REVIEW durumlarının eksik kanıt altında sessiz uygulamayı azaltması beklenmektedir.
3. Zamansal bağlama mekanizmalarının standart model doğrulamasının tespit edemediği bazı gelecek bilgi sızıntılarını belirlemesi beklenmektedir.
4. Sonuç düzeyine göre uyarlanan güvence politikalarının her işleme maksimum kontrol uygulamaktan daha düşük maliyetle yüksek sonuçlu işlemleri koruyabileceği hipotezi önerilmektedir.
5. Karar kayıtlarının olay sonrası yeniden yapılandırılabilirliği klasik uygulama loglarına göre iyileştirmesi beklenmektedir.
6. Çok ajanlı yetki sınırlarının prompt injection ve kapsam kayması senaryolarında yetkisiz araç kullanımını azaltması beklenmektedir.

Bu maddeler çalışmanın doğrulanmış sonuçları değil, gelecekte sınanması önerilen hipotezlerdir.

Dört uygulama örneği

Kredi kararları: Bir model temerrüt olasılığı hesaplayabilir; ancak kredi bürosu bilgilerinin güncelliği, finansal belgelerin geçerliliği, model kapsamı, politika limitleri ve karar yetkisi ayrıca kontrol edilmelidir.

Sağlık: Bir AI sistemi tedavi veya eskalasyon önerebilir. Karar kapısı güncel laboratuvar değerleri, ilaç geçmişi, kontrendikasyonlar, hasta kimliği, klinisyen yetkisi ve modelin ilgili hasta grubu için geçerliliğini inceleyebilir.

Otonom finans ajanı: Bir ajan 100.000 avroluk ödeme önerebilir. Faturanın doğru görünmesi ve düşük dolandırıcılık skoru tek başına izin oluşturmaz. Tedarikçi kimliği, hesap değişiklikleri, yaptırım taraması, yetki limitleri ve çift onay kontrol edilebilir.

Yazılım operasyonları: Bir ajan üretim veritabanında değişiklik önerebilir. Ortam kimliği, change-ticket, bakım penceresi, rollback planı, servis sağlığı ve ajanın delegasyon sınırı doğrulanmadan işlem otomatik uygulanmamalıdır.

Çok ajanlı sistemlerde yetki sınırı

Kaynağın önerdiği temel ilişki şöyledir:

Permission(child) ⊆ Permission(parent)

Bir ana ajan kendi yetkisinin ötesindeki yetkiyi alt ajana devredememelidir. Delegasyon zinciri, nihai işlemin hangi ilk yetki kaynağına dayandığını gösterecek biçimde korunmalıdır.

Karar kaydı neden önemlidir?

Çalışma yüksek sonuç doğuran bir AI işleminin sonradan yeniden kurulmasını sağlayacak kompakt karar kayıtları üretmesini önermektedir:

D_t = (Model, Evidence, Authority, Policy, Context, Health, Scope, Action, Time, Outcome)

Bu kayıtların tüm ham verileri kopyalaması gerekmez. Kriptografik tanımlayıcılar, kanıt hash'leri, model ve politika sürümleri, zaman damgaları, izin durumu ve güvenli veri kaynaklarına referanslar kullanılabilir.

Buradaki önemli ayrım şudur:

Replayability ≠ Evidence

Bir olay zincirini yeniden oynatabilmek, karar anındaki verilerin doğru, güncel ve yetkili olduğunu tek başına kanıtlamaz.

İnsan denetimi tek başına çözüm müdür?

Kaynak çalışmaya göre hayır. İnsan gözetimi yüksek riskli süreçlerde önemli bir kontrol olabilir ancak yalnızca ekranda bir “onayla” düğmesinin bulunması anlamlı gözetim sağlamaz.

İnceleyicinin hangi kanıtın eksik olduğunu, neden eskalasyon gerçekleştiğini, hangi politikanın uygulandığını ve karar üzerinde gerçek değişiklik yapma yetkisine sahip olup olmadığını bilmesi gerekir. Aksi durumda “human-in-the-loop” yalnız sembolik bir kontrol haline gelebilir.

Gizlilik problemi

Karar kayıtlarının tutulması denetlenebilirlik sağlar ancak hassas verilerin yeni bir merkezi sistemde toplanması gizlilik riskini artırabilir. Kaynak bu nedenle gerektiğinde ham verilerin kopyalanması yerine hash, referans, imzalı doğrulama veya saklama politikası kontrollü pointer kullanılmasını önermektedir.

Başka bir ifadeyle güvence sistemi kendi başına gereksiz veri toplama mekanizmasına dönüşmemelidir.

Karar kapısı da saldırı hedefi olabilir

Karar kapısı yüksek değerli işlemlere izin verdiği veya onları engellediği için saldırganlar açısından kritik bir hedef haline gelebilir. Sahte kanıt, ele geçirilmiş kimlik bilgileri, politika yapılandırmasının değiştirilmesi, revocation olaylarının bastırılması veya sistemi fail-open durumuna zorlamak olası tehditler arasındadır.

Bu nedenle kimlik, yetki, kanıt bütünlüğü ve politika durumu mümkün olduğunca ajanın kendi beyanından bağımsız kanallarla doğrulanmalıdır.

Çalışmanın en önemli sınırlılıkları

• Makale esas olarak kavramsal ve mimari niteliktedir.
• Karar zamanı güvencesinin farklı alanlarda sonuçları iyileştirdiğini kanıtlayan bağımsız tekrarlanmış benchmark henüz sunulmamıştır.
• Kanıt, yetki, bağlam, politika ve sistem sağlığı gibi değişkenleri bütün sektörlerde makine tarafından değerlendirilebilir hale getirmek kolay değildir.
• Bazı etik ve hukuki gereklilikler deterministik kurallara indirgenemez.
• Karar kapısı gecikme, operasyonel maliyet ve sistem karmaşıklığı ekleyebilir.
• Aşırı engelleme kullanıcıların kontrol mekanizmalarını aşmaya çalışmasına neden olabilir.
• Karar zamanı güvencesi kötü veya önyargılı bir AI modelini güvenilir hale getirmez; model güvenilirliği ayrıca sağlanmalıdır.

SanalProje açısından çıkarılabilecek temel sonuç

Bu çalışma yapay zekâ güvenliği tartışmasını yalnız model doğruluğu veya yapay zekânın “ne kadar akıllı olduğu” sorusundan uzaklaştırarak gerçek dünya eyleminin hangi koşullarda gerçekleştirilebileceği sorusuna taşımaktadır.

Otonom yapay zekâ sistemleri yaygınlaştıkça yalnızca modelin doğru sonuç üretmesi yeterli olmayabilir. Özellikle finans, sağlık, kritik altyapı, kamu sistemleri ve üretim ortamlarında şu sorunun teknik olarak cevaplanması gerekebilir:

“Bu belirli AI destekli işlemin şu anda gerçekleştirilmesine izin verilmeli mi?”

Kaynak çalışmanın önerdiği karar zamanı güvencesi yaklaşımı, bu sorunun yanıtını kanıt, zaman, yetki, politika, kapsam, sistem sağlığı ve geri çekilmiş izinlerle birlikte değerlendiren ayrı bir sistem katmanına dönüştürmeye çalışmaktadır.

Kaynak ve Yöntem Notu

Özgün çalışma: The Last Meter of AI: From Intelligent Answers to Accountable Decisions

Yazar: Yasin Kalafatoğlu

Kurumsal ifade: Independent Research / AICOS CORE Research Program

Çalışma statüsü: IEEE odaklı gönderim geliştirmesi için hazırlanmış taslak manuskript.

Çalışma türü: Kavramsal yapay zekâ yönetişimi ve sistem mimarisi çalışması.

Ana katkılar: AI'ın son metre problemi kavramı; tahmin, tavsiye, karar ve uygulama ayrımı; karar zamanı güvencesi; karar kapısı; ALLOW/REVIEW/ABSTAIN/BLOCK durum makinesi; 15 hata türü; 12 formel invariant; yedi katmanlı referans mimari ve gelecekte yürütülmesi önerilen deney metodolojisi.

AICOS CORE statüsü: Deneysel referans uygulama yönü olarak sunulmuştur. Kaynak çalışma AICOS CORE'un bağımsız olarak doğrulanmış veya üretim ortamında kanıtlanmış bir sistem olduğunu iddia etmemektedir.

Yorum sınırı: Makale karar zamanı güvencesinin etkinliğini kanıtlayan tamamlanmış, bağımsız ve çok alanlı bir deney sunmamaktadır. Önerilen metrikler ve hipotezler gelecekte ampirik olarak test edilmelidir.

Lisans notu: İncelenen nüshada açık yeniden kullanım lisansı doğrulanmadığı için özgün tablo ve sayfa görselleri SanalProje içeriğinde doğrudan yeniden kullanılmamıştır.