Lore Hafta 4: veriyi türüne göre saklamak, yapay zekanın yazdığı içeriği ölçekte denetlemek ve bir ürünü veri olarak tanımlamak

Pazar 21.00 sınırına kadar bu hafta 52 pull request merge ettik. Sınav hazırlık uygulamamız Lexicon bunların 20'sini aldı, AutoReal 11, lorelabs.co 10, guno 6 ve Playables 2. Kalan 3'ü şirket içi araçlara gitti. Playables bu hafta lorelabs.co'da canlı bir ürün sayfasına dönüştü.

Bu hafta üç yeni fikir anlatmak istiyoruz:

1. Veriyi tek bir sayıyla değil, türüne göre saklamak. Her yükleme için tek bir saklama kuralının neden uymadığını ve yerine neyin geldiğini anlatıyoruz.
2. Yapay zekanın yazdığı içeriği ölçekte denetlemek. Üretilen 508 alıştırma kartını nasıl denetlediğimizi ve küçük bir örneklemin neyi kanıtlayıp neyi kanıtlayamadığını anlatıyoruz.
3. Bir ürünü veri olarak tanımlamak. Tek bir sınav motorunun her sınavın yazılı tanımını nasıl okuduğunu ve yeni bir sınavın neden yeni ekranlarla değil bir dosyayla başladığını anlatıyoruz.

Bizi yeni okuyorsanız: branch'ler ve onay adımları Lore Hafta 1, CI ve kontrol dakikaları Lore Hafta 2 konusuydu. Model sağlayıcısı değiştirmek ve kullanım sınırları Lore Hafta 3 konusuydu. Burada onları tekrarlamıyoruz.

Nedir? Saklama kuralı, bir ürünün müşterinin verdiği bir şeyi ne kadar süre tuttuğunu belirler. Veri korumadan gelen iki fikir burada yol gösterir: yalnızca amacın gerektirdiğini tutmak ve onu yalnızca amacın gerektirdiği süre kadar saklamak. Kişisel Verilerin Korunması Kanunu (KVKK) 4. maddesinde ikisini de genel ilkeler arasında sayar. Kanuna göre kişisel veriler "işlendikleri amaçla bağlantılı, sınırlı ve ölçülü" olmalı ve "işlendikleri amaç için gerekli olan süre kadar" muhafaza edilmelidir. Bu ilkeleri burada tasarım fikri olarak kullanıyoruz. Bu yazı hukuki görüş değildir ve bir uyum iddiası taşımaz.

Neden önemli? Bu ilkelere uymanın kolay yolu her şey için tek bir sayıdır: her yüklemeyi 30 gün sonra silmek. Bunu anlatmak da kurmak da kolaydır. Ancak tek bir sayı birbirinden çok farklı şeyleri aynıymış gibi ele alır.

Sade bir dille nasıl işler? Süreyi amaç belirler. Bir kişinin fotoğrafı kişisel veridir ve bir pazarlama gönderisi ona kısa bir süre ihtiyaç duyar. Bir logo ya da ürün fotoğrafı ise çoğu zaman marka ürünümüzü kullandığı sürece markaya hizmet eder. Bu çizgi her zaman net değildir. Bir logoda bir ad ya da yüz bulunabilir, bir ürün fotoğrafında da bir kişi görünebilir. Yani marka varlıkları da kişisel veri içerebilir. Burada yalnızca dosyanın türü değil, görüntünün ne içerdiği ve ne için kullanıldığı da önemlidir. Bu yüzden kuralı türe göre yazarız: her tür kendi amacını söyler, her amaç da kendi süresini belirler.

Bizde ne oldu? AutoReal küçük işletmeler için sosyal medya gönderileri hazırlıyor ve bu hafta işletme sahibinin kendi fotoğraflarını kullanmaya başladı. İlk plan her yüklemeyi 30 gün tutuyordu. Planı gerçek kullanımla karşılaştırınca sorun ortaya çıktı: kural her ay markanın logosunu ve ürün fotoğraflarını silecekti, işletme sahibi de onları yeniden yüklemek zorunda kalacaktı. Kuralı ikiye ayırdık. Tasarımımıza göre kişilerin fotoğrafları 30 gün sonra silinecek şekilde ayarlanıyor, logolar ve diğer marka fotoğrafları ise marka var olduğu sürece saklanıyor. Bu, iç kuralımızın tarifidir. Hukuki bir değerlendirme ya da kuralın nasıl uygulandığına dair bir kayıt değildir. Değişikliği yalnızca bir ürüne değil şirket standardımıza da yazdık, böylece bir sonraki ürün ayrılmış kuralla başlıyor.

Biz nerede duruyoruz? Türe göre yazılmış bir kural, arkasındaki ayırma adımı kadar iyidir. Bu yüzden ayırma adımının da kendi ölçümü gerekiyor ve bu iş listemizde duruyor. Aynı yönde bir not daha ekliyoruz: guno bu hafta kullanıcının sabah kurulum cevaplarını saklamaya başladığında herkese açık gizlilik sayfası da aynı hafta bunu söyleyecek şekilde güncellendi.

Nedir? Lexicon sözcükleri alıştırma kartlarıyla öğretiyor: bir anlam, bir örnek cümle ve sık yapılan bir hata. Her kartın ilk sürümünü bir yapay zeka modeli yazıyor. Bu hafta kullanıcılara henüz açılmamış ikinci bir sınav için 508 kart ürettik.

Neden önemli? Bir model akıcı ama yanlış bir şey öğreten bir cümle yazabilir. Tek bir yanlış kart küçük bir sorundur, ancak 508 kartı her prompt değişikliğinde tam dikkatle okumak mümkün değildir.

Sade bir dille nasıl işler? Üç katman kullandık. Önce bir model kartı yazıyor. Sonra ayrı bir model geçişi her kartı bir doğruluk kuralları listesine göre okuyor ve kartı ya düzeltiyor ya da bir kişinin karar vermesi için işaretliyor. Son olarak kartları yazmamış bir iç gözden geçiren bir örneklem okuyor. Denetleyici onaylamadan hiçbir kart uygulamaya geçemiyor, işaretli kartlar da reddediliyor.

Bizde ne oldu? İlk deneme ikinci katmana neden ihtiyaç olduğunu gösterdi. Çalışma notlarımıza göre 65 kartlık başlangıç setinde sık yapılan hata notlarının çoğu yüzde ile yüzde puanı karıştırıyordu. Dört kart da "the number of" ifadesine yüzde bağlıyordu, bu da yanlış bir İngilizce kullanımdır. Yalnızca prompt'u sıkılaştırmak, yeniden yazılan 27 kartın 10'unda yine açık bir hata bıraktı. Denetleyici devreye girdikten sonra 508 kartın 37'si olduğu gibi geçti, 471'i düzeltildi. Ardından yeni bir incelemeyle altı kart elle düzeltildi. Bu sayıları kart dosyalarının kendisinden yeniden saydık. Bundan ayrı olarak bir iç gözden geçiren 50 kartlık bir örneklem okudu, on setin her birinden 5 kart. Sınırda 1 hata bildirdi, o hata da düzeltildi. Bu, ayrıca gözden geçirilmiş bir iç örneklemdir, bağımsız bir değerlendirme değildir. Kayıtlarımız kartların tam olarak nasıl seçildiğini göstermiyor. Anlaştığımız eşik yüzde 3'ün altında bir hata oranıydı.

Başkaları ne diyor? Modeli hakem olarak kullanmak üzerine yapılan bir araştırma (Zheng ve arkadaşları, 2023), güçlü modellerin uzman tercihleriyle aşağı yukarı uzmanların birbiriyle anlaştığı kadar anlaştığını gösterdi. Aynı araştırma model hakemlerin uzun cevapları ve kendi üsluplarını kayırmak gibi bilinen eğilimleri olduğunu da gösterdi. Bu yüzden denetleyicimiz son adım değil: kartları yazmamış bir iç gözden geçiren bir örneklem okuyor.

Biz nerede duruyoruz? Küçük bir örneklemin kanıtlayamayacağı kısım şu. 50 kartta 1 hata yüzde 2 eder, ancak yalnızca 50 kartla belirsizlik geniştir. 50 kart rastgele seçilmiş olsaydı, yaklaşık yüzde 95'lik Wilson aralığı (NIST istatistik el kitabında anlatılıyor) yaklaşık yüzde 0,4 ile yüzde 10,5 arasında olurdu. Bu aralık örnekleme varsayımlarına dayanır ve gerçek hata oranı için garantili bir sınır değildir. Örneklem rastgele değilse 508 kartın tamamının hata oranını gösteremez. Yani örneklem yüzde 3 eşiğimizin altında olduğumuzu göstermiyor. Önerilen bir sonraki adım, büyüklüğü bu tür bir hesapla belirlenen daha büyük ve rastgele bir örneklemdir.