Model yapımında sosyal ayrımcılığı önleme

Amazon'da yeni işe alım skandalından esinlenerek sorularım var, burada işe alım süreçlerinde kadınlara karşı ayrımcılık yapmakla suçlanıyorlar. Daha fazla bilgi burada :

Amazon.com Inc'in makine öğrenimi uzmanları büyük bir sorunu ortaya çıkardı: yeni işe alım motorları kadınları sevmedi.
Ekip, 2014 yılından bu yana en iyi yetenek arayışını mekanize etmek için iş başvurularının özgeçmişlerini gözden geçirmek için bilgisayar programları geliştiriyordu ...
... Şirketin deneysel işe alma aracı, iş adaylarına bir ila beş yıldız arasında değişen puanlar vermek için yapay zeka kullandı. ...
... Ancak 2015 yılına gelindiğinde şirket, yeni sisteminin yazılım geliştirici işlerine ve diğer teknik yayınlara adayları cinsiyetsiz bir şekilde derecelendirmediğini fark etti.
Çünkü Amazon'un bilgisayar modelleri, 10 yıllık bir süre boyunca şirkete gönderilen özgeçmişlerde örüntüler gözlemleyerek veteriner adaylarına eğitim vermiştir. Çoğu erkek, teknoloji endüstrisinde erkek egemenliğinin bir yansımasıydı. (Teknolojideki cinsiyet dökümü hakkında bir grafik için bakınız: burada ) Aslında Amazon'un sistemi erkek adayların tercih edilebilir olduğunu öğretti. "Kadınlar satranç kulübü kaptanı" nda olduğu gibi "kadın" kelimesini içeren özgeçmişleri cezalandırdı. Ve konuyu bilen insanlara göre iki kadın kolejinden mezun oldu. Okulların isimlerini belirtmediler.
Amazon, bu terimleri tarafsız kılmak için programları düzenledi. Ancak bu, makinelerin ayrımcılığı kanıtlayabilecek adayları sıralamanın başka yollarını geliştirmeyeceğinin garantisi değildi.
Seattle şirketi nihayetinde ekibi geçen yılın başından itibaren dağıttı, çünkü yöneticiler proje için umudunu kaybetti ...
... Şirketin deneyi ... makine öğreniminin sınırlamalarında bir vaka çalışması sunuyor.
... Carnegie Mellon Üniversitesi'nde makine öğrenimi öğreten Nihar Shah gibi bilgisayar bilimcileri hala yapılacak çok iş olduğunu söylüyorlar.
"Algoritmanın adil olmasını sağlamak, algoritmanın gerçekten yorumlanabilir ve açıklanabilir olmasını sağlamak - bu hala çok uzakta" dedi.

MASCULINE LANGUAGE
[Amazon] Amazon'un Edinburgh mühendislik merkezinde bir düzine kişiye kadar büyüyen bir ekip kurdu. Amaçları, web'i hızla tarayabilen ve işe almaya değer adayları tespit edebilecek AI geliştirmekti.
Grup, belirli iş işlevlerine ve konumlarına odaklanan 500 bilgisayar modeli oluşturdu. Her birine geçmiş adayların özgeçmişlerinde ortaya çıkan yaklaşık 50.000 terimi tanımayı öğrettiler. Algoritmalar, çeşitli bilgisayar kodları yazma yeteneği gibi BT başvuruları arasında yaygın olan becerilere çok az önem vermeyi öğrendi ...
Bunun yerine, teknoloji, erkek mühendislerin özgeçmişlerinde daha yaygın olarak bulunan fiilleri kullanarak kendilerini tanımlayan adayları tercih etti. "idam edildi" ve "yakalandı" dedi bir kişi.

Diyelim ki, yeni insanların işe alınmasına yardımcı olmak için beş yıldızlı bir sıralama gibi kişisel verilerden bazı çıktıları tahmin etmek için istatistiksel bir model oluşturmak istiyorum. Diyelim ki etik bir kısıtlama olarak cinsiyet ayrımcılığından kaçınmak istiyorum. Cinsiyet dışında tamamen eşit iki profil göz önüne alındığında, modelin çıktısı aynı olmalıdır.

1. Cinsiyeti (ya da onunla ilişkili herhangi bir veriyi) girdi olarak kullanmalı ve etkilerini düzeltmeye mi çalışmalı mıyım yoksa bu verileri kullanmaktan kaçınmalı mıyım?

2. Cinsiyete karşı ayrımcılığın olmadığını nasıl kontrol ederim?

3. Modelimi istatistiksel olarak ayrımcı olan ancak etik nedenlerle olmak istemeyen veriler için nasıl düzeltirim?

Bu makale, özellikle dil tabanlı modellerde cinsiyet yanlılığının nasıl ele alınacağına dair mükemmel bir genel bakış sunmaktadır: Kadın, Kadın Ev Kadınına mı? Kelime Gömme Tartışmaları - Bolukbaşı et. ark. . Güzel bir blog özeti burada bulunabilir:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Burada daha büyük bir kaynak özeti bulacaksınız:

https://developers.google.com/machine-learning/fairness-overview/

Yukarıdaki bağlantılarda cinsiyet yanlılığını azaltmak için bir takım teknikler bulacaksınız. Genel olarak üç sınıfa ayrılırlar:

1) Verilerinizin altında / üstünde örnekleme. Bu, yüksek kaliteli kadın özgeçmişlerinin ve örnek erkek özgeçmişlerinin altında örnekleme yapmak için tasarlanmıştır.

2) "Cinsiyet altuzayını" çıkarmak. Modeliniz cinsiyete dayalıysa, cinsiyetinizi doğrudan tahmin etmek için özgeçmiş düğünlerinizi kullanarak modelinizin böyle olduğunu gösterebilirsiniz. Böyle bir yardımcı model oluşturduktan sonra (sadece her iki cinsiyete ait ortak terimleri örnekledikten sonra PCA uyguladıktan sonra), aslında bu boyutu modelden çıkarabilir, özgeçmişin cinsiyet açısından nötr olmasını normalleştirebilirsiniz. Bolukbaşı gazetesinde kullanılan ana teknik budur.

3) Çekişmeli Öğrenme. Bu durumda, gerçek özgeçmişlerden ayırt edilemeyen yüksek kaliteli kadın özgeçmişlerinin daha fazla sürümünü oluşturmaya çalışarak ek veri oluşturmaya çalışırsınız.

Bu, sorunuzun yanıtı değil, bir yoruma sığmayacak kadar uzun birkaç düşünce.

Bu sorunları düşünürken göz önünde bulundurmamız gereken bir sorun, her modelin ayrımcılık yaptığı ve bunu verilerde bulunan herhangi bir ilişki temelinde yapacaklarıdır. Öngörülebilir bir modelin tartışmasız bütün amacı budur. Örneğin, erkeklerin kadınlara göre suç işlemesi gerçekten daha olasıdır, bu nedenle bu bilgilere erişimi olan hemen hemen her model böyle bir çıkarımda bulunacaktır.

Ancak bu, bir insanın genellikle bir suç işlemiş olma olasılığı daha yüksek görünse de (diğer şeyler eşittir) birisini kısmen cinsiyet temelinde mahkum etmemiz gerektiği anlamına gelmez. Bunun yerine , bu tür kararlar alırken sadece bir birliktelik hakkında bilgi değil, doğrudan bir suç kanıtı talep etmeliyiz . Başka bir örnek olarak: hastalanma olasılığı daha yüksek olan insanlar gerçekten daha yüksek sigorta primleri ödemeyi hak ediyor mu?

Ayrımcılık söz konusu olduğunda, konunun modellerin kendilerinin adil olmamasından ziyade etik uygulama ile daha fazla uğraştığını iddia ediyorum . Belirli bir durumda bir modeli kullanırken ayrımcılığı veya diğer haksız sonuçları sürdürmekten endişeliysek, belki de bir model kullanmamalıyız.

Yazılım yönetimi en iyi uygulamalarını geliştirmek için bir proje üzerinde çalışıyordum. Sahada yaklaşık elli yazılım takımını gözlemledim. Örneğimiz 77 civarındaydı, ama yüze yakın takımı gördük. Sertifikalar, dereceler ve benzeri şeyler hakkında veri toplamanın yanı sıra çeşitli psikolojik ve demografik veriler de topladık.

Yazılım geliştirme ekipleri, cinsiyetle hiçbir ilgisi olmamakla birlikte, cinsiyet ile güçlü bir şekilde ilişkili olan çok önemli öz seçim etkilerine sahiptir. Ayrıca, yöneticiler kendilerini çoğaltma eğilimindedir. İnsanlar rahat oldukları insanları işe alırlar ve kendileriyle en rahat olanları işe alırlar. İnsanların bilişsel olarak önyargılı bir şekilde derecelendirildiğine dair kanıtlar da var. Bir yönetici olarak, iş başında hızlı varış varış çok değer düşünün. Ben daha sonra bu değerlendirirsiniz. Sadece işin yapılmasını önemseyen başka bir yönetici, tamamen farklı bir şeye önem verebilir.

Erkeklerin dili farklı kullandığını, ancak farklı kişiliklere sahip kişilerin dili farklı şekillerde kullandıkları da doğrudur. Etnik dil kullanım farklılıkları da olabilir, örneğin Harvard ve Asya kabullerindeki mevcut tartışmalara bakınız.

Şimdi yazılım firmalarının kadınlara karşı ayrımcılık yaptığını varsayıyorsunuz, ancak yazılım geliştirme endüstrisinde hesaba katılmadığınız başka bir cinsiyet ayrımcılığı türü daha var. Sertifikalar, dereceler, görev süreleri ve benzeri gibi nesnel şeyleri kontrol ettiğinizde, ortalama bir kadın ortalama bir erkekten% 40 daha fazla kazanır. Dünyada üç istihdam ayrımcılığı kaynağı vardır.

Birincisi, yöneticilerin veya sahiplerin bazı özellikler temelinde birisini işe almak istememesidir. İkincisi, iş arkadaşlarının bu özelliğe sahip insanlarla çalışmak istememesi. Üçüncüsü, müşterilerin bir özelliği olan kişileri istememesidir. Öyle görünüyor ki, ücret ayrımcılığı müşteriler tarafından tetikleniyor çünkü iş ürünü farklı ve müşterilerin bakış açısından da daha iyi. Aynı özellik erkek diş hijyenistlerinin kadınlardan daha düşük ücret almasına neden olmaktadır. Aynı zamanda dünya futbol ücretlerinde “burada doğma” yanlılığında da görülmektedir.

Bunun için en iyi kontrol verilerinizi ve ilgili sosyal güçleri anlamaktır. Kendi verilerini kullanan herhangi bir firma kendini çoğaltma eğilimindedir. Bu çok iyi bir şey olabilir, ama aynı zamanda onları işyerindeki güçlere kör edebilir. İkinci kontrol objektif işlevinizi anlamaktır. Kâr iyi bir işlev olabilir, ancak kötü bir işlev olabilir. Objektif bir kayıp fonksiyonunun seçiminde oyunda değerler vardır. Son olarak, talihsiz ayrımcılığın olup olmadığını belirlemek için verileri demografiye göre test etme sorunu var.

Son olarak, bu, AI gibi iyi yorumlayıcı istatistikler elde edemediğiniz şeylerde daha büyük bir sorundur, Yule'nin paradoksunu kontrol etmek isteyeceksiniz. Klasik tarihsel örnek, erkeklerin% 44'ünün UC Berkley'e kabul edildiğini, 1973'te ise kadınların sadece% 35'inin kabul edildiğini keşfetti. Bu büyük bir farktı ve istatistiksel olarak anlamlıydı. Ayrıca yanıltıcıydı.

Bu açık bir şekilde skandaldı ve bu yüzden üniversite rahatsız edici ana dalların hangileri olduğuna bakmaya karar verdi. Eh, majör için kontrol ettiğinizde, kadınları kabul etmek lehine istatistiksel olarak anlamlı bir önyargı olduğu ortaya çıktı. Seksen beş ana daldan altısı kadınlara ve dördü erkeklere karşı önyargılıydı, geri kalanı anlamlı değildi. Aradaki fark, kadınların orantısız bir şekilde, en rekabetçi ana dallara başvurmaları ve her iki cinsiyetten daha azının içeri girmesiydi. Erkeklerin daha az rekabetçi ana dallara başvurmaları daha olasıdır.

Yule paradoksuna eklemek, ayrımcılık için daha da derin bir katman yaratır. Bir cinsiyet testi yerine, iş türüne göre bir cinsiyet testi olduğunu düşünün. Muhtemelen şirket genelinde cinsiyet açısından tarafsız bir testten geçebilirsiniz, ancak görev düzeyinde başarısız olabilirsiniz. V&V için sadece kadınların ve sistem yönetimi için sadece erkeklerin işe alındığını düşünün. Cinsiyetten bağımsız görünecektiniz ve olmayacaksınız.

Bunun potansiyel bir çözümü, farklı “iyilik” kriterleri kullanan rekabetçi yapay zeka çalıştırmaktır. Amaç, ağı daraltmak değil, genişletmektir. Bu aynı zamanda yönetim literatüründeki başka bir sorunun önlenmesine de yardımcı olabilir. Erkeklerin% 3'ü sosyopatken, bu sayı şirket merdiveninde daha da ileriye doğru tırmanıyor. Sosyopatları filtrelemek istemezsiniz.

Son olarak, belirli konum türleri için AI kullanmayı düşünmek istemeyebilirsiniz. Şu anda iş avcılığı yapıyorum. Ayrıca filtrelendiğimden de eminim ve nasıl çözüleceğini anlayamadım. Çok yıkıcı yeni bir teknoloji üzerinde oturuyorum. Sorun şu ki, işim sihirli kelimelerle eşleşmiyor. Bunun yerine, bir sonraki sihirli kelime setim var. Şu anda, doğru firmaya bir servete değerim, ancak başvurduğum bir durumda, bir dakikadan az bir sürede otomatik bir düşüş gördüm. Federal ajansların CIO'su olarak görev yapan bir arkadaşım var. İşe alım müdürünün başvurunun gerçekleştiğini görmek için beklediği bir işe başvurdu, böylece hemen hemen iş teklif edilebilirdi. Hiç gelmedi çünkü filtreler onu engelledi.

Bu yapay zekanın ikinci problemini oluşturur. Amazon'un işe aldığı çevrimiçi özgeçmişlerden çalışabilirsem, özgeçmişimi sihirli bir şekilde söyleyebilirim. Gerçekten de, şu anda insan olmayan filtrelere uyması için özgeçmişim üzerinde çalışıyorum. İşverenlerden gelen e-postalardan özgeçmişimin bazı bölümlerinin yakınlaştırıldığını ve diğer bölümlerinin yoksayıldığını da söyleyebilirim. Sanki işe alım ve işe alım süreci Prolog gibi bir yazılım tarafından ele geçirilmiş gibi. Mantıksal kısıtlamalar karşılandı mı? Evet! Bu en uygun aday veya aday setidir. Optimaller mi?

Sorunuz için önceden oluşturulmuş bir cevap yok, sadece etrafta mühendislik sorunları var.

Bu tür bir model oluşturmak için, önce ayrımcılık ve süreç çıktılarının bazı temel istatistiksel yönlerini anlamak önemlidir. Bu, nesneleri karakteristikler temelinde derecelendiren istatistiksel süreçlerin anlaşılmasını gerektirir. Özellikle, bir özelliğin karar verme amaçları için kullanılması (diğer bir deyişle ayrımcılık) ile süreç sonuçlarının bahsedilen özelliğe göre değerlendirilmesi arasındaki ilişkiyi anlamayı gerektirir. Aşağıdakilere dikkat ederek başlıyoruz:

• Ayrımcılık (doğru anlamıyla), yalnızca sonuç bu değişkenle ilişkilendirildiğinde değil, karar sürecinde bir değişken kullanıldığında ortaya çıkar. Resmi olarak, süreçteki karar fonksiyonu (yani, bu durumda derecelendirme) bu değişkenin bir fonksiyonu ise, bir değişkene göre ayrım yaparız.

• Belirli bir değişkenle ilgili sonuçtaki eşitsizlikler genellikle bu değişken üzerinde ayrımcılık olmasa bile ortaya çıkar . Bu , karar fonksiyonundaki diğer özellikler hariç tutulan değişkenle korele olduğunda meydana gelir . Hariç tutulan değişkenin demografik bir değişken olduğu durumlarda (örneğin, cinsiyet, ırk, yaş vb.) Diğer özelliklerle korelasyon her yerde bulunur, bu nedenle demografik gruplar arasında sonuçta farklılıklar olması beklenir.

• Bir ayrımcılık biçimi olan olumlu ayrımcılık yoluyla demografik gruplar arasında sonuçlardaki eşitsizlikleri azaltmaya çalışmak mümkündür. Süreç çıktılarında bir değişkene ilişkin farklılıklar varsa, değişkeni karar değişkeni olarak (yani, bu değişken üzerinde ayrım yaparak) "yetersiz temsil edilen" grupları destekleyecek şekilde daraltmak mümkündür. (örneğin, karar sürecinde olumlu sonuçların daha düşük oranlarına sahip gruplar).

• Her iki yöne de sahip olamazsınız - ya belirli bir karakteristikle ilgili ayrımcılığı önlemek istiyorsunuz ya da süreç sonuçlarını bu karakteristikle eşitlemek istiyorsunuz. Amacınız belirli bir karakteristikle ilgili sonuçlardaki eşitsizlikleri "düzeltmek" ise, o zaman ne yaptığınız konusunda kendinizle çocuk olmayın --- olumlu ayrımcılık için ayrımcılık yapıyorsunuz .

İstatistiksel karar alma süreçlerinin bu temel yönlerini anladıktan sonra, bu durumda asıl hedefinizin ne olduğunu formüle edebileceksiniz. Özellikle, gruplar arasında sonuç eşitsizliklerine yol açması muhtemel, ayrımcı olmayan bir süreç isteyip istemediğinize veya eşit süreç sonuçları (veya buna yakın bir şey) sağlayacak şekilde tasarlanmış ayrımcı bir işlem isteyip istemediğinize karar vermeniz gerekecektir. Etik olarak, bu konu ayrımcılığa karşı olumlu eyleme ilişkin tartışmayı taklit etmektedir.

Diyelim ki, yeni insanların işe alınmasına yardımcı olmak için beş yıldızlı bir sıralama gibi kişisel verilerden bazı çıktıları tahmin etmek için istatistiksel bir model oluşturmak istiyorum. Diyelim ki etik bir kısıtlama olarak cinsiyet ayrımcılığından kaçınmak istiyorum. Cinsiyet dışında tamamen eşit iki profil göz önüne alındığında, modelin çıktısı aynı olmalıdır.

Modelden verilen derecelendirmelerin hariç tutmak istediğiniz bir değişkenden (ör. Cinsiyet) etkilenmemesini sağlamak kolaydır. Bunu yapmak için tek yapmanız gereken bu değişkeni modelde bir yordayıcı olarak kaldırmaktır, böylece derecelendirme kararında kullanılmaz. Bu, bu değişkenin dışında kesinlikle eşit olan iki profilin aynı şekilde işlem görmesini sağlayacaktır. Bununla birlikte, bu olmaz mutlaka modeli hariç değişkenle ilişkilidir başka bir değişkene göre ayrım yapmaz sağlamak ve genellikle cinsiyetler arasında eşit sonuçlara yol olmayacaktır. Bunun nedeni, cinsiyetin modelinizde öngörücü değişkenler olarak kullanılabilecek diğer birçok özellik ile ilişkilendirilmesidir, bu nedenle ayrımcılık yokken bile sonuçların eşitsiz olmasını bekleriz.

Bu konuyla ilgili olarak, o olan özellikleri arasında ayırmak için yararlıdır doğasında cinsiyet özellikleri (örneğin pees ayakta) sadece cinsiyet ile ilişkilidir Eğrisi'nin (örneğin bir mühendislik derecesine sahiptir). Cinsiyet ayrımcılığından kaçınmak istiyorsanız, bu genellikle cinsiyetin bir yordayıcı olarak kaldırılmasını ve aynı zamanda doğal bir cinsiyet özelliği olduğunu düşündüğünüz diğer tüm karakteristiklerin kaldırılmasını gerektirir . Örneğin, iş başvurusunda bulunanların ayakta ya da oturarak işemek istediklerini belirlerse, bu cinsiyete kesinlikle eşit olmayan bir özelliktir, ancak bir seçenek cinsiyeti etkili bir şekilde belirler, bu nedenle muhtemelen bu özelliği kaldırırsınız modelde bir yordayıcı olarak.

1. Cinsiyeti (ya da onunla ilişkili herhangi bir veriyi) girdi olarak kullanmalı ve etkilerini düzeltmeye mi çalışmalı mıyım yoksa bu verileri kullanmaktan kaçınmalı mıyım?

Tam olarak ne düzeltin? "Etkilerini düzeltin" derken, cinsiyetle ilişkili öngörücülerin neden olduğu sonuçlardaki eşitsizlikleri "düzeltmeyi" düşündüğünüzü varsayacağım. Durum böyleyse ve sonuç eşitsizliğini düzeltmek için cinsiyet kullanırsanız, o zaman etkili bir şekilde olumlu eylemde bulunursunuz --- yani, sonuçları bir araya getirmek için modelinizi cinsiyet üzerinde pozitif ayrımcılık yapacak şekilde programlıyorsunuz . Bunu yapmak isteyip istemediğiniz, modeldeki etik hedefinize bağlıdır (ayrımcılıktan kaçınmak ve eşit sonuçlar elde etmek).

2. Cinsiyete karşı ayrımcılığın olmadığını nasıl kontrol ederim?

Sonuçta sadece eşitsizliklerin aksine, gerçek ayrımcılıktan bahsediyorsanız, bunu kısıtlamak ve kontrol etmek kolaydır. Tek yapmanız gereken modelinizi, yordayıcı olarak cinsiyet (ve doğal cinsiyet özellikleri) kullanmayacak şekilde formüle etmektir. Bilgisayarlar, modellerine girmediğiniz özelliklere dayanarak karar veremezler, bu nedenle bunun üzerinde kontrolünüz varsa, ayrımcılığın yokluğunu kontrol etmek oldukça basit olmalıdır.

Girdiğiniz olmadan, ilgili özellikleri kendileri anlamaya çalışan makine öğrenme modelleri kullandığınızda işler biraz zorlaşır. Bu durumda bile, modelinizi kaldırılmasını belirlediğiniz belirleyicileri (ör. Cinsiyet) hariç tutacak şekilde programlamanız mümkün olmalıdır.

3. Modelimi istatistiksel olarak ayrımcı olan ancak etik nedenlerle olmak istemeyen veriler için nasıl düzeltirim?

"İstatistiksel olarak ayrımcı" verilere atıfta bulunduğunuzda, sadece cinsiyetle ilişkili özellikleri ifade ettiğinizi varsayıyorum. Bu diğer özellikleri istemiyorsanız, modelde yordayıcı olarak kaldırmanız yeterlidir. Bununla birlikte, birçok önemli özelliğin cinsiyetle ilişkili olabileceğini aklınızda bulundurmalısınız. Herhangi bir ikili karakteristik, her durumda erkeklerin bu karakteristiklere oranının, kadınların karakteristik oranından farklı olması durumunda cinsiyetle ilişkilendirilecektir. (Tabii ki, bu oranlar yakınsa, farkların "istatistiksel olarak anlamlı" olmadığını görebilirsiniz.) Daha genel değişkenler için, sıfır olmayan korelasyonun koşulu da çok zayıftır. Böylece,

Bu en fazla kısmi bir cevap olacaktır (ya da hiç cevap olmayacaktır).

Unutulmaması gereken ilk şey, @dsaxton'a tamamen katılıyorum: tüm modeller, işlevlerinden ötürü "ayrımcılık" (en azından bazı ayrımcılık tanımlarında). Mesele, modellerin özetler ve ortalamalar üzerinde çalışması ve ortalamalara göre bir şeyler atamalarıdır. Bekar bireyler benzersizdir ve tamamen tahmin dışı olabilir.

Örnek: bir değişken yaş temelinde belirtilen beş yıldız sıralamasını tahmin eden basit bir model düşünün . Aynı yaştaki tüm insanlar için (30 diyelim) aynı çıktıyı üretecektir. Ancak bu bir genellemedir. 30 yaşındaki herkes aynı olmayacaktır. Ve model farklı yaşlar için farklı kademeler üretiyorsa - zaten insanları yaşları için ayırt ediyor. Diyelim ki 50 yaş için 3, 40 yaş için 4. Gerçekte, yaptıkları işte 40 yaşından daha iyi olan 50 yaşındaki birçok insan olacak. Ve ayrımcılığa maruz kalacaklar.

1. Cinsiyeti (ya da onunla ilişkili herhangi bir veriyi) girdi olarak kullanmalı ve etkilerini düzeltmeye mi çalışmalı mıyım yoksa bu verileri kullanmaktan kaçınmalı mıyım?

Modelin, aksi halde eşit erkek ve kadınlar için aynı sonucu vermesini istiyorsanız, cinsiyete modele dahil etmemelisiniz. Cinsiyetle ilişkili herhangi bir veri muhtemelen dahil edilmelidir. Bu tür ortak değişkenleri hariç tutarak en az 2 tür hata yapabilirsiniz: 1) tüm erkek ve kadınların tüm ortak değişkenlere eşit olarak dağıtıldığını varsaymak; 2) bu cinsiyetle ilişkili ortak değişkenlerin bazıları hem derecelendirmeyle hem de cinsiyetle aynı zamanda ilişkiliyse - modelinizin performansını hariç tutarak büyük ölçüde azaltabilirsiniz.

2. Cinsiyete karşı ayrımcılığın olmadığını nasıl kontrol ederim?

Modeli tam olarak aynı veriler üzerinde iki kez çalıştırın - bir kez "erkek" ve diğeri "kadın" kullanarak. Bu bir metin belgesinden geliyorsa, bazı sözcükler değiştirilebilir.

3. Modelimi istatistiksel olarak ayrımcı olan ancak etik nedenlerle olmak istemeyen veriler için nasıl düzeltirim?

Ne yapmak istediğine bağlı. Cinsiyetler arasında eşitliği zorlamanın acımasız bir yolu, modeli erkek başvuru sahipleri ve kadın başvuru sahipleri üzerinde ayrı ayrı çalıştırmaktır. Ve sonra bir gruptan% 50 ve başka bir gruptan% 50 seçin.

Tahmininiz büyük olasılıkla acı çekecektir - en iyi adayların tam olarak yarısı erkek ve yarı kadınları içermesi muhtemel değildir. Ama muhtemelen etik açıdan sorun olmaz mıydı? - yine bu etik kurallara bağlıdır. Bu tür bir uygulamanın, cinsiyete dayalı olarak başka bir şekilde de ayrımcılık yapacağından yasa dışı olacağı konusunda etik bir bildirim görebiliyordum.

Amazon hikayesinin gösterdiği şey , önyargıdan kaçınmanın çok zor olduğudur. Amazon'un bu sorun için aptal insanları işe aldığından veya becerilerinden yoksun olduklarından veya yeterli veriye sahip olmadıklarından veya daha iyi bir model eğitmek için yeterli AWS kredisine sahip olmadıklarından şüpheliyim. Sorun, karmaşık makine öğrenme algoritmalarının verilerdeki öğrenme modellerinde çok iyi olmasıydı, cinsiyet yanlılığı tam olarak bu tür bir modeldi. İşe alım yapanların (bilinçli ya da değil) erkek adayları tercih ettiği gibi verilerde önyargı vardı. Burada Amazon'un iş adaylarını ayırt eden bir şirket olduğunu söylemiyorum, eminim binlerce ayrımcılık karşıtı politikaları var ve ayrıca oldukça iyi işe alımcılar işe alıyorlar. Bu tür önyargı ve önyargı ile ilgili sorun, onunla ne kadar uğraşmaya çalıştığınız önemli değil. İnsanların önyargılı olmadığını beyan edebileceklerini gösteren tonlarca psikoloji deneyi var (örneğin ırkçı), ama farkında olmadan bile önyargılı eylemlerde bulunabilirsiniz. Ancak sorunuzu cevaplamak, önyargısız bir algoritmaya sahip olmak için, bu tür önyargıdan arınmış verilerle başlamanız gerekir. Makine öğrenimi algoritmaları, verilerde gördükleri kalıpları tanımayı ve tekrarlamayı öğrenir, bu nedenle verileriniz taraflı kararlar kaydederse, algoritma muhtemelen bu önyargıyı öğrenir ve güçlendirir.

İkinci şey verileri yönetmek. Algoritmanızın önyargılı kararlar almayı öğrenmesini yasaklamak istiyorsanız, ilgili gruplar (burada cinsiyet) arasında ayrımcılık yapmanıza yardımcı olacak tüm bilgileri kaldırmalısınız. Bu sadece cinsiyetle ilgili bilgilerin kaldırılması anlamına gelmez, aynı zamanda cinsiyetin tanımlanmasına yol açabilecek tüm bilgileri de içerir ve bu birçok şey olabilir. İsim ve fotoğraf gibi bariz olanlar da var, aynı zamanda dolaylı olanlar da var, örneğin özgeçmişte anne izni, aynı zamanda eğitim (biri sadece kızlara okula giderse?), Hatta iş geçmişi (şirketinizdeki işe alımcıların önyargısız olmadığını söyleyin) , ama daha önce her işe alım yapan kişi taraflı olduğu takdirde, çalışma geçmişi tüm bu taraflı kararları yansıtırsa?), vb. Gördüğünüz gibi,

2. ve 3. sorulara gelince, kolay cevaplar yoktur ve bunları ayrıntılı olarak cevaplamaya çalışacak kadar yetkin hissetmiyorum. Toplumdaki önyargı ve önyargı ile algoritmik önyargı hakkında tonlarca literatür vardır. Bu her zaman karmaşıktır ve maalesef bunun için basit bir tarif yoktur. Google gibi şirketler, rolü algoritmalarda bu tür önyargıları tanımlayan ve önleyen uzmanlar işe alır.

1. Cinsiyeti (ya da onunla ilişkili herhangi bir veriyi) girdi olarak kullanmalı ve etkilerini düzeltmeye mi çalışmalı mıyım yoksa bu verileri kullanmaktan kaçınmalı mıyım?

Bu sorunun aşağıdakilere dayanan birkaç sonucu vardır: Sosyal mühendis olmak ister miyim; toplumun hasta olduğunu ve terapi gerektirdiğine karar verdiğim için statükoyu değiştirmek olan bir aktivist mi?Bunun açık cevabı, böyle bir değişikliğin yararlı ya da zararlı olup olmadığına bağlıdır. Örneğin, "Hemşirelik personeli için cinsiyet eşitliğinden ne kazanırdık?" erkeklerde üriner kateter yerleştirmek için en az bir erkek hemşireye sahip olmak, hemşirelerin% 50'sinin erkek olmasını gerektirmeyebilir. Bu nedenle, sosyal mühendislik yaklaşımı, bilinen cinsiyet yanlılığıyla ilgili farklı kültürleri, bağlamları ve sorunları inceler ve bu yanlılığın temel neden (ler) indeki değişikliklerden elde edilecek fonksiyonel faydalar sağlar. Bu, karar verme sürecinde önemli bir adımdır. Şimdi, 1. sorunun cevabı yankılanan bir hayırdır, yani, toplumun düzeltilmesi gerektiğine karar verdikten sonra, kadın başvuru sahiplerine sadece bir yıldız veya fraksiyon ekler (aşağıya bakınız), ama ne istediğinize çok dikkat edin çünkü bu, doğası gereği ayrımcı olan olumlu bir eylemdir. Yapay zeka sonuçları, yeni bir fonksiyonel norm olarak belirlendikten sonra yeni işe alım normlarını yansıtacak şekilde değişecektir.

2. Cinsiyete karşı ayrımcılığın olmadığını nasıl kontrol ederim?

Derecelendirmeler atandıktan sonra, erkekler ve kadınlar için derecelendirmelerin dağılımının ne olduğunu görmek ve karşılaştırmak için post-hoc bir analiz yapar.

3. Modelimi istatistiksel olarak ayrımcı olan ancak etik nedenlerle olmak istemeyen veriler için nasıl düzeltirim?

Bu, kaçınılmaz olarak, yani post hoc'tan sonra yapılır . Öngörme de gereklidir, ancak en çok ihtiyaç duyulan öngörme türü, sosyal mühendisin varsayımlarının ne olduğunu eleştirel bir şekilde incelemeye yönelik ortak bir girişimdir. Yani, (tartışma uğruna, aşağıya bakın), tüm toplumsal cinsiyet yanlılığını ortadan kaldırmanın sosyolojik olarak haklı olduğunu varsayarsak , kadın derecelendirmelerini sadece erkeklerle aynı ampirik dağılımı takip edecek şekilde ayarlar. Öğretim işinde buna eğri üzerinde derecelendirme denir. Ayrıca, cinsiyet yanlılığının tam olarak ortadan kaldırılmasının arzu edilmeyebileceğini varsayalım (bunu yapmak çok yıkıcı olabilir), sonra önyargının kısmen ortadan kaldırılmasını, örneğin her yerli dişinin çift ağırlıklı bir ortalamasını yapabiliriz. en az zararlı ve / veya en faydalı olduğu düşünülen (veya olduğu test edilen) ağırlıklar ne olursa olsun, derecelendirmek ve tamamen düzeltilmiş derecesi.

Cinsiyet eşitsizliği, politikaları tek başına işe alarak düzgün bir şekilde değiştirilemez, çünkü bazı alanlarda kadın adayların göreceli kıtlığı vardır. Örneğin, Polonya'da, BT öğrencilerinin% 14,3'ü 2018'de ve Avustralya'da% 17'si kadındı . İşe alındıktan sonra, kadınların teknoloji yoğun endüstrilerde tutulması sorunluydu ( Teknoloji yoğun endüstrilerdeki iş rollerinde kadınlar yüksek oranlarda - kadınların% 53'üne, erkeklerin% 31'ine kıyasla - diğer endüstriler için ayrılmaktadır.) Bu nedenle, kadın iş doyumu politikayı tek başına işe almaktan daha önemlidir. İlk olarak, işyerinde kadınların belirli bir yüzdesine sahip olmak için somut bir fayda tanımlanması gerekir ve bununla ilgili bazı ipuçları vardır, örneğin 2016'dakurumsal kurullardaki kadınların (% 16) 518 Forbes Global 2000 şirketi arasında erkek meslektaşlarının (% 9) neredeyse iki katı profesyonel teknoloji deneyimi olma olasılığı vardı. Bu nedenle teknoloji tasarrufu, kadına erkek net değerinden daha fazla katkıda bulunuyor gibi görünmektedir. Bu tartışmadan, cinsiyete özgü varsayımlar yapmadan önce, işe alma politikasının sadece küçük, önemli, kısmen ve muhtemelen en önemlisi olmayan belirli politikaların daha küresel somut faydalarını belirlemeye yönelik büyük bir çaba gösterilmesi gerektiği açıktır. başlangıç ​​noktası. Bu, makul bir şekilde işe alımların tutulmasıdır çünkü ciro ahlaki için kötüdür ve işe alımdaki cinsiyet yanlılığının temel nedeni olabilir.

Yönetim deneyimim bana iş çıktısındaki küçük değişikliklerin (örneğin% 10-20) bekleme listelerini ortadan kaldırmakta oldukça etkili olduğunu öğretti, yani, personel sayısını etkisiyle personel sayısını iki katına çıkararak çıktıyı hemen% 100 artırmaya gerek yok. bu, bekleme listesini daha küçük bir değişiklikten sadece biraz daha hızlı kısaltacaktır, ancak personel daha sonra işin kapıda yürüyeceğini umarak etrafta duracağından yıkıcı olacaktır. Yani, sosyal mühendislik yapmaya karar verirse, tam bir düzeltme girişiminde bulunmak zararlı olabilir; bu şekilde çalışmaz. Bunu bir yelkenli teknede ani bir düzeltmeyle deneyin ve kişi yüzme derslerini egzersiz yapabilir. Cinsiyet yanlılığını tedavi etmek için eşdeğer (reçete uyuyorsa), sadece kadınları işe almak olacaktır. Bu sorunu çözer (ve başkalarını yaratır). Yani,

Özetle, etkili sosyal mühendislik karmaşık durumlara bütünsel bir yaklaşım gerektirir ve sadece bir sorunun olabileceğini tanımlamak bize bir tane olduğunu söylemez, neye sebep olduğunu söylemez, nasıl düzelteceğimizi söylemez ve gerçekten de bize tek söyleyen şey, düşünme başlıklarımızı takmamız gerektiğidir.