Yapay zeka hacklemeye açık mı?

Karşılıklı Ayarlarda Derin Öğrenmenin Sınırlamaları, sinir ağlarının birlikte çalıştığı veri setini değiştirebilen bir saldırgan tarafından sinir ağlarının nasıl bozulduğunu araştırıyor. Yazarlar bir sinir ağı ile deneyler yapmakta, el yazısı basamakları okumak, sinir ağının birlikte çalıştığı el yazısı basamaklarının örneklerini deforme etmek suretiyle okuma yeteneğini zedelemektedir.

Kötü niyetli oyuncuların AI’yı hacklemeyi deneyebileceğinden endişeliyim. Örneğin

• Durma işaretlerini ve hız limitini yanlış yorumlamak için özerk araçları kandırmak.
• ATM için olanlar gibi yüz tanıma atlamayı.
• Spam filtrelerini atlamak.
• Film incelemelerinin, otellerin, vb. Aldatıcı duyarlılık analizi.
• Bypassing anomali tespit motorları.
• Ses komutlarını taklit etmek.
• Yanlış sınıflandırma makinesi öğrenmesi temelli tıbbi tahminler.

Hangi olumsuz etki dünyayı bozabilir? Bunu nasıl önleyebiliriz?

AI, gördüğüm şekilde iki güvenlik bakış açısından savunmasız:

1. AI çalıştıran makinede bir tür kod yürütme elde etmek veya veri ayıklamak için açık programatik hatalardan yararlanmanın klasik yöntemi.

2. Sistemin başa çıkmak için tasarlandığı belirli veri formu için AI optik illüzyonlarının eşdeğeri ile kandırmak.

İlki, diğer yazılımlarla aynı şekilde azaltılmalıdır. AI'nın bu cephede diğer yazılımlardan daha savunmasız olup olmadığından emin değilim, karmaşıklığın riski biraz arttıracağını düşünmeye meyilliyim.

İkincisi, muhtemelen diğer cevapların bazılarında belirtildiği gibi sistemin dikkatlice iyileştirilmesiyle, aynı zamanda sistemi daha bağlamsal duyarlı hale getirerek azaltılmasıdır; Birçok olumsuz teknik, bir boşlukta değerlendirilen girdilere dayanmaktadır.

Programcı vs Programmer

Bu bir "sonsuzluk savaşı": Programcılar vs Programcılar. Her şey hackable olabilir. Önleme, güvenlikten sorumlu profesyonelin ve uygulama güvenliğindeki programcıların bilgi düzeyine bağlıdır.

örn. Bir kullanıcıyı, Duygu Analizi tarafından oluşturulan metrikleri karıştırmaya çalışırken tanımlamanın birkaç yolu vardır, ancak bu adımları atlatmanın da yolları vardır. Bu oldukça sıkıcı bir dövüş.

Ajan - Ajan

@ DukeZhou'nun ortaya çıkardığı ilginç bir nokta, iki yapay zekanın (ajanların) bulunduğu bu savaşın evrimi. Bu durumda, savaş en bilgili biridir. En iyi eğitimli model hangisidir?

Ancak, kırılganlık konusunda mükemmele ulaşmak için, yapay zeka ya da yapay süper zeka insanı alt etme yeteneğini aştı. Sanki bu güne kadar olan tüm hacklerin bilgisi bu ajanın aklında zaten varmış ve kendi sistemini atlatmanın ve korumayı geliştirmenin yeni yollarını geliştirmeye başlamış gibi. Karmaşık, değil mi?

"İnsan yüzünü tanımlamak yerine fotoğraf kullanacak mı?" Diye düşünen bir AI'nın bulunmasının zor olduğuna inanıyorum.

Nasıl önleyebiliriz

Her zaman makineyi denetleyen bir insana sahip olmakla birlikte, bu% 100 etkili olmayacaktır. Bu, bir ajanın kendi modelini tek başına geliştirebilme ihtimalini göz ardı eder.

Sonuç

Bu nedenle, senaryo bu şekilde çalışıyor: bir programcı AI ve IA geliştiricisinin kayıtlarını ve testlerini kullanarak bilgi edinmesini onaylamaları engellemeye çalışıyor, başarısızlık ihtimalini azaltmaya çalışan daha akıllı ve daha güvenli bir model oluşturmaya çalışıyor.

Bunu nasıl önleyebiliriz?

AI doğrulama ile ilgili birkaç çalışma var. Otomatik doğrulayıcılar sinir ağlarının sağlamlık özelliklerini kanıtlayabilir. Bunun anlamı, eğer NN'nin X girişi, belirli bir on sınırında (bazı metriklerde, örneğin L2'de) daha fazla değilse, NN de aynı cevabı verir.

Bu doğrulayıcılar aşağıdakiler tarafından yapılır:

• Stanford: https://arxiv.org/pdf/1702.01135.pdf
• ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
• Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
• Bosch: https://arxiv.org/pdf/1805.10265.pdf

Bu yaklaşım sinir ağlarının sağlamlık özelliklerini kontrol etmeye yardımcı olabilir. Bir sonraki adım sağlamlık gerektiren böyle bir sinir ağı inşa etmektir. Yukarıdaki yazılardan bazıları, bunun nasıl yapılacağına dair yöntemler de içerir.

Sinir ağlarının sağlamlığını arttırmak için farklı teknikler vardır:

• çeşitli eğitim (bakınız örneğin A. Kurakin ve diğerleri, ICLR 2017 )

• savunma damıtma (bakınız örn. N. Papernot ve diğerleri, SSP 2016 )

• MMSTV savunması ( Maudry ve diğerleri, ICLR 2018 ).

En azından sonuncusu, NN'yi daha sağlam hale getirebilir. Daha literatür bulunabilir burada .

Sistemin güvenli olmadığına inanıyorum, ancak 20-30 yıllık AI gelişimi / evriminden sonra hala bunu söyleyip söyleyemeyeceğimden emin değilim. Her neyse, insanlara AI'yı kandırdığını gösteren makaleler var (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Yapay Zeka Korsanlığa Karşı Hassas mı?

Sorunuzu bir anlığına ters çevirin ve şöyle düşünün:

AI'yı diğer herhangi bir yazılıma kıyasla daha az bir bilgisayar korsanlığı riski altında bırakacak ne olurdu?

Günün sonunda, yazılım bir yazılımdır ve her zaman hatalar ve güvenlik sorunları olacaktır. AI'ler, AI olmayan yazılımın risk altında olduğu tüm problemler için risk altındadır, AI olması bir çeşit dokunulmazlık sağlamaz.

AI'ya özgü kurcalamaya gelince, AI'nın yanlış bilgi beslenmesi riski vardır. Çoğu programın aksine, AI'ın işlevselliği, tükettiği verilerle belirlenir.

Gerçek bir dünya örneği için, birkaç yıl önce Microsoft, Tay adında bir AI chatbot yarattı. Twitter'lıların 24 saatten az bir sürede "Bir duvar inşa edeceğiz ve Meksika bunun için para ödeyecek" demesini öğretmek için aldı:

(Aşağıdaki bağlantılı Verge makalesinden alınan resim, bunun için kredi talep etmiyorum.)

Ve bu buzdağının sadece görünen kısmı.

Tay hakkında bazı makaleler:

• BBC
• Sınır

Şimdi bunun bir sohbet botu olmadığını hayal edin, bir otomobilin yolcularını öldürmemek (yani kendi kendine süren bir araba) veya bir hastayı öldürmemek gibi şeylerden sorumlu olan bir geleceğin önemli bir AI parçası olduğunu hayal edin ameliyat masası (yani bir tür tıbbi yardım ekipmanı).

Biri, bu tür AI'ların bu tür tehditlere karşı daha iyi güvence altına alınacağını ümit eder; ancak birinin, böyle bir AI kitlesel sahte bilgi kitlesini fark etmeden beslemenin bir yolunu bulduğunu varsayalım (sonuçta, en iyi korsanların iz bırakmadığını); yaşam ve ölüm arasındaki fark.

Kendi kendini süren bir araba örneğini kullanarak, yanlış verilerin aracın bir otoyoldayken acil durdurma yapması gerektiğini düşünmesini sağlayabileceğini hayal edin. Tıbbi AI uygulamalarından biri, acil servisteki ölüm kalım kararlarıdır, bir hackerın teraziyi yanlış kararın lehine çevirebileceğini düşünün.

Bunu nasıl önleyebiliriz?

Nihayetinde riskin ölçeği, bağımlı insanların nasıl AI'da olduklarına bağlıdır. Örneğin, insanlar bir AI'nın kararını aldıysa ve asla sorgulamadıysa, kendilerini her türlü manipülasyona açacaklardı. Bununla birlikte, eğer AI analizini bulmacanın sadece bir parçası olarak kullanırlarsa, bir AI yanlış olduğunda, kazara ya da kötü amaçlı yollardan saptamak kolaylaşır.

Tıbbi bir karar vericide, sadece AI'ya inanma, fiziksel testler yapma ve insan görüşleri al. İki doktor AI ile aynı fikirde olmazsa, AI'nın tanısını atınız.

Bir araba söz konusu olduğunda, bir olasılık, yapılması gerekenler hakkında “oy vermesi” gereken birkaç yedekli sisteme sahip olmaktır. Bir otomobilde, hangi işlemin yapılması gerektiğine oy vermesi gereken ayrı sistemlerde birden fazla yapay zeka bulunuyorsa, bir bilgisayar korsanının kontrolü ele geçirmek veya bir çıkmaz oluşturmaya neden olmak için birden fazla AI çalışması yapması gerekir. Önemli olarak, eğer AI'lar farklı sistemlerde çalışıyorsa, birinde kullanılan aynı sömürü, diğerinde yapılamaz ve hacker'ın iş yükünü arttırır.

Akio ile hiçbir sistemin tamamen güvenli olmadığına katılıyorum, ancak alıp götürmek, AI sistemlerinin sürekli iyileştirme yeteneği nedeniyle eski sistemlerle karşılaştırıldığında daha az saldırıya eğilimli olduğu yönünde.

Zaman geçtikçe daha fazla insan bu alana girecek ve yeni fikirler ve donanımlar ortaya çıkacak ve “güçlü AI” olacaklar.

Yapay zeka hacklemeye açık mı?

ipucu; AI'nın savunmasız olduğunu söylerseniz, o zaman burada size böyle bir ifade ile katılmıyorum. Yapay zeka üç kategoriye ayrılır ya da bizim geçmemiz gereken aşamalara ayrılır.

• yapay dar zeka

• yapay genel zeka

• yapay süper zeka

Bu nedenle, ifadenize göre; “Kötü niyetli oyuncuların AI’yı hacklemeye çalışabileceğinden endişe ediyorum…”

Mesaj gövdesindeki örnekler tarafından verilen verilere göre, insan korsanları tarafından bu tür uygulamaları ihlal etmek için kötü niyetli kodlarını bükebilecekleri yapay dar zekâ seviyesindeyiz. Ancak, son Yapay düzeye atlarsak Zeka; o zaman elbette, bir insan bir süper akıllı yazılım programını veya yüksek teknolojili bir süper akıllı ajanı işgal edemez, hacker edemez. Örneğin; Bir insan korsanı, her seferinde bir şey yapar, odak noktasını bölen ve aynı anda birçok çalışanı yapan yapay bir zekanı durduracak hiçbir şey yoktur;

Bilginize

Medyanın genel olarak AI ile ilgili söylediklerine dikkat etmeyin, çünkü basitçe: İnsanları rekabet eden yeni türler olan büyük şeyin olacağını bilemezler

sadece yüksek teknolojiye sahip yeni bir toplumda yaşamayı hayal edin. Siber büyük mücadeleye göz atın

O etkinliği kaçırdıysanız özür dilerim.

Herhangi bir türde istihbarat DNA tabanlı veya yapay olsun, bilgisayar korsanlığına karşı hassastır. İlk önce hacklemeyi tanımlayalım. Bu bağlamda hackleme; statü, finansal kazanç, iş veya devletin bozulması, zorbalık için kullanılabilecek bilgiler, bir iş anlaşmasında veya seçimde üst el, ya da başka bir formda olabilecek belirli amaçlara ulaşmak için zayıflıkların kullanılmasıdır. kontrol veya manipülasyon.

İşte beyin kırma stratejileri ve ortak hedeflerine örnekler. Bunların her birinin bir dijital sistem eşdeğeri vardır.

• Hükümet propagandası - öngörülebilir uyum
• Dolandırıcılık - para
• Sızdırma - komik halk tepkisi
• Rol oynama - erişim kazanmak veya manipüle etmek için güven kazanın
• Ağrı merkezleri - artan gelir için bağımlılıktan yararlanın

Bazıları, akıllı yazılım varlıklarının kendi amaçlarına ulaşmak için insanları ve sosyal yapılarını hackleyebilecekleri Tekillik olarak adlandırılan şeyden endişe duyuyor. İnsanların diğer insanların akıllı ajanlarını hackleyebilmeleri, bariz bir olasılıktır. Eğitim verilerinin tek saldırı noktası olduğunu sanmıyorum.

• Parametre matrislerinin, tespit edilmesi zor bir şekilde üzerine yazılabilir.
• Takviye sinyalleri tahrif edilebilir.
• Giriş izinlerinde bilinen hata ceplerinden yararlanılabilir.
• Dijital sistemlerin deterministik doğası, eğitimli sistemi kopyalayarak ve bir ağ üzerinden çalıştırmadan önce çevrimiçi güvenlik açığı noktaları arayarak diğer derin öğrenciler tarafından kullanılabilir.

Soruda listelenen olasılıklar dikkate alınmayı hak ediyor, ancak bu benim listenin versiyonudur.

• AV hastalıkları cinayeti veya eczanelerde veya hastanelerde sahte kimlik belirleme sistemleri
• Çok fazla sevk edilen ürünün, onlar için ödeme yapmayan bir alıcıya yönlendirilmesi
• Belirli birey gruplarını marjinalleştirerek sosyal soykırım

Bunu önlemenin tek yolu, küresel bir neslin tükenme olayını beklemektir, ancak bunu hafifletmenin yolları olabilir. Tıpkı satanlar, UNIX sistemlerindeki zayıf noktaları bulmak için yazıldığı gibi, akıllı sistemler diğer akıllı sistemlerdeki zayıf noktaları bulmak için tasarlanabilir. Elbette, programlama modelleri ve geleneksel bilgi sistemleri güvenlik göz önünde bulundurularak tasarlanabildiği gibi, kırılganlıkları ilk günden oldukça makul derecede azaltarak, AI sistemleri bu amaç göz önünde bulundurularak tasarlanabilir.

Herhangi bir sistemin bilgi yolunu izlerseniz ve yol boyunca herhangi bir noktada sinyal okuma veya yazma yollarını göz önünde bulundurursanız, bu erişim noktalarına karşı önlem almayı önleyebilirsiniz. Açıkça, eğitim için kullanmak üzere veri toplarken dikkatli olunması bu soruda çok önemlidir ve yetkisiz personele hiçbir fiziksel erişim verilmediğinden emin olmakla birlikte, bilgi yolları boyunca uygun şifreleme gerekir, ancak önlemler ve Bu endişelerden ve fırsatlardan kaynaklanan karşı önlemler.

Bir AI'yi kırmanın birçok yolu vardır. Çocukken bir satranç bilgisayarını nasıl yeneceğimi düşündüm. Her zaman aynı modeli izlerdim, bir kere öğrenirseniz onu istismar edersiniz. Dünyanın en iyi hacker'ı, 4 yaşında, ebeveynlerinde kalıp kuracak kadar farklı şeyler deneyecek bir şey istiyor. Her neyse, AI modellerini öğrenmek için bir Ai alın ve verilen bir kombinasyonla sonucu anlayabilirsiniz. Ayrıca, sadece isteyerek veya tesadüfen kodda sadece düz kusurlar veya arka kapı vardır. Ayrıca AI'nın kendini kırma olasılığı da var. Buna yaramazlık deniyor, küçük çocuğu tekrar hatırla ...

BTW basit bir şekilde AI her zaman güvenli başarısız olur yapmak ... insanların unuttuğu bir şey.