Bilimsel literatürde “tek-sıcak” kodlama nedir?

10

Kategorik bir vektörü alan ve onu bir sıcak kodlama kullanarak ikili temsile dönüştüren operatörün adı nedir? Bilimsel bir makale yazdığım ve bunun için uygun bir isme ihtiyaç duyduğumdan merak ediyorum.

terminology categorical-encoding

— Fractile
kaynak

3

Sahte kodlama başka bir isimdir. Makine öğreniminde, herkes sadece tek bir basit türü kullanır, bu yüzden bunun ne olduğu oldukça açıktır, ancak eksi ve diğer fikirlerle, benzer bir rol oynayan, istatistiklerde kullanılan ve benzeri diğer kontrast kodlama türleri (başka bir ad) vardır. biraz daha spesifik olabilirsiniz.

— Gijs

7

İstatistik ve veri analizinde, makine öğrenmesinden çok önce, bu tür kategorik kodlama, kukla değişkenler, yani gösterge tipi kontrast değişkenleri olarak bilinir .

— ttnphns

18

İstatistikçiler tek-sıcak kodlamayı kukla kodlama olarak adlandırırlar . Diğerlerinin önerdiği gibi ( yorumlarda Scortchi dahil ), bu tam eşanlamlı değildir, ancak bu genellikle 0-1 kodlu kategorik değişkenler için kullanılacak olan terimdir.

Ayrıca bkz: Nominal / kategorik veriler için "kukla değişken" ile "gösterge değişkeni"

— Tim
kaynak

3

Duh !! Bunu unuttuğuma inanamıyorum. Onlara gösterge olarak da değiniyorum.

— Tim Atreides

2

"Kukla kodlama" nın iyi bir eşanlamlı olduğunu düşünmüyorum. Genel anlamda ya bir dizi sayısal değişkeni olan bir kategorik değişkeni temsil etmek, ya da "tek-sıcak kodlama" dan farklı olarak "referans-seviye kodlama" için, örneğin tek-sıcak kodlama ile kukla kodlama problemlerinde . "Seviye-kodlama anlamına gelir" (bkz . Regresyon modellerinde “ortalama kodlama” (kukla kodlama ve efekt kodlaması gibi) denilen bir şey var mı? ) Tek-sıcak kodlamayı ifade eder, ancak belki de doğrusal bir model bağlamını ifade eder ...

— Scortchi - Reinstate Monica

2

... genel kullanım içindir.

— Scortchi - Monica'yı eski durumuna döndürün

3

Ben daha önce hiç bir tanım görmedim, ama bana göre kukla değişkenler her zaman N faktörleri (N-1) değişkenleri ile kodlama anlamına gelirken, bir sıcak kodlama N faktörleri N değişkenleri ile kodlayacaktır. Bu fark pratikte son derece önemlidir. Regresyonlar için bir-sıcak kodlama kullanılırsa, değişkenlerin bağımlılığı nedeniyle saçma olur!

— meh

2

@aginensky İnsanlar tam olarak hangi değişkenlere sahip olduklarına kesinlikle dikkat etseler de, iyi bir regresyon rutini bu durumda saçmalık üretmeyecektir: sadece bir öngörücüyü atlayacak ve size söyleyecektir.

— Nick Cox

8

Hedef kitlenize bağlıdır.

As Tim söyledi, istatistikçiler kodlama kukla diyoruz ve regresyon modeli gibi bir şey anlatırken ne beklenir en görmek için bu. "Mağazanın konumuna göre ayarlamak için kukla kodlanmış değişkenler dahil edildi." Bence bir sıcak kodlama burada biraz garip görünebilir.

Bununla birlikte, başka bir Tim'in de söylediği gibi, bir sıcak kodlama, makine öğrenimi literatüründe oldukça yaygındır. En azından benim için düğümlerin (sinir ağında olduğu gibi), fiziksel tellerin (bir cihazda) veya bunun gibi bir şeyin varlığını hafifçe ima eder.

Resmi olarak, sanırım bir dizi gösterge işlevi uyguluyorsunuz , ancak bu muhtemelen bir kanıtın dışında çok resmi. $\mathbb{I}_X$

— Matt Krause
kaynak

6

Terim elektronik mühendisliğinden gelir. Sadece kimin "sıcak" diyeceğini düşünün? Sadece "sıcak" veya "canlı" elektrikle çalışanlar , tel üzerinde elektrik potansiyeli olduğu anlamına gelir . "Bir sıcak", bir kablo üzerindeki ayrı elektrik sinyal seviyesinin, bir kablo seti üzerinde sıcak / soğuğa çözüleceği devre tasarımını ifade eder. Ben EE arka plan ile bazı makine öğrenme millet analoji ilgi çekici buldum sanırım.

Ekonometri ve istatistiklerde karşılaşabileceğiniz dummyya indicatorda oldukça benzer olan değişkenler, çünkü bunlar farklı göstergeleriyle farklı kategorileri temsil etmek için kullanılır. Ancak ince bir fark var. Örneğin, K kategorileri için K-1 mankenleri yaparsınız, çünkü temel kategori 0'a ayarlanmış tüm mankenlere karşılık gelir. Buna karşılık, bir sıcak kodlamada, temel kategorinin kendi kablosuna sahip olacağı K telleri olduğunu düşünüyorum ( değişken).

— Aksakal
kaynak

5

İstatistiksel olarak eğitildim ve kısa süre önce makine öğrenimi / comp sci lit'te "tek etkin kodlama" yı duydum. Genellikle tek ısıtmalı matrise tasarım matrisi / veri matrisi / tasarım çerçevesi olarak değindim.

— Tim Atreides
kaynak

Alıntı yapabileceğim bir referans var mı? Bilimsel bir yayın yazıyorum ve makale ML topluluğu için değil, daha geniş olduğu için tüm okuyucular için bu yöntem hakkında netleştirmek istiyorum.

— fraktil

"Tek seferlik" bir fiil olarak duyduğumu söyleyemem. Ama ben buna benzer şekilde matematiksel / istatistiksel yönden geliyorum. ("One-hotted" ile ilgili Google sonuçları ilgi çekicidir - makine öğrenmenin anlamını ve "hotted-up car" hakkında konuşan insanların bir karışımını alıyorum.)

— Michael Lugo

3

Fizik bilimlerinde ve mühendislikte buna (genelleştirilmiş) Kronecker deltası denir .

En basit şekilde, olarak tanımlanan Kroneker deltası bu önemsiz bir şekilde

\begin{aligned} δ_{i, j} \equiv {\begin{cases} 1 & if & i = j \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i,j} {\equiv} \begin{cases} 1 &\text{if} & i=j \\ 0 &\text{else} \end{cases} \end{align*},$

\begin{aligned} δ_{[condition]} \equiv {\begin{cases} 1 & if & [condition] \\ 0 & else \end{cases} \end{aligned} .

$\begin{align*} {\delta}_{\left[\text{condition}\right]} {\equiv} \begin{cases} 1 &\text{if} & \left[\text{condition}\right] \\ 0 &\text{else} \end{cases} \end{align*}.$

Bu nedenle, " " hangilerinin en çok kategori bağlamda açıksa yazarlar " " şeklinde kısalırlar. ${\delta}_{i{\in}\text{category}}$

\begin{aligned} δ_{i \in category} \equiv {\begin{cases} 1 & if & i \in category \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i{\in}\text{category}} {\equiv} \begin{cases} 1 &\text{if} & i{\in}\text{category} \\ 0 &\text{else} \end{cases} \end{align*},$

δ_{i}

${\delta}_{i}$

Kronecker deltası Sigma / Pi / Einstein / vb. terimlerin koşullu olarak belirtilmesine izin verdiğinden gösterimler.

Sadece ortak programlama yapılarına bu ilişkilendirmek, Kronecker delta en condition?1:0nerede ?:olduğunu koşullu operatör .

Teğetsel bir not olarak, yazarları eski moda genel eşdeğer lehine terk etmeye teşvik ediyorum . Eski moda notasyonunun bir avantajı yoktur, genelleştirilmiş notasyon daha açık ve genişletilebilir. ${\delta}_{i,j}$ ${\delta}_{i=j}$

— Nat
kaynak

Burada bağlantıyı göremiyorum. Bir etkin değişken, bir değişkeni değişkenin her durumu için bir kümeye çözer. Kronecker deltası bu uygulamada nasıl kullanılır?

— Aksakal

@Aksakal Bu yazı , " ŞirketAdı " kategorisini olası değerlerle " VW ", " Acura " ve " Honda " olarak kodlayan ve bu değer adlarıyla üç değişkeni olan bir örnek, Burada @ Tim'in cevabı bu "kukla değişkenler" olarak adlandırılır. Bunlar Kronecker deltaları , ve .

{0, 1}

$\left\{0,1\right\}$

δ_{VW}

${\delta}_{\text{VW}}$

δ_{Acura}

${\delta}_{\text{Acura}}$

δ_{Honda}

${\delta}_{\text{Honda}}$

— Nat

@Aksakal Genelleştirilmiş gösterimi tercih ederim, ancak eski gösterimde , vb. .

δ_{i, j}

${\delta}_{i,j}$

δ_{CompanyName, VW}

${\delta}_{\text{CompanyName},\text{VW}}$

— Nat

Kukla şu şekilde çalışır: ve adlı değişkenlere . Gözlemleriniz , bu nedenle ve değerlerini , araç HONDA olduğunda her ikisi de sıfırdır. Burada Not arabanın markası değil, gözlem numarası. Bunu Kronecker deltasına nasıl bağladığınızı hala göremiyorum. , orijinal değişken olsaydı, delta

V W

$VW$

A C U R A

$ACURA$

i = 1.. N

$i=1..N$

V W_{i}

$VW_i$

A C U R A_{i}

$ACURA_i$

i

$i$

C A R_{i}

$CAR_i$

V W_{i} = δ (C A R_{i}, V W)

$VW_i=\delta(CAR_i,VW)$

— Aksakal

@Aksakal " " adını verdiğiniz değer veya . Eğer bir VW, o zaman olurdu ; aksi takdirde .

{V W}_{i}

${VW}_{i}$

{δ_{VW}}_{i}

${{\delta}_{\text{VW}}}_i$

δ_{i \in VW}

${\delta}_{i{\in}\text{VW}}$

i

$i$

1

$1$

0

$0$

— Nat

2

Christopher Bishop'un Örüntü Tanıma ve Makine Öğrenmesi -of- şemasını kullanır . $1$ $K$

İşte kitaptan bir alıntı,

İkili değişkenler, iki olası değerden birini alabilen miktarları tanımlamak için kullanılabilir. Bununla birlikte, çoğu kez, birbirini dışlayabileceği olası durumlardan birini üstlenebilecek ayrı değişkenlerle karşılaşırız . Bu tür değişkenleri ifade etmenin çeşitli alternatif yolları olmasına rağmen, kısa bir süre içinde özellikle uygun bir gösterimin, değişkenin, aşağıdakilerden birinin bulunduğu -boyutlu bir vektör ile temsil edildiği of- şeması olduğunu göreceğiz . elemanları eşittir ve geri kalan bütün elemanları eşit . Örneğin, alabilecek bir değişkenimiz varsa $K$ $1$ $K$ $K$ $\textbf{x}$ $x_k$ $1$ $0$ $K = 6$ durumlar ve değişkenin belirli bir gözlemi, olduğu duruma karşılık gelir. $x_3 = 1$ $\textbf{x}$

$\textbf{x} = (0, 0, 1, 0, 0, 0)^{T}$

— kedarps
kaynak