Spark Kill Koşu Uygulaması

102

Diğer uygulamalarımın herhangi bir kaynak tahsis etmeyeceği tüm çekirdekleri kapladığı çalışan bir Spark uygulamam var.

Hızlı bir araştırma yaptım ve insanlar komutu öldürmek için YARN kill veya / bin / spark-class kullanmayı önerdiler. Ancak, CDH sürümünü kullanıyorum ve / bin / spark-class hiç mevcut değil, YARN kill uygulaması da çalışmıyor.

görüntü açıklamasını buraya girin

Bununla benimle birlikte biri olabilir mi?

apache-spark yarn pyspark

— B.Mr.W.
kaynak

1

bir test ortamındaysanız: ps aux | grep spark -> kıvılcım

— pidini

@eliasah "test env", bana iş zaten dağıtıldı ..

— B.Mr.W.

1

üretimde bir işi öldürmek mi istiyorsunuz ????

— eliasah

1

@eliasah Evet ... bir ana bilgisayardaki başarısızlık nedeniyle üretimdeki bir iş askıya alındı.

— B.Mr.W.

216

kıvılcım planlayıcısından uygulama kimliğini geçerek kopyala, örneğin application_1428487296152_25597
işi başlatan sunucuya bağlan
yarn application -kill application_1428487296152_25597

— Gérald Reinhart
kaynak

1

Kıvılcım planlayıcıya nasıl ulaşırsınız?

— makansij

İle aynı web UImı?

— makansij

@Hunle Kimliği, YARN uygulamaları kullanıcı arayüzünden Spark History UIveya RUNNING( iplik-ana bilgisayar: 8088 / küme / uygulamalar / ÇALIŞMA ) veya Spark Job Web UIURL'den ( iplik-ana bilgisayar: 8088 / proxy / uygulama_ <timestamp> _ <id> ) alabilirsiniz

— CᴴᴀZ

2

tek seferde birkaç tane öldürebilir: iplik uygulaması -kill application_1428487296152_25597 application_1428487296152_25598 ... ??

— user3505444

7

YARN'den tüm uygulama kimliklerini alıp tek tek öldürmek zaman alıcı olabilir. Bu tekrarlayan görevi aşağıda gösterildiği gibi hızlı ve verimli bir şekilde gerçekleştirmek için Bash for döngüsü kullanabilirsiniz:

KABUL EDİLDİ durumunda olan tüm uygulamaları YARN üzerinde sonlandırın:

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

YARN üzerinde RUNNING durumunda olan tüm uygulamaları sonlandırın:

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

— Anil Kumar
kaynak

3

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API

PUT http: // {rm http adresi: bağlantı noktası} / ws / v1 / küme / uygulamalar / {uygulama kimliği} / durum

{
  "state":"KILLED"
}

— Starwalker
kaynak

1

Bu etik ve tercih edilen bir çözüm olmayabilir, ancak iplik uygulama komutunu kullanarak işi sonlandırmak için konsola erişemediğiniz ortamlarda yardımcı olur.

Adımlar

Kıvılcım işinin uygulama ana sayfasına gidin. İşler bölümüne tıklayın. Aktif işin aktif aşamasına tıklayın. Aktif etabın hemen yanında "öldür" butonunu göreceksiniz.

Bu, sonraki aşamalar şu anda devam eden aşamaya bağlıysa çalışır. İşi "Kullanıcı Tarafından Öldürüldü" olarak işaretlese de

— Sachin Gaikwad
kaynak