Elastik Arama sunucusundaki tüm dizinler listeleniyor mu?

Elastik Arama sunucusunda bulunan tüm dizinleri listelemek istiyorum. Bunu denedim:

curl -XGET localhost:9200/

ama bana sadece şunu veriyor:

{
  "ok" : true,
  "status" : 200,
  "name" : "El Aguila",
  "version" : {
    "number" : "0.19.3",
    "snapshot_build" : false
  },
  "tagline" : "You Know, for Search"
}

Tüm indekslerin bir listesini istiyorum ..

Kümenizdeki tüm dizinlerin kısa bir listesi için arayın

curl http://localhost:9200/_aliases

bu size indekslerin ve takma adlarının bir listesini verecektir.

Güzel yazdırılmasını istiyorsanız ekleyin pretty=true:

curl http://localhost:9200/_aliases?pretty=true

Senin endeksleri denir eğer sonuç, bu gibi bir şey olacaktır old_deuteronomyve mungojerrie:

{
  "old_deuteronomy" : {
    "aliases" : { }
  },
  "mungojerrie" : {
    "aliases" : {
      "rumpleteazer" : { },
      "that_horrible_cat" : { }
    }
  }
}

Deneyin

curl 'localhost:9200/_cat/indices?v'

Tablo şeklinde kendi kendini açıklayan çıktıları takip etmenizi sağlar.

health index    pri rep docs.count docs.deleted store.size pri.store.size
yellow customer   5   1          0            0       495b           495b

Sorgulayabilirsiniz localhost:9200/_statusve bu size her biri hakkında bir indeks listesi ve bilgi verecektir. Yanıt şöyle görünecektir:

{
  "ok" : true,
  "_shards" : { ... },
  "indices" : {
    "my_index" : { ... },
    "another_index" : { ... }
  }
}

_Stats komutu, istenen metrikleri belirterek sonuçları özelleştirmek için yollar sağlar. Endeksleri almak için sorgu aşağıdaki gibidir:

GET /_stats/indices

_statsSorgunun genel biçimi :

/_stats
/_stats/{metric}
/_stats/{metric}/{indexMetric}
/{index}/_stats
/{index}/_stats/{metric}

Metrikler nerede:

indices, docs, store, indexing, search, get, merge, 
refresh, flush, warmer, filter_cache, id_cache, 
percolate, segments, fielddata, completion

Kendime bir alıştırma olarak, elasticsearch indekslerini başka bir bilgi olmadan listeleme işlevselliği sağlayan küçük bir elasticsearch eklentisi yazdım. Aşağıdaki url'de bulabilirsiniz:

http://blog.iterativ.ch/2014/04/11/listindices-writing-your-first-elasticsearch-java-plugin/

https://github.com/iterativ/elasticsearch-listindices

Bunu tüm endeksleri almak için kullanıyorum:

$ curl --silent 'http://127.0.0.1:9200/_cat/indices' | cut -d\  -f3

Bu liste ile üzerinde çalışabilirsiniz ...

Misal

$ curl -s 'http://localhost:9200/_cat/indices' | head -5
green open qa-abcdefq_1458925279526           1 6       0     0   1008b    144b
green open qa-test_learnq_1460483735129    1 6       0     0   1008b    144b
green open qa-testimportd_1458925361399       1 6       0     0   1008b    144b
green open qa-test123p_reports                1 6 3868280 25605   5.9gb 870.5mb
green open qa-dan050216p_1462220967543        1 6       0     0   1008b    144b

Yukarıdaki 3. sütunu almak için (dizinlerin adları):

$ curl -s 'http://localhost:9200/_cat/indices' | head -5 | cut -d\  -f3
qa-abcdefq_1458925279526
qa-test_learnq_1460483735129
qa-testimportd_1458925361399
qa-test123p_reports
qa-dan050216p_1462220967543

NOT: Bunun awk '{print $3}'yerine de kullanabilirsiniz cut -d\ -f3.

Sütun Başlıkları

?vSütun üstbilgisi eklemek için sorguyu a ile son ekleyebilirsiniz. Bunu yapmak cut...yöntemi kıracak, bu yüzden awk..seçimi bu noktada kullanmanızı tavsiye ederim .

$ curl -s 'http://localhost:9200/_cat/indices?v' | head -5
health status index                              pri rep docs.count docs.deleted store.size pri.store.size
green  open   qa-abcdefq_1458925279526             1   6          0            0      1008b           144b
green  open   qa-test_learnq_1460483735129      1   6          0            0      1008b           144b
green  open   qa-testimportd_1458925361399         1   6          0            0      1008b           144b
green  open   qa-test123p_reports                  1   6    3868280        25605      5.9gb        870.5mb

Ayrıca dizinlerinizin okunabilir güzel bir listesini veren / _cat / dizinleri yapmanızı tavsiye ederim.

Yalnızca dizinlerin bir listesini almanın en basit yolu yukarıdaki cevabı 'h = index' parametresiyle kullanmaktır:

curl -XGET "localhost:9200/_cat/indices?h=index"

curl -XGET 'http://localhost:9200/_cluster/health?level=indices'

Bu aşağıdaki gibi çıkacaktır

{
  "cluster_name": "XXXXXX:name",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 3,
  "number_of_data_nodes": 3,
  "active_primary_shards": 199,
  "active_shards": 398,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 0,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 100,
  "indices": {
    "logstash-2017.06.19": {
      "status": "green",
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "active_primary_shards": 3,
      "active_shards": 6,
      "relocating_shards": 0,
      "initializing_shards": 0,
      "unassigned_shards": 0
    },
    "logstash-2017.06.18": {
      "status": "green",
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "active_primary_shards": 3,
      "active_shards": 6,
      "relocating_shards": 0,
      "initializing_shards": 0,
      "unassigned_shards": 0
    }}

Size kibana'da çalıştırabileceğiniz sorguyu vereceğim.

GET /_cat/indices?v

ve CURL sürümü

CURL -XGET http://localhost:9200/_cat/indices?v

You may use this command line.

curl -X GET "localhost: 9200 / _cat / dizinler? v"

Daha fazla bilgi için (Elasticsearch Resmi sitesi)

Endeksleri listelemek için şunları yapabilirsiniz: curl 'localhost: 9200 / _cat / indices? V' Elasticsearch Documentation

Güvenli Elastik Aramaya Kıvrılma Yoluyla Erişme (Güncelleme 2020)

Eğer Elastic Searchsabitlenir, Sen liste indeksleri için bu komutu kullanabilirsiniz

curl http://username:password@localhost:9200/_aliases?pretty=true

_stats/indicessonucu verir indices.

$ curl -XGET "localhost:9200/_stats/indices?pretty=true"
{
  "_shards" : {
    "total" : 10,
    "successful" : 5,
    "failed" : 0
  },
  "_all" : {
    "primaries" : { },
    "total" : { }
  },
  "indices" : {
    "visitors" : {
      "primaries" : { },
      "total" : { }
    }
  }
}

Buradaki insanlar bunu kıvrılma ve anlamla nasıl yapacağını yanıtladı, bazı insanların bunu java'da yapması gerekebilir.

İşte gidiyor

client.admin().indices().stats(new IndicesStatsRequest()).actionGet().getIndices().keySet()

Bu kedi API'sını deneyin: size sağlık ve diğer ayrıntılarla tüm endekslerin listesini verecektir.

CURL -XGET http: // localhost: 9200 / _cat / dizinler

Elasticsearch 6.X için aşağıdakileri en yararlı buldum. Her biri yanıtta farklı veriler sağlar.

# more verbose
curl -sS 'localhost:9200/_stats' | jq -C ".indices" | less

# less verbose, summary
curl -sS 'localhost:9200/_cluster/health?level=indices' | jq -C ".indices" | less

Ayrıca aşağıdakileri kullanarak belirli bir dizin alabilirsiniz:

curl -X GET "localhost:9200/<INDEX_NAME>"
e.g.   curl -X GET "localhost:9200/twitter"
You may get output like:
{
  "twitter": {
     "aliases": { 

     },
     "mappings": { 

     },
     "settings": {
     "index": {
        "creation_date": "1540797250479",
        "number_of_shards": "3",
        "number_of_replicas": "2",
        "uuid": "CHYecky8Q-ijsoJbpXP95w",
        "version": {
            "created": "6040299"
        },
       "provided_name": "twitter"
      }
    }
  }
}

Daha fazla bilgi için

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-get-index.html

İşte sadece db endeksleri görmek için başka bir yol:

curl -sG somehost-dev.example.com:9200/_status --user "credentials:password" | sed 's/,/\n/g' | grep index | grep -v "size_in" | uniq


{ "index":"tmpdb"}

{ "index":"devapp"}

Endeksleri listelemenin en iyi yollarından biri + durumunu listeyle birlikte görüntülemek için: sadece aşağıdaki sorguyu çalıştırmaktır.

Not: uygun çıktıyı almak için tercihen Sense kullanın.

curl -XGET 'http://localhost:9200/_cat/shards'

Örnek çıktı aşağıdaki gibidir. Temel avantajı, temel olarak dizin adını ve içine kaydettiği parçaları, dizin boyutunu ve parçaları ip vb.

index1     0 p STARTED     173650  457.1mb 192.168.0.1 ip-192.168.0.1 
index1     0 r UNASSIGNED                                                 
index2     1 p STARTED     173435  456.6mb 192.168.0.1 ip-192.168.0.1 
index2     1 r UNASSIGNED                                                 
...
...
...

Kullandığım _stats/indexesverilerin bir json damla ve daha sonra filtreyi almak için son nokta JQ .

curl 'localhost:9200/_stats/indexes' | jq '.indices | keys | .[]'

"admin"
"blazeds"
"cgi-bin"
"contacts_v1"
"flex2gateway"
"formmail"
"formmail.pl"
"gw"
...

Tırnak işareti istemiyorsanız -rjq'ye bir bayrak ekleyin .

Evet, bitiş noktası indexesve veri anahtarı indices, bu yüzden de kararlarını veremediler :)

Bir iç güvenlik taraması (nessus) tarafından oluşturulan bu çöp dizinlerini temizlemek için buna ihtiyacım vardı.

PS. Komut satırından ES ile etkileşime girecekseniz jq ile tanışmanızı şiddetle tavsiye ederim .

<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch</artifactId>
    <version>2.4.0</version>
</dependency>

Java API'sı

Settings settings = Settings.settingsBuilder().put("cluster.name", Consts.ES_CLUSTER_NAME).build();
TransportClient client = TransportClient.builder().settings(settings).build().addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("52.43.207.11"), 9300));
IndicesAdminClient indicesAdminClient = client.admin().indices();
GetIndexResponse getIndexResponse = indicesAdminClient.getIndex(new GetIndexRequest()).get();
for (String index : getIndexResponse.getIndices()) {
    logger.info("[index:" + index + "]");
}

FutureScala'da çalışıyorsanız, bunu yapmanın ve kullanmanın bir yolu bir RequestExecutor oluşturmaktır, ardından isteğinizi göndermek için IndicesStatsRequestBuilder ve yönetici istemcisini kullanın.

import org.elasticsearch.action.{ ActionRequestBuilder, ActionListener, ActionResponse }
import scala.concurrent.{ Future, Promise, blocking }

/** Convenice wrapper for creating RequestExecutors */
object RequestExecutor {
    def apply[T <: ActionResponse](): RequestExecutor[T] = {
        new RequestExecutor[T]
    }
}

/** Wrapper to convert an ActionResponse into a scala Future
 *
 *  @see http://chris-zen.github.io/software/2015/05/10/elasticsearch-with-scala-and-akka.html
 */
class RequestExecutor[T <: ActionResponse] extends ActionListener[T] {
    private val promise = Promise[T]()

    def onResponse(response: T) {
        promise.success(response)
    }

    def onFailure(e: Throwable) {
        promise.failure(e)
    }

    def execute[RB <: ActionRequestBuilder[_, T, _, _]](request: RB): Future[T] = {
        blocking {
            request.execute(this)
            promise.future
        }
    }
}

İcracı bu blog yazısından kaldırılır ve bu da kıvrımdan değil ES programlı olarak sorgulamaya çalışıyorsanız kesinlikle iyi bir okuma olur. Bu bir tane var gibi kolayca tüm dizinlerin bir listesini oluşturabilirsiniz:

def totalCountsByIndexName(): Future[List[(String, Long)]] = {
    import scala.collection.JavaConverters._
    val statsRequestBuider = new IndicesStatsRequestBuilder(client.admin().indices())
    val futureStatResponse = RequestExecutor[IndicesStatsResponse].execute(statsRequestBuider)
    futureStatResponse.map { indicesStatsResponse =>
        indicesStatsResponse.getIndices().asScala.map {
            case (k, indexStats) => {
                val indexName = indexStats.getIndex()
                val totalCount = indexStats.getTotal().getDocs().getCount()
                    (indexName, totalCount)
                }
        }.toList
    }
}

clientbir düğüm veya aktarım istemcisi olabilen, hangisi ihtiyaçlarınıza uygun olursa olsun , İstemci örneğidir . Ayrıca ExecutionContext, bu istek için örtük bir kapsamınızın olması gerekir . Bu kodu onsuz derlemeye çalışırsanız, önceden alınmış bir dosyanız yoksa, scala derleyicisinden bunu nasıl alacağınıza dair bir uyarı alırsınız.

Belge sayımına ihtiyacım vardı, ancak gerçekten sadece indekslerin adlarına ihtiyacınız varsa, bunları haritanın anahtarlarından çekebilirsiniz IndexStats:

indicesStatsResponse.getIndices().keySet()

Bu soru, bunu programlı olarak yapmaya çalışsanız bile, bunu nasıl yapacağınızı ararken ortaya çıkıyor, bu yüzden umarım bu, scala / java'da bunu yapmak isteyen herkese yardımcı olur. Aksi takdirde, curl kullanıcıları en üstteki cevabın söylediği gibi kullanabilir ve kullanabilir

curl http://localhost:9200/_aliases

bu komutu deneyebilirsin

curl -X GET http: // localhost: 9200 / _cat / dizinler? v

Bir makineye Kibana ve ES taktım. Ama ayrıntıları bilmiyordum (hangi yolda veya limanda) o makinedeki ES düğümü.

Peki bunu Kibana'dan (sürüm 5.6) nasıl yapabilirsiniz?

• Geliştirici Araçlarına git
• Konsol bölümüne bakın ve aşağıdaki sorguyu çalıştırın:

GET _cat/indices

Belirli bir ES dizininin boyutunu bulmakla ilgileniyordum

Sisteminizde curl yüklüyse, şu basit komutu deneyin: curl -XGET xx.xx.xx.xx: 9200 / _cat / indices? V

Yukarıda belirtilen komut size şu biçimde sonuç verir: tüm dizinleri getirme sonucu