Grep`de onaltılık kodları kullanarak karakterleri nasıl belirleyebilirim?

Onaltılık kod 0900 (अ yerine) ile 097F (व yerine) karakter kümesi aralığını greplemek için aşağıdaki komutu kullanıyorum. Onaltılık kodu अ ve व yerine nasıl kullanabilirim?

bzcat archive.bz2 | grep -v '<[अ-व]*\s' | tr '[:punct:][:blank:][:digit:]' '\n' | uniq | grep -o '^[अ-व]*$' | sort -f | uniq -c | sort -nr | head -50000 | awk '{print "<w f=\""$1"\">"$2"</w>"}' > hindi.xml

Aşağıdaki çıktıyı alıyorum:

    <w f="399651">और</w>
    <w f="264423">एक</w>
    <w f="213707">पर</w>
    <w f="74728">कर</w>
    <w f="44281">तक</w>
    <w f="35125">कई</w>
    <w f="26628">द</w>
    <w f="23981">इन</w>
    <w f="22861">जब</w> 
    ...

Sadece yukarıdaki komutta अ ve व yerine onaltılık kod kullanmak istiyorum.

Onaltılık kod kullanmak hiç mümkün değilse, karakter kümesi için onaltılı kod yerine unicode kullanabilir miyim ('अ-व')?

Ubuntu 10.04 kullanıyorum

Bu soruya bak .

Metin genellikle UTF-8 ile kodlanmıştır; bu yüzden utf-8 kodlamasında kullanılan baytların onaltılık değerlerini kullanmalısınız.

grep "["$'\xe0\xa4\x85'"-"$'\xe0\xa4\xb5'"]"

ve

grep '[अ-व]'

eşdeğerdir ve onlar olduğunu, eşleştirme (olduğu, eşleştirme edilir Devanagarca script sıralama kurallarına bağlıdır (bir yerel bazlı eşleştirme gerçekleştirmek DEĞİL ancak bunun yerine "\ u0905 ve \ 0935 arasında herhangi bir karakter" "şey devanagari arasındaki sıralama A ve devanagari VA "; farklılıklar olabilir.

Öte yandan, bu (not -P) var:

grep -P "\xe0\xa4[\x85-\xb5]"

Bu byte değerleri ile ikili bir eşleştirme yapacaktır .

Kabuk kaçması yeterliyse, aşağıdaki $'\xHH'gibi sözdizimini kullanabilirsiniz :

grep -v "<["$'\x09\x00'"-"$'\x09\x7F'"]*\s"

Bu senin kullanım durumun için yeterli mi?

0x0900Yazdığınız "onaltılık" değeri tam olarak onaltılık olan UNICODE kod noktasının değeridir.

onaltılık kod 0900 (अ yerine)

Ben ne demek onaltılık UNICODE kod noktası olduğuna inanıyoruz: U0905.

U-0900 de karakter kullandığınız biri değil: अ.
Bu karakter U0905 , bu Unicode sayfasının bir parçası veya bu sayfada listelenmiştir .

In bash(Ubuntu varsayılan olarak yüklenir) veya doğrudan programda ile: /usr/bin/printf(ama ile shprintf), bir Unicode karakter ile üretilmiş olabilir:

$ printf '\u0905'
अ
$ /usr/bin/printf '\u0905'
अ

Bununla birlikte, bir kod noktası numarasından gelen bu karakter, hangi kod sayfasının kullanıldığına bağlı olarak birkaç bayt akışı ile temsil edilebilir.
O açık olmalı \U0905olan 0x09 0x05UTF-16 (UCS-2, vb)
ve 0x00 0x00 0x09 0x05UTF-32.
Açık olmayabilir ama utf-8'de aşağıdakiler ile temsil edilir 0xe0 0xa4 0x85:

$ /usr/bin/printf '\u0905' | od -vAn -tx1
e0 a4 85

Konsolunuzun yerel ayarına benzer bir şey varsa en_US.UTF-8.

Ve ben kabuktan bahsediyorum çünkü uygulamanın aldığı şeye dize dönüştüren odur. Bu:

grep "$(printf '\u0905')" file

grep'i ihtiyacınız olan karakteri "görmenizi" sağlar.
Yukarıdaki satırı anlamak için yankı kullanabilirsiniz:

$ echo grep "$(printf '\u0905')" file
grep अ file

Ardından, istediğiniz gibi bir karakter aralığı oluşturabiliriz:

$ echo grep "$(printf '[\u0905-\u097f]')" file
grep [अ-ॿ] file

Bu sorunuza cevap veriyor:

Onaltılık kodu अ ve व yerine nasıl kullanabilirim?

ascii olmayan açık ikili alıntıyı ve çiftli alıntıyı normal çift tırnaklara (") dönüştürmek istedik.

onları dosyada görmek için (ubuntu bash kabuğu):

$ grep -P "\x92" infile.txt  (single)
$ grep -P "\x93" infile.txt  (open double)
$ grep -P "\x94" infile.txt  (close double)

onları Çevir:

$ /bin/sed "s/\x92/'/g" a.txt > b.txt
$ /bin/sed 's/\x93/"/g' b.txt > c.txt
$ /bin/sed 's/\x94/"/g' c.txt > d.txt