Java'da Dizeleri UTF8 bayt dizilerine dönüştürme

Java, ben bir String var ve bir bayt dizisi (UTF8 veya başka bir kodlama) olarak kodlamak istiyorum. Alternatif olarak, bir bayt dizisi (bazı bilinen kodlamada) var ve bir Java String dönüştürmek istiyorum. Bu dönüşümleri nasıl yaparım?

Dönüştürmek Dize byte []:

String s = "some text here";
byte[] b = s.getBytes(StandardCharsets.UTF_8);

Dönüştürmek byte [] için Dize:

byte[] b = {(byte) 99, (byte)97, (byte)116};
String s = new String(b, StandardCharsets.US_ASCII);

Elbette doğru kodlama adını kullanmalısınız. Örneklerimde en yaygın iki kodlama olan US-ASCII ve UTF-8 kullanıldı.

Aşağıda, her dönüşüm için Karakter Kümesi araması yapmaktan kaçınan bir çözüm bulunmaktadır:

import java.nio.charset.Charset;

private final Charset UTF8_CHARSET = Charset.forName("UTF-8");

String decodeUTF8(byte[] bytes) {
    return new String(bytes, UTF8_CHARSET);
}

byte[] encodeUTF8(String string) {
    return string.getBytes(UTF8_CHARSET);
}

String original = "hello world";
byte[] utf8Bytes = original.getBytes("UTF-8");

Doğrudan String (byte [], String) yapıcısı ve getBytes (String) yöntemi ile dönüştürebilirsiniz. Java, kullanılabilir karakter kümelerini Charset sınıfı aracılığıyla gösterir . JDK belgeleri desteklenen kodlamaları listeler .

Zamanın% 90'ı, bu tür dönüşümler akışlarda gerçekleştirilir, bu nedenle Reader / Writer sınıflarını kullanırsınız. Rasgele bayt akışlarında String yöntemlerini kullanarak aşamalı olarak kod çözemezsiniz - kendinizi çok baytlı karakterleri içeren hatalara açık bırakırsınız.

Tomcat7 uygulamam dizeleri ISO-8859-1 olarak kabul ediyor; HTTP isteğinin içerik türüne rağmen. 'É' gibi karakterleri doğru yorumlamaya çalışırken aşağıdaki çözüm benim için çalıştı.

byte[] b1 = szP1.getBytes("ISO-8859-1");
System.out.println(b1.toString());

String szUT8 = new String(b1, "UTF-8");
System.out.println(szUT8);

Dizeyi US-ASCII olarak yorumlamaya çalışırken bayt bilgisi doğru şekilde yorumlanmamıştır.

b1 = szP1.getBytes("US-ASCII");
System.out.println(b1.toString());

Alternatif olarak Apache Commons'tan StringUtils kullanılabilir.

 byte[] bytes = {(byte) 1};
 String convertedString = StringUtils.newStringUtf8(bytes);

veya

 String myString = "example";
 byte[] convertedBytes = StringUtils.getBytesUtf8(myString);

Standart olmayan karakter kümeniz varsa, buna göre getBytesUnchecked () veya newString () öğesini kullanabilirsiniz .

Bir bayt dizisini normal bir dize mesajına çözmek için sonunda bu kodla UTF-8 kodlamasıyla çalıştım:

/* Convert a list of UTF-8 numbers to a normal String
 * Usefull for decoding a jms message that is delivered as a sequence of bytes instead of plain text
 */
public String convertUtf8NumbersToString(String[] numbers){
    int length = numbers.length;
    byte[] data = new byte[length];

    for(int i = 0; i< length; i++){
        data[i] = Byte.parseByte(numbers[i]);
    }
    return new String(data, Charset.forName("UTF-8"));
}

7 bit ASCII veya ISO-8859-1 (inanılmaz derecede yaygın bir biçim) kullanıyorsanız, yeni bir java.lang.String oluşturmanız gerekmez . Baytı char'a dökmek çok daha performanslıdır:

Tam çalışma örneği:

for (byte b : new byte[] { 43, 45, (byte) 215, (byte) 247 }) {
    char c = (char) b;
    System.out.print(c);
}

Eğer varsa değil kullanılarak genişletilmiş karakterleri Ş, Ç Æ, A, C, I, E gibi ve sadece iletilen değerler, ilk 128 Unicode karakter olduğundan emin olabilir o zaman bu kodu, ayrıca UTF-8 ve genişletilmiş ASCII için çalışma (cp-1252 gibi).

Yorum yapamıyorum ama yeni bir konu başlatmak istemiyorum. Ama bu işe yaramıyor. Basit bir gidiş dönüş:

byte[] b = new byte[]{ 0, 0, 0, -127 };  // 0x00000081
String s = new String(b,StandardCharsets.UTF_8); // UTF8 = 0x0000, 0x0000,  0x0000, 0xfffd
b = s.getBytes(StandardCharsets.UTF_8); // [0, 0, 0, -17, -65, -67] 0x000000efbfbd != 0x00000081

Ben b [] aynı dizi önce ve sonra değil kodlama gerekir (bu ilk cevaba atıfta bulunur).

//query is your json   

 DefaultHttpClient httpClient = new DefaultHttpClient();
 HttpPost postRequest = new HttpPost("http://my.site/test/v1/product/search?qy=");

 StringEntity input = new StringEntity(query, "UTF-8");
 input.setContentType("application/json");
 postRequest.setEntity(input);   
 HttpResponse response=response = httpClient.execute(postRequest);

Charset UTF8_CHARSET = Charset.forName("UTF-8");
String strISO = "{\"name\":\"א\"}";
System.out.println(strISO);
byte[] b = strISO.getBytes();
for (byte c: b) {
    System.out.print("[" + c + "]");
}
String str = new String(b, UTF8_CHARSET);
System.out.println(str);

Reader reader = new BufferedReader(
    new InputStreamReader(
        new ByteArrayInputStream(
            string.getBytes(StandardCharsets.UTF_8)), StandardCharsets.UTF_8));

çok geç ama ben sadece bu sorunla karşılaştı ve bu benim düzeltme:

private static String removeNonUtf8CompliantCharacters( final String inString ) {
    if (null == inString ) return null;
    byte[] byteArr = inString.getBytes();
    for ( int i=0; i < byteArr.length; i++ ) {
        byte ch= byteArr[i]; 
        // remove any characters outside the valid UTF-8 range as well as all control characters
        // except tabs and new lines
        if ( !( (ch > 31 && ch < 253 ) || ch == '\t' || ch == '\n' || ch == '\r') ) {
            byteArr[i]=' ';
        }
    }
    return new String( byteArr );
}