Uint8 Dizisini base64 Kodlanmış Dizeye nasıl dönüştürebilirim?

Question 1

Bir webSocket iletişimim var, base64 kodlu dizeyi alıyorum, onu uint8'e dönüştürüyorum ve üzerinde çalışıyorum, ancak şimdi geri göndermem gerekiyor, uint8 dizisini aldım ve onu gönderebilmem için base64 dizesine dönüştürmem gerekiyor. Bu dönüşümü nasıl yapabilirim?

Question 2

Önceden önerilen tüm çözümlerin ciddi sorunları vardır. Bazı çözümler büyük dizilerde çalışamaz, bazıları yanlış çıktı sağlar, bazıları bir ara dizge çok baytlı karakterler içeriyorsa, bazıları btoa çağrısında hata verir, bazıları gerekenden daha fazla bellek tüketir.

Bu yüzden girdiden bağımsız olarak çalışan bir doğrudan dönüştürme işlevi uyguladım. Makinemde saniyede yaklaşık 5 milyon baytı dönüştürüyor.

https://gist.github.com/enepomnyaschih/72c423f727d395eeaa09697058238727

Kod parçacığını göster

/*
MIT License
Copyright (c) 2020 Egor Nepomnyaschih
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
*/

/*
// This constant can also be computed with the following algorithm:
const base64abc = [],
	A = "A".charCodeAt(0),
	a = "a".charCodeAt(0),
	n = "0".charCodeAt(0);
for (let i = 0; i < 26; ++i) {
	base64abc.push(String.fromCharCode(A + i));
}
for (let i = 0; i < 26; ++i) {
	base64abc.push(String.fromCharCode(a + i));
}
for (let i = 0; i < 10; ++i) {
	base64abc.push(String.fromCharCode(n + i));
}
base64abc.push("+");
base64abc.push("/");
*/
const base64abc = [
	"A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M",
	"N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z",
	"a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m",
	"n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z",
	"0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "+", "/"
];

/*
// This constant can also be computed with the following algorithm:
const l = 256, base64codes = new Uint8Array(l);
for (let i = 0; i < l; ++i) {
	base64codes[i] = 255; // invalid character
}
base64abc.forEach((char, index) => {
	base64codes[char.charCodeAt(0)] = index;
});
base64codes["=".charCodeAt(0)] = 0; // ignored anyway, so we just need to prevent an error
*/
const base64codes = [
	255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255,
	255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255,
	255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 62, 255, 255, 255, 63,
	52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 255, 255, 255, 0, 255, 255,
	255, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14,
	15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 255, 255, 255, 255, 255,
	255, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40,
	41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51
];

function getBase64Code(charCode) {
	if (charCode >= base64codes.length) {
		throw new Error("Unable to parse base64 string.");
	}
	const code = base64codes[charCode];
	if (code === 255) {
		throw new Error("Unable to parse base64 string.");
	}
	return code;
}

export function bytesToBase64(bytes) {
	let result = '', i, l = bytes.length;
	for (i = 2; i < l; i += 3) {
		result += base64abc[bytes[i - 2] >> 2];
		result += base64abc[((bytes[i - 2] & 0x03) << 4) | (bytes[i - 1] >> 4)];
		result += base64abc[((bytes[i - 1] & 0x0F) << 2) | (bytes[i] >> 6)];
		result += base64abc[bytes[i] & 0x3F];
	}
	if (i === l + 1) { // 1 octet yet to write
		result += base64abc[bytes[i - 2] >> 2];
		result += base64abc[(bytes[i - 2] & 0x03) << 4];
		result += "==";
	}
	if (i === l) { // 2 octets yet to write
		result += base64abc[bytes[i - 2] >> 2];
		result += base64abc[((bytes[i - 2] & 0x03) << 4) | (bytes[i - 1] >> 4)];
		result += base64abc[(bytes[i - 1] & 0x0F) << 2];
		result += "=";
	}
	return result;
}

export function base64ToBytes(str) {
	if (str.length % 4 !== 0) {
		throw new Error("Unable to parse base64 string.");
	}
	const index = str.indexOf("=");
	if (index !== -1 && index < str.length - 2) {
		throw new Error("Unable to parse base64 string.");
	}
	let missingOctets = str.endsWith("==") ? 2 : str.endsWith("=") ? 1 : 0,
		n = str.length,
		result = new Uint8Array(3 * (n / 4)),
		buffer;
	for (let i = 0, j = 0; i < n; i += 4, j += 3) {
		buffer =
			getBase64Code(str.charCodeAt(i)) << 18 |
			getBase64Code(str.charCodeAt(i + 1)) << 12 |
			getBase64Code(str.charCodeAt(i + 2)) << 6 |
			getBase64Code(str.charCodeAt(i + 3));
		result[j] = buffer >> 16;
		result[j + 1] = (buffer >> 8) & 0xFF;
		result[j + 2] = buffer & 0xFF;
	}
	return result.subarray(0, result.length - missingOctets);
}

export function base64encode(str, encoder = new TextEncoder()) {
	return bytesToBase64(encoder.encode(str));
}

export function base64decode(str, decoder = new TextDecoder()) {
	return decoder.decode(base64ToBytes(str));
}

Snippet'i genişlet

Question 3

Verileriniz çok baytlı diziler içeriyorsa (düz bir ASCII dizisi değil) ve tarayıcınızda TextDecoder varsa, verilerinizin kodunu çözmek için bunu kullanmalısınız (TextDecoder için gerekli kodlamayı belirtin):

var u8 = new Uint8Array([65, 66, 67, 68]);
var decoder = new TextDecoder('utf8');
var b64encoded = btoa(decoder.decode(u8));

TextDecoder'a (şu anda yalnızca IE ve Edge) sahip olmayan tarayıcıları desteklemeniz gerekiyorsa , en iyi seçenek bir TextDecoder çoklu dolgusu kullanmaktır .

Verileriniz düz ASCII (çok baytlı Unicode / UTF-8 değil) String.fromCharCodeiçeriyorsa, oldukça evrensel olarak desteklenmesi gereken basit bir alternatif vardır :

var ascii = new Uint8Array([65, 66, 67, 68]);
var b64encoded = btoa(String.fromCharCode.apply(null, ascii));

Ve base64 dizesinin kodunu bir Uint8Array'e geri çözmek için:

var u8_2 = new Uint8Array(atob(b64encoded).split("").map(function(c) {
    return c.charCodeAt(0); }));

Çok büyük dizi arabellekleriniz varsa, uygulama başarısız olabilir ve arabelleği parçalamanız gerekebilir (@RohitSengar tarafından gönderilene göre). Yine, bunun yalnızca arabelleğiniz yalnızca çok baytlı olmayan ASCII karakterler içeriyorsa doğru olduğunu unutmayın:

function Uint8ToString(u8a){
  var CHUNK_SZ = 0x8000;
  var c = [];
  for (var i=0; i < u8a.length; i+=CHUNK_SZ) {
    c.push(String.fromCharCode.apply(null, u8a.subarray(i, i+CHUNK_SZ)));
  }
  return c.join("");
}
// Usage
var u8 = new Uint8Array([65, 66, 67, 68]);
var b64encoded = btoa(Uint8ToString(u8));

Question 4

JavaScript için çok basit bir çözüm ve test!

ToBase64 = function (u8) {
    return btoa(String.fromCharCode.apply(null, u8));
}

FromBase64 = function (str) {
    return atob(str).split('').map(function (c) { return c.charCodeAt(0); });
}

var u8 = new Uint8Array(256);
for (var i = 0; i < 256; i++)
    u8[i] = i;

var b64 = ToBase64(u8);
console.debug(b64);
console.debug(FromBase64(b64));

Question 5

Node.js kullanıyorsanız, Uint8Array'i base64'e dönüştürmek için bu kodu kullanabilirsiniz.

var b64 = Buffer.from(u8).toString('base64');

Question 6

function Uint8ToBase64(u8Arr){
  var CHUNK_SIZE = 0x8000; //arbitrary number
  var index = 0;
  var length = u8Arr.length;
  var result = '';
  var slice;
  while (index < length) {
    slice = u8Arr.subarray(index, Math.min(index + CHUNK_SIZE, length)); 
    result += String.fromCharCode.apply(null, slice);
    index += CHUNK_SIZE;
  }
  return btoa(result);
}

Çok büyük bir Uint8Array'ınız varsa bu işlevi kullanabilirsiniz. Bu, Javascript içindir, FileReader readAsArrayBuffer durumunda faydalı olabilir.

Question 7

İşte bunun için bir JS Fonksiyonu:

Bu işlev gereklidir çünkü Chrome, pushManager.subscribe içinde applicationServerKey için değer olarak base64 olarak kodlanmış bir dizeyi kabul etmez, ancak https://bugs.chromium.org/p/chromium/issues/detail?id=802280

function urlBase64ToUint8Array(base64String) {
  var padding = '='.repeat((4 - base64String.length % 4) % 4);
  var base64 = (base64String + padding)
    .replace(/\-/g, '+')
    .replace(/_/g, '/');

  var rawData = window.atob(base64);
  var outputArray = new Uint8Array(rawData.length);

  for (var i = 0; i < rawData.length; ++i) {
    outputArray[i] = rawData.charCodeAt(i);
  }
  return outputArray;
}

Question 8

Saf JS - dizi orta adım yok (btoa yok)

Aşağıdaki çözümde dizeye dönüştürmeyi ihmal ediyorum. IDEA şu şekildedir:

3 bayt (3 dizi öğesi) birleştirin ve 24 bit elde edin
24 biti dört 6 bitlik sayıya bölün (0'dan 63'e kadar değerler alır)
bu sayıları base64 alfabesinde dizin olarak kullanın
köşe durumu: girdi bayt dizisi olduğunda, uzunluk 3'e bölünmez, sonra ekleyin =veya ==sonuca

Aşağıdaki çözüm 3 baytlık parçalar üzerinde çalışır, bu nedenle büyük diziler için iyidir. Base64'ü ikili diziye (olmadan atob) dönüştürmek için benzer çözüm BURADA

Kod parçacığını göster

function bytesArrToBase64(arr) {
  const abc = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"; // base64 alphabet
  const bin = n => n.toString(2).padStart(8,0); // convert num to 8-bit binary string
  const l = arr.length
  let result = '';

  for(let i=0; i<=(l-1)/3; i++) {
    let c1 = i*3+1>=l; // case when "=" is on end
    let c2 = i*3+2>=l; // case when "=" is on end
    let chunk = bin(arr[3*i]) + bin(c1? 0:arr[3*i+1]) + bin(c2? 0:arr[3*i+2]);
    let r = chunk.match(/.{1,6}/g).map((x,j)=> j==3&&c2 ? '=' :(j==2&&c1 ? '=':abc[+('0b'+x)]));  
    result += r.join('');
  }

  return result;
}


// ----------
// TEST
// ----------

let test = "Alice's Adventure in Wondeland.";
let testBytes = [...test].map(c=> c.charCodeAt(0) );

console.log('test string:', test);
console.log('bytes:', JSON.stringify(testBytes));
console.log('btoa            ', btoa(test));
console.log('bytesArrToBase64', bytesArrToBase64(testBytes));

Snippet'i genişlet

Question 9

Uint8 dizisini base64 kodlu dizeye dönüştürmek için aşağıdakileri kullanın

function arrayBufferToBase64(buffer) {
            var binary = '';
            var bytes = [].slice.call(new Uint8Array(buffer));
            bytes.forEach((b) => binary += String.fromCharCode(b));
            return window.btoa(binary);
        };

Question 10

Buraya bakın https://developer.mozilla.org/en-US/docs/Web/JavaScript/Base64_encoding_and_decoding#Appendix.3A_Decode_a_Base64_string_to_Uint8Array_or_ArrayBuffer

(Bir Base64 dizesini Unicode desteğiyle Uint8Array veya ArrayBuffer olarak çözün)

Question 11

Tek istediğiniz bir base64 kodlayıcının JS uygulamasıysa, verileri geri gönderebilmeniz için btoaişlevi deneyebilirsiniz .

b64enc = btoa(uint);

Btoa ile ilgili birkaç kısa not - bu standart değildir, bu nedenle tarayıcılar onu desteklemek zorunda değildir. Ancak çoğu tarayıcı bunu yapar. En azından büyük olanlar. atobtam tersi dönüşümdür.

Farklı bir uygulamaya ihtiyacınız varsa veya tarayıcının neden bahsettiğiniz hakkında hiçbir fikri olmadığı bir uç durum bulursanız, JS için bir base64 kodlayıcı aramak çok zor olmaz.

Sanırım şirketimin web sitesinde dolaşan 3 kişi var, bir nedenle ...

Question 12

npm google-closure-kitaplığını yükle - kaydet

require("google-closure-library");
goog.require('goog.crypt.base64');

var result =goog.crypt.base64.encodeByteArray(Uint8Array.of(1,83,27,99,102,66));
console.log(result);

$node index.jsyazardım = AVMbY2Y konsoluna.