«apache-spark» etiketlenmiş sorular

OpenJDK 13.0.1 ve python 3.8 ve kıvılcım 2.4.4'ü yükledim. Yüklemeyi sınamak için yönergeler, kıvılcım yüklemesinin kökünden. \ Bin \ pyspark çalıştırmaktır. Kıvılcım kurulumunda bazı ortam değişkenlerini ayarlamak gibi bir adımı kaçırıp kaçırmadığımdan emin değilim, ancak daha ayrıntılı talimatlar bulamıyorum. Makinemde python yorumlayıcısını çalıştırabilirim, bu yüzden doğru bir şekilde kurulduğundan ve …

16 apache-spark  pyspark 

Son zamanlarda pysparkEMR kümelerinde çalışan bir dizi işte bir sürü hata almaya başladım . Errolar java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at org.apache.spark.sql.execution.python.EvalPythonExec$$anonfun$doExecute$1.apply(EvalPythonExec.scala:127)... Hepsi applybir panda serisinin işlevlerinde gerçekleşiyor …

12 pandas  apache-spark  pyspark  pyarrow 

Kendine bir masaya katılırken Spark'ın davranışını araştırıyorum. Veritabanları kullanıyorum. Kukla senaryom: Harici bir tabloyu veri çerçevesi A olarak okuyun (temel alınan dosyalar delta biçimindedir) Veri çerçevesi B'yi yalnızca belirli sütunlar seçili olarak veri çerçevesi A olarak tanımlayın Sütun1 ve sütun2'deki A ve B veri çerçevelerine katılın (Evet, pek mantıklı değil, …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake 

Oldukça büyük Pandalar DataFrame ile uğraşıyorum - veri setim aşağıdaki dfdüzene benziyor : import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( repeats = …

9 python  pandas  apache-spark  parallel-processing  dask 

Aşağıdaki kod ile bir veri çerçevesi var: def test(lat: Double, lon: Double) = { println(s"testing ${lat / lon}") Map("one" -> "one", "two" -> "two") } val testUDF = udf(test _) df.withColumn("test", testUDF(col("lat"), col("lon"))) .withColumn("test1", col("test.one")) .withColumn("test2", col("test.two")) Şimdi günlükleri kontrol ederek, her satır için UDF'nin 3 kez yürütüldüğünü öğrendim. Bir …

9 scala  apache-spark  apache-spark-sql