«pandas» etiketlenmiş sorular

Sorun bildirimi Tam ikili kartezyen ürünler (doğru ve yanlış tüm sütunları ile belirli sayıda sütun içeren tablolar), belirli özel koşullara göre filtre oluşturmak için verimli bir yol arıyorum. Örneğin, üç sütun / bit n=3için tam tabloyu alırız df_combs = pd.DataFrame(itertools.product(*([[True, False]] * n))) 0 1 2 0 True True True …

12 python  pandas  dataframe 

Son zamanlarda pysparkEMR kümelerinde çalışan bir dizi işte bir sürü hata almaya başladım . Errolar java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at org.apache.spark.sql.execution.python.EvalPythonExec$$anonfun$doExecute$1.apply(EvalPythonExec.scala:127)... Hepsi applybir panda serisinin işlevlerinde gerçekleşiyor …

12 pandas  apache-spark  pyspark  pyarrow 

Diyelim ki aşağıdaki veri çerçevesi (tamsayılar sütunu ve tamsayıların listesini içeren bir sütun) ... ID Found_IDs 0 12345 [15443, 15533, 3433] 1 15533 [2234, 16608, 12002, 7654] 2 6789 [43322, 876544, 36789] Ayrıca ayrı bir kimlik listesi ... bad_ids = [15533, 876544, 36789, 11111] Bu göz önüne alındığında ve df['ID']sütun …

11 python  python-3.x  pandas  dataframe 

her satırda bir liste değeri olan dataframe var. id list_of_value 0 ['a','b','c'] 1 ['d','b','c'] 2 ['a','b','c'] 3 ['a','b','c'] bir satır ve diğer tüm satırlara karşı bir puan hesaplamak zorundayım Örneğin: Step 1: Take value of id 0: ['a','b','c'], Step 2: find the intersection between id 0 and id 1 , …

11 python  pandas  numpy 

Ben böyle bir veri çerçevesi var: ORDER_NO 2401 2504 2600 2020020 2019-12-04 2019-12-10 2019-12-12 2020024 2019-12-25 NaN 2019-12-20 2020034 NaN NaN 2019-12-20 2020020 2019-12-12 2019-12-15 2019-12-18 Yukarıdaki veri çerçevesinden XML oluşturuyorum. XML içine doldurulmuş null değerini kaldırmak istiyorum. Kodum bu sütun ve satır değerini XML'den düşürmelidir. Kodum header = """<ORD>{}</ORD>""" …

11 python-3.x  pandas  loops  dataframe  itertools 

Böyle bir DataFrame var: df = pd.DataFrame(data={ 'col0': [11, 22,1, 5] 'col1': ['aa:a:aaa', 'a:a', 'a', 'a:aa:a:aaa'], 'col2': ["foo", "foo", "foobar", "bar"], 'col3': [True, False, True, False], 'col4': ['elo', 'foo', 'bar', 'dupa']}) Ben col1 ":" bölündükten sonra listenin uzunluğunu almak istiyorum, sonra uzunluk> 2 VEYA uzunluk <= 2 ise değerlerin üzerine …

11 python  pandas  apply 

Regex kullanarak bir sütun bölmek çalışıyorum, ama doğru bölünmüş almak gibi görünmüyor. Tüm sondaki CAPS'ları alıp ayrı bir sütuna taşımaya çalışıyorum. Yani arka arkaya 2-4 CAPS olan tüm CAPS alıyorum. Ancak, yalnızca 'Name'sütun boşken 'Team'sütundan ayrılır. İşte benim kod: import pandas as pd url = "https://www.espn.com/nba/stats/player/_/table/offensive/sort/avgAssists/dir/desc" df = pd.read_html(url)[0].join(pd.read_html(url)[1]) df[['Name','Team']] …

11 python  regex  pandas 

Bu biçimdeki verileri içeren bir txt dosyası var. İlk 3 satır tekrar tekrar. name=1 grade=A class=B name=2 grade=D class=A Örneğin, bir tablo biçiminde veri çıkışı istiyorum: name | grade | class 1 | A | B 2 | D | A Üstbilgileri ayarlamak ve sadece veri üzerinde döngü için mücadele …

11 python  pandas  dataframe 

Bir panda veri çerçevesi gibi: parent child parent_level child_level A B 0 1 B C 1 2 B D 1 2 X Y 0 2 X D 0 2 Y Z 2 3 Bu şuna benzeyen bir ağacı temsil eder A X / / \ B / \ /\ / …

11 python  pandas 

Aşağıdaki yapıya sahip bir DataFrame ile çalışıyorum: import pandas as pd df = pd.DataFrame({'group':[1,1,1,2,2,2,2,3,3,3], 'brand':['A','B','X','C','D','X','X','E','F','X']}) print(df) group brand 0 1 A 1 1 B 2 1 X 3 2 C 4 2 D 5 2 X 6 2 X 7 3 E 8 3 F 9 3 X Amacım sadece …

10 python  pandas  dataframe 

Bir zaman çizelgesi verilerim var. Veri oluşturma date_rng = pd.date_range('2019-01-01', freq='s', periods=400) df = pd.DataFrame(np.random.lognormal(.005, .5,size=(len(date_rng), 3)), columns=['data1', 'data2', 'data3'], index= date_rng) s = df['data1'] Her bir zig-zag çizgisinin y ekseninde, |highest - lowest value|bir önceki mesafenin bir yüzdesini (% 20) aşması koşulunu yerine getiren yerel maxima ve yerel minima …

10 python  pandas  time-series  technical-indicator 

Veri setimde numaralandırmak istediğim iki kategorik sütun var. İki sütunun her ikisi de ülkeler içerir, bazıları çakışır (her iki sütunda da görünür). Aynı ülke için aynı numarayı sütun1 ve sütun2'de vermek istiyorum. Verilerim şöyle görünüyor: import pandas as pd d = {'col1': ['NL', 'BE', 'FR', 'BE'], 'col2': ['BE', 'NL', 'ES', …

10 python  python-3.x  pandas  scikit-learn  categorical-data 

Çıktı var ama bunu yapmak için daha verimli bir yol bulmaya çalışıyorum: (df['budget'] == 0).sum(), (df['revenue'] == 0).sum(),(df['budget_adj'] == 0).sum(), (df['revenue_adj'] == 0).sum() Çıktı (5674, 5993, 5676, 5993)

9 python  pandas 

Oldukça büyük Pandalar DataFrame ile uğraşıyorum - veri setim aşağıdaki dfdüzene benziyor : import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( repeats = …

9 python  pandas  apache-spark  parallel-processing  dask 

Aşağıdaki örnek veri çerçevesi var: df = pd.DataFrame(data = {'RecordID' : [1,1,1,1,1,2,2,2,2,3,3,3,3,4,4,4,4,5,5,5,5], 'DisplayLabel' : ['Source','Test','Value 1','Value 2','Value3','Source','Test','Value 1','Value 2','Source','Test','Value 1','Value 2','Source','Test','Value 1','Value 2','Source','Test','Value 1','Value 2'], 'Value' : ['Web','Logic','S','I','Complete','Person','Voice','>20','P','Mail','OCR','A','I','Dictation','Understandable','S','I','Web','Logic','R','S']}) Bu da bu veri çerçevesini oluşturur: +-------+----------+---------------+----------------+ | Index | RecordID | Display Label | Value | +-------+----------+---------------+----------------+ | 0 | 1 …

9 python  pandas  dataframe  pivot  melt