Pandalar'daki satırları regex ile filtreleme

Ben temiz sütunlardan birinde regex kullanarak bir veri çerçevesi filtre istiyorum.

Çağdaş bir örnek için:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

fBir regex kullanarak başlayanlara satırları filtrelemek istiyorum . Ilk önce git:

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Bu çok kullanışlı değil. Ancak bu beni boole dizinimi alacak:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

Böylece kısıtlamamı şu şekilde yapabilirim:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Bu bana yapay olarak bir grubu normal ifadeye koymamı sağlıyor ve belki de temiz bir yol gibi görünmüyor. Bunu yapmanın daha iyi bir yolu var mı?

Kullanım bunun yerine şunları içerir :

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Zaten bir dize işleme işlevi var Series.str.startswith(). Denemelisin foo[foo.b.str.startswith('f')].

Sonuç:

    a   b
1   2   foo
2   3   fat

Ne beklediğinizi düşünüyorum.

Alternatif olarak içerir içeren regex seçeneğini kullanabilirsiniz. Örneğin:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Sonuç:

    a   b
1   2   foo

na=False nan, null vb. değerler olması durumunda Hataları önlemektir.

Veri çerçevesi ile birden çok sütun araması:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

Bu biraz geç olabilir, ama şimdi Pandalarda bunu yapmak daha kolay. as_indexer=TrueBoole sonuçları almak için ile eşleşmeyi arayabilirsiniz . Bu (farkı arasındaki birlikte belgelenen matchve contains) burada .

@ User3136169 adlı harika yanıt için teşekkürler, bunun nasıl yapılacağına dair bir örnek NoneType değerlerinin kaldırılması.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Ayrıca argüman olarak argüman da ekleyebilirsiniz:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Normal ifadeyi kontrol eden bir Boole işlevi yazın ve sütuna uygula seçeneğini kullanın

foo[foo['b'].apply(regex_function)]

str Dilim kullanma

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat