Як фільтрувати рядки в пандах за допомогою регулярного вираження

Я хотів би чисто фільтрувати кадр даних, використовуючи регулярний вираз на одному з стовпців.

Для надуманого прикладу:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

Я хочу відфільтрувати рядки до тих, які починаються з fвикористання регулярного вираження. Перше:

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Це не надто страшно корисно. Однак це отримає мій булевий індекс:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

Тож я міг би зробити своє обмеження:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Це змушує мене штучно помістити групу в регекс, і, здається, можливо, це не чистий шлях. Чи є кращий спосіб зробити це?

Використання містить натомість:

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Вже є функція обробки струн Series.str.startswith(). Спробуйте спробувати foo[foo.b.str.startswith('f')].

Результат:

    a   b
1   2   foo
2   3   fat

Я думаю, що ти очікуєш.

Крім того, ви можете використовувати містити параметр з регулярними виразами. Наприклад:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Результат:

    a   b
1   2   foo

na=False полягає у запобіганні помилок у разі наявності nan, null тощо значень

Пошук у кількох стовпцях із фреймом даних:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

Це може бути трохи пізно, але це зараз простіше зробити в Pandas. Ви можете зателефонувати на матч, as_indexer=Trueщоб отримати булеві результати. Це задокументовано (разом із різницею між matchта contains) тут .

Дякуємо за чудову відповідь @ user3136169, ось приклад того, як це можна зробити, також видаляючи значення NoneType.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Також ви можете додати регулярний вираз як аргумент:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Напишіть булева функція, яка перевіряє регулярний вираз і використовуйте застосувати на стовпчик

foo[foo['b'].apply(regex_function)]

Використовуючи str скибочку

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat