※ 引述《liquidbox (树枝摆摆)》之铭言：
: 请问，我有一个近万个由不重复字串组成的list叫kw_list，以及一个df
: 范例是['book','money','future','file']
: Index sentence
: 1 This is a book
: 2 back to the future
: 3 replace the file
: 4 come on
: 5 have a nice weekend
: 我想要把list中的字串逐一拉出来，
: 跟sentence那个字段比较，如果sentence字段有包含该字串（近万个都要逐一比对）
: 就标上True，否则就False
: 我建了一个近万个column的新dataframe，字段是kw_list
: 然后跟原本的df合并起来，
: 然后再写个条件判断式，若该笔资料的sentence包含该字串，
: 那个column就标上True，不然就False
: 于是会变成
: Index sentence book money future file
: 1 This is a book TRUE FALSE FALSE FALSE
: 2 back to the future FALSE FALSE TRUE FALSE
: 3 replace the file FALSE FALSE FALSE TRUE
: 4 come on FALSE FALSE FALSE FALSE
: 5 have a nice weekend FALSE FALSE FALSE FALSE
: 不意外地，我用循环去判断，跑几小时都跑不出结果，如下：
: for kw in kw_list:
: df.loc[df['sentence'].str.contains(kw),df[kw]]=True
: 我觉得我把同样的东西丢到Excel用函数算可能都比较快，
: 请问有什么方法改写，让这个df的运算速度加快吗
有几个人跟我稍微讨论了一下
我这里放上几个方法的比较
三十万个随机句子 随机抓出2389个关键字 三个方法的结果如下
1. polars
1.21 s ± 59.3 ms per loop (mean ± std. dev. of 5 runs, 3 loops each)
2. pandas
a. Pre-allocate columns first and set values
6min 36s
b. for loop add columns => PerformanceWarning
6min 16s
c. Pre-allocate columns + np.where + pandas .at
7min 59s
3. duckdb
24.4 s ± 177 ms per loop (mean ± std. dev. of 2 runs, 3 loops each)
4. numpy
a. pre-allocate + for-loop: 4min 23s
b. pre-allocate + np.char: > 6 minutes
5. Cython
1.73 s ± 14.7 ms per loop (mean ± std. dev. of 3 runs, 5 loops each)
可以看出来polars跟2/3/4方法根本不在同一个量级
polars的with_columns在Rust底层中是会做multi-threading
另外3个都是single thread，所以根本没法比
Cython则是有接近polars的效能，但是还是小输，而且结果是np.array不是dataframe
如果舍弃DataFrame的操作的话
Cython+numpy有接近媲美polars的速度
但是很难写也很难调校 我写了三小时多才得到一个满意的版本
附上测试程式码: https://reurl.cc/9VMOkO
机器: AMD [email protected] with Python 3.10.9 on Windows 11
polars version: 0.17.13
pandas version: 1.5.3
duckdb version: 0.7.1