[问题] pandas.to_sql chunksize大小

楼主: MAGICXX (逢甲阿法)   2021-01-13 16:55:46
大家好
我现在用pandas的to_sql把一张张的CSV塞进去一个sqlite3的数据库
我上网看别人在设定chunksize的时候 都可以设个几千几万的
可是我只设了200就会吐错误 设150才能跑
sqlite3.OperationalError: too many SQL variables
我的code如下
import sqlite3
import pandas as pd
conn = sqlite3.connect("test_2.db")
cur = conn.cursor()
create_table="CREATE TABLE IF NOT EXISTS test (x,y,value)"
cur.execute(create_table)
df2=pd.read_csv("test.csv",index_col=False)
df2.to_sql('test',conn,if_exists='append',
index=False,method='multi',chunksize=200)
请问是因为sqlite3的chunksize真的只有这么小 还是我哪边理解错误啊?
谢谢大大
作者: olycats ( )   2021-01-14 15:23:00
我一般都是设5000 但我是用 MySQL不过chunck size 没有一定 要看资料量/字段数有的资料我可以设到10000都没问题

Links booklink

Contact Us: admin [ a t ] ucptt.com