[问题] django celery问题

楼主: BlgAtlfans (BLG_Eric)   2016-10-27 15:37:47
各位大大好
最近在用celery处理
csv,xlsx档案写入postgresql的功能
但是有一些问题想请教
P.S下面的程式码没加入celery时都可以正常执行(大档案例外)
1. csv档写入时celery debug有以下错误
http://imgur.com/8Fg3dmJ
http://imgur.com/DSpZU1s
附上task.py程式码
# -*- coding: utf-8 -*-
from django.shortcuts import render_to_response
from django.template import RequestContext
from django.http import HttpResponseRedirect
from django.core.urlresolvers import reverse
from django.contrib import messages
from django.conf import settings
from django.db import connection
from django.views.decorators.csrf import csrf_exempt
from celery import Celery
from celery import task
import json
import csv
import sys
import random
import psycopg2
import xlrd
import openpyxl as pyxl
from .models import Document
from .forms import DocumentForm
app = Celery(
'tasks',
broker='amqp://guest:[email protected]/*
作者: kenduest (小州)   2016-10-27 16:12:00
好像是被作业系统 kernel 踢出去了?比方吃太多内存等,被 linux OOM killer 处理掉
楼主: BlgAtlfans (BLG_Eric)   2016-10-27 16:52:00
那应该要怎么样处理
作者: kenduest (小州)   2016-10-27 18:33:00
你先独立把那个处理task写成独立档案单独终端跑看看后续用 free 与 top 看一下内存使用情况或许是实际那个 server 本来内存就不多所以就爆掉了题外话你的程式码贴这边很乱很难看清楚另外建议请用 4 个空白代替 tab, 建议这样在 python 上
作者: uranusjr (←這人是超級笨蛋)   2016-10-27 20:24:00
先试试看 DEBUG = False, 这两个内存用量差很多第一个问题要看你 doc 到底是什么
楼主: BlgAtlfans (BLG_Eric)   2016-10-27 21:26:00
感谢各位回答 我的doc是个django的model内容是上传档案的一些资料像是tablename path id...之类的这里主要是用来传递tablename来做为建table的依据多问一个 一般来说写入一个13万行的资料需要很多内存吗?
继续阅读

Links booklink

Contact Us: admin [ a t ] ucptt.com