Re: [问题] offheap的内存怎么分析比较好

楼主: qrtt1 (有些事,有时候。。。)   2018-02-12 13:08:59
======================================================================== 引文
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 126.236.33.110
※ 文章网址: https://www.ptt.cc/bbs/java/M.1518253506.A.2C4.html
推 zephyrhymn: 你说的好用的工具是指检测工具?02/11 23:38
→ zephyrhymn: 如果是改善memory leak的话,就只能从程式逻辑和行为02/11 23:39
→ zephyrhymn: 来解决了。02/11 23:39
推 zephyrhymn: 你给的资讯很笼统,可以的话希望再明确些,谢谢。02/11 23:43
因为引发这段问题的code来自open source的使用
情境是这样的
我的客户用apache spark streaming去kafka收资料
他做了dataframe物件的某些操作的时候会发生memory leak
想要找的是检测工具
想看看那些leak的部分的内容 想说从字符串能不能看出是那些物件被操作了造成的issue
之前有想过用gdb 不过这东西怎么用还在研究
现在倾向把这问题直接回报给apache jira就是了
※ 编辑: del680202 (114.137.115.125), 02/12/2018 00:36:01
推 zephyrhymn: 最近在玩kafka不过是在AWS上就是了,使用的是AWS的02/12 09:14
→ zephyrhymn: CloudWatch,可能帮不上你的忙就是了... 02/12 09:14
我们家是on-premise. aws没办法用就是
还是先谢了
※ 编辑: del680202 (223.139.70.24), 02/12/2018 09:55:38
======================================================================== 引文^
单纯 native 部分,有试过 valgrind 吗?
http://valgrind.org/docs/manual/faq.html
另外,你的重要资讯没有尽可能揭露清楚:
1. 可疑的 open source library 名称,
都 open source project 了这讲出来应该没问题
2. 同样的问题,有没有人发生?
3. 自己用官网的范例,能不能 reproduce 出一样的问题
3.1 若能,那是范例没有适当的 close 资源吗?
3.2 若不能,专案内的用法,跟官网的差别是什么
... 继续思考是否有 race condition 问题
... client(library) 与 server 与 jvm 是否为文件说明的相容性搭配
... 继续假设其它问题 ...
虽然目前工作上的问题是你的痛点,
但版友没有跟你一样的 context,所以我们只在意使用 pattern 是否合理
你得描述你的使用情境,最好能做到给一个 dockerfile 就能 reproduce
才有机会逼近问题的真相
作者: zephyrhymn   2017-02-11 23:38:00
你说的好用的工具是指检测工具?如果是改善memory leak的话,就只能从程式逻辑和行为来解决了。你给的资讯很笼统,可以的话希望再明确些,谢谢。最近在玩kafka不过是在AWS上就是了,使用的是AWS的CloudWatch,可能帮不上你的忙就是了...

Links booklink

Contact Us: admin [ a t ] ucptt.com