flink内存泄露定位,flink 数据丢失
作者:hacker | 分类:黑客大神 | 浏览:109 | 日期:2022年07月16日目录:
- 1、chrome://fflinkfilter/content/IKavLinkHighlightFilter.js:25停止运行是什么问题?火狐狸经常提示
- 2、flink窗口销毁时调用什么函数
- 3、在新建虚拟机时出现问题?
chrome://fflinkfilter/content/IKavLinkHighlightFilter.js:25停止运行是什么问题?火狐狸经常提示
您好!很高兴为您答疑。
这个提示应该是来自于您某个扩展的提示flink内存泄露定位,该扩展出现flink内存泄露定位了兼容或损坏等情况flink内存泄露定位,其实它本身不会对您的使用造成多大影响flink内存泄露定位,如果觉得该提示比较烦的话,您可以尝试使用安全模式(firefox-safe-mode)或新建配置文件(firefox-p-no-remote),在排除扩展的干扰下进行问题的定位。找到有问题的扩展将其禁用或删除即可。
如果对flink内存泄露定位我们的回答存在任何疑问,欢迎继续问询。
flink窗口销毁时调用什么函数
窗口句柄空应该调用接口前调用父窗口销毁函数吧;
除要销毁窗口MFC资源外应该删除指针否则造内存泄露;
*** 奇葩
-
在新建虚拟机时出现问题?
JConsole
JConsole 图形用户界面是一种符合 Java 管理扩展(JMX)规范的监视工具。JConsole 使用 Java 虚拟机 (Java VM) 的广泛检测来提供有关在 Java 平台上运行的应用程序的性能和资源消耗的信息。
使用 *** 本地
使用jconsole命令:监视本地运行的所有 Java 应用程序,JConsole 可以连接到这些应用程序。
使用jconsole PID命令:监视指定PID的Java应用程序。
获取java PID的 *** :通过任务管理器查看、通过Java提供的jps命令查看。远程
使用jsconsole hostName:portNum命令:hostName是运行应用程序的系统的名称,portNum是您在启动Java VM时启用 JMX *** 时指定的端口号。
使用service:jmx::命令:使用 JMX 服务 URL 进行连接。
内容分析
将 JConsole 连接到应用程序后,JConsole 由六个选项卡组成。
概述:显示有关 Java VM 和受监视值的概述信息。
内存:显示有关内存使用的信息。
线程:显示有关线程使用的信息。
类:显示有关类加载的信息。
VM:显示有关 Java VM 的信息。
MBeans:显示有关 MBeans 的信息。
组成部分 概览
显示有关 CPU 使用情况、内存使用情况、线程计数和在Java VM中加载的类的图形监视信息。
提供执行GC的操作,可以随时点击按钮进行垃圾回收
伊甸园空间(堆):最初为大多数对象分配内存的池。
幸存者空间(堆):包含在伊甸园空间垃圾回收中幸存下来的物体的池。
终身代(堆):包含在幸存者空间中存在一段时间的对象的池。
永久生成(非堆):包含虚拟机本身的所有反射数据的池,如类和 *** 对象。使用类数据共享的 Java VM,这一代分为只读和读写区域。
代码缓存(非堆):HotSpotJava VM 还包括一个代码缓存,其中包含用于编译和存储本机代码的内存。
堆和非堆内存
Java VM管理两种类型的内存:堆内存和非堆内存,这两种内存都是在 Java VM 启动时创建的。
堆内存是Java VM为所有类实例和数组分配内存的运行时数据区域。堆的大小可能是固定的或可变的。垃圾回收器是一个自动内存管理系统,用于回收对象的堆内存。
非堆内存包括所有线程之间共享的 *** 区域和Java VM的内部处理或优化所需的内存。它存储每类结构,如运行时常量池、字段和 *** 数据,以及 *** 和构造函数的代码。 *** 区域在逻辑上是堆的一部分,但是,根据实现,Java VM 可能不会对它进行垃圾回收或压缩。与堆内存一样, *** 区域可能为固定大小或可变大小。 *** 区域的内存不需要连续。
内存池和内存管理器
内存池和内存管理器是Java VM内存系统的关键方面。
内存池表示Java VM管理的内存区域。Java VM至少有一个内存池,它可能会在执行期间创建或删除内存池。内存池可以属于堆内存或非堆内存。
内存管理器管理一个或多个内存池。垃圾回收器是一种内存管理器,负责回收不可到达的对象使用的内存。Java VM可能具有一个或多个内存管理器。它可以在执行期间添加或删除内存管理器。内存池可以由多个内存管理器管理。
垃圾回收
垃圾回收 (GC) 是Java VM释放不再引用的对象占用的内存的方式。通常认为具有活动引用为"活动"且未引用(或无法访问)对象的对象为"已死"。垃圾回收是释放死对象使用的内存的过程。GC 使用的算法和参数对性能有显著影响。
Java hotspot VM垃圾回收器使用代数 GC。生成 GC 利用大多数程序符合以下概括的观察。
它们创建许多寿命较短的对象,例如迭代器和局部变量。
它们创建一些寿命很长的对象,例如高级持久对象。
线程
提供有关线程使用的信息。
查找监视器死锁线程:检测对象监视器锁上是否有任何线程死锁。此操作返回死锁线程指示的数组。
getThreadInfo:返回线程信息。这包括线程当前被阻止的名称、堆栈跟踪和监视器锁(如果有)以及持有该锁的线程以及线程争用统计信息。
获取ThreadCpu时间:返回给定线程消耗的 CPU 时间
显示有关类加载的信息。
提供有关Java VM的信息。
以通用方式显示有关在平台 MBean 服务器注册的所有 MBeans 的信息。MBeans 选项卡允许您访问平台 MXBean 检测的完整集,包括在其他选项卡中不可见的仪器。此外,您还可以使用 MBeans 选项卡监视和管理应用程序的 MBeans。
列出目标系统上已检测的 Java 虚拟机 (JVM)。
监视 Java 虚拟机 (JVM) 统计信息。
对Java应用程序的资源和性能进行实时的命令行的监控,包括了对Heap size和垃圾回收状况的监控。
命令格式
jstat [-option] [PID]
option参数
class:显示有关类加载器行为的统计信息。
compiler:显示有关Java HotSpot VM实时编译器行为的统计信息。
gc:显示有关垃圾回收堆行为的统计信息。
gccapacity:显示有关几代人容量及其相应空间的统计信息。
gccause:显示有关垃圾回收统计信息(与 相同)的摘要,以及最后和当前(如果适用)垃圾回收事件的原因。-gcutil
gcnew:显示新一代行为的统计信息。
gcnewcapacity:显示有关新一代大小及其相应空间的统计信息。
gcold:显示有关旧一代和元空间统计信息行为的统计信息。
gcoldcapacity:显示有关旧一代大小的统计信息。
gcmetacapacity:显示有关元空间大小的统计信息。
gcutil:显示有关垃圾回收统计信息的摘要。
printcompilation:显示 Java 热点 VM 编译 *** 统计信息。
1.jstat –class: 显示加载class的数量,及所占空间等信息。
2.jstat -compiler显示VM实时编译的数量等信息。
3.jstat -gc: 可以显示gc的信息,查看gc的次数,及时间。
4.jstat -gccapacity:可以显示,VM内存中三代(young,old,perm)对象的使用和占用大小
5.jstat -gcutil:统计gc信息
6.jstat -gcnew:年轻代对象的信息。
7.jstat -gcnewcapacity: 年轻代对象的信息及其占用量。
8.jstat -gcold:old代对象的信息。
9.jstat -gcoldcapacity: old代对象的信息及其占用量。
10.jstat -gcpermcapacity: perm对象的信息及其占用量。
11.jstat -printcompilation:当前VM执行的信息。
监视 Java 虚拟机 (JVM),并使远程监视工具能够连接到 JVM
命令格式
jstatd -[option]
option
-nr当找不到现有的RMI注册表时,不尝试使用jstatd进程创建一个内部的RMI注册表。
-p port在指定的端口查找RMI注册表。如果没有找到,并且没有指定-nr选项,则在该端口自行创建一个内部的RMI注册表。
-n rminameRMI注册表中绑定的RMI远程对象的名称。默认的名称为 *** tatRemoteHost。如果多个jstatd服务器在同一主机上运行,你可以通过指定该选项来让每个服务器导出的RMI对象具有唯一的名称。不管如何,这样做需要将唯一的服务器名称包含进监控客户端的hostid和vmid字符串中。
-Joption将选项参数传递给被javac调用的java启动程序。例如,-J-Xms48m设置启动内存为48 MB。使用-J将选项参数传递给执行Java应用程序的底层虚拟机,这是一种常见惯例。
使用 ***
1.在jdk的bin目录下创建文件jstatd.all.policy
2.写入下面的安全配置
grant codebase "file:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64/lib/tools.jar" {
permission java.security.AllPermission;
#此处写绝对路径,主要是防止路径错误问题,排查问题,应该写成相对路径
3.启动jstatd
./jstatd -J-Djava.security.policy=jstatd.all.policy -J-Djava.rmi.server.hostname=x.x.x.x
4.使用jvisualvm工具远程连接,进行监控
jvisualvm
VisualVM,能够监控线程,内存情况,查看 *** 的CPU时间和内存中的对 象,已被GC的对象,反向查看分配的堆栈(如100个String对象分别由哪几个对象分配出来的).
同时他还提供很多插件可以自己安装,是一款不错的监控分析工具。
故障排除工具 JInfo
可以用来查看正在运行的 java 应用程序的扩展参数,包括Java System属性和JVM命令行参数;也可以动态的修改正在运行的 JVM 一些参数。当系统崩溃时,jinfo可以从core文件里面知道崩溃的Java应用程序的配置信息
命令格式
参数说明
pid对应jvm的进程id
executable core产生core dump文件
[server-id@]remote server IP or hostname远程的ip或者hostname,server-id标记服务的唯一性id
option
no option输出全部的参数和系统属性
-flag name输出对应名称的参数
-flag [+|-]name开启或者关闭对应名称的参数
-flag name=value设定对应名称的参数
-flags输出全部的参数
-sysprops输出系统属性
Javacore 概述
Javacore,也可以称为“threaddump”或是“javadump”,它是 Java 提供的一种诊断特性,能够提供一份可读的当前运行的 JVM 中线程使用情况的快照。即在某个特定时刻,JVM 中有哪些线程在运行,每个线程执行到哪一个类,哪一个 *** 。应用程序如果出现不可恢复的错误或是内存泄露,就会自动触发 Javacore 的生成。
使用 ***
1.jinfo pid:输出当前 jvm 进程的全部参数和系统属性
2.jinfo -flag name pid:输出对应名称的参数使用该命令,可以查看指定的 jvm 参数的值。如:查看当前 jvm 进程是否开启打印 GC 日志。
3.jinfo -flag [+|-]name pid:开启或者关闭对应名称的参数
使用 jinfo 可以在不重启虚拟机的情况下,可以动态的修改 jvm 的参数。尤其在线上的环境特别有用。
4.jinfo -flag name=value pid:修改指定参数的值。
注意:jinfo虽然可以在java程序运行时动态地修改虚拟机参数,但并不是所有的参数都支持动态修改
5.jinfo -flags pid:输出全部的参数
6.jinfo -sysprops pid:输出当前 jvm 进行的全部的系统属性
jhat
主要是用来分析java堆的命令,可以将堆中的对象以html的形式显示出来,包括对象的数量,大小等等,并支持对象查询语言。
1.使用jmap命令导出堆文件jmap -dump:live,file=a.log pid
也可以使用下面方式导出堆文件
1、使用jconsole选项通过HotSpotDiagnosticMXBean从运行时获得堆转储(生成dump文件)、
2、虚拟机启动时如果指定了-XX:+HeapDumpOnOutOfMemoryError选项, 则在抛出OutOfMemoryError时, 会自动执行堆转储。
3、使用hprof命令
2.使用jhat分析堆文件jhat -J-Xmx512M a1.log
3.查看分析的html页面
中的OQL(对象查询语言)
如果需要根据某些条件来过滤或查询堆的对象,这是可能的,可以在jhat的html页面中执行OQL,来查询符合条件的对象
基本语法:
select
[from [instanceof] ]
[where ]
解释:
(1)class name是java类的完全限定名,如:java.lang.String,java.util.ArrayList, C是char数组,java.io.File是java.io.File[]
(2)类的完全限定名不足以唯一的辨识一个类,因为不同的ClassLoader载入的相同的类,它们在jvm中是不同类型的
(3)instanceof表示也查询某一个类的子类,如果不明确instanceof,则只精确查询class name指定的类
(4)from和where子句都是可选的
(5)java域表示:obj.field_name;java数组表示:array[index]
举例:
(1)查询长度大于100的字符串
select s from java.lang.String s where s.count 100
(2)查询长度大于256的数组
select a from [I a where a.length 256
(3)显示匹配某一正则表达式的字符串
select a.value.toString() from java.lang.String s where /java/(s.value.toString())
(4)显示所有文件对象的文件路径
select file.path.value.toString() from java.io.File file
(5)显示所有ClassLoader的类名
select classof(cl).name from instanceof java.lang.ClassLoader cl
(6)通过引用查询对象
select o from instanceof 0xd404d404 o
built-in对象 -- heap
(1)heap.findClass(class name) -- 找到类
select heap.findClass("java.lang.String").superclass
(2)heap.findObject(object id) -- 找到对象
select heap.findObject("0xd404d404")
(3)heap.classes -- 所有类的枚举
select heap.classes
(4)heap.objects -- 所有对象的枚举
select heap.objects("java.lang.String")
(5)heap.finalizables -- 等待垃圾收集的java对象的枚举
(6)heap.livepaths -- 某一对象存活路径
select heaplivepaths(s) from java.lang.String s
(7)heap.roots -- 堆根集的枚举
辨识对象的函数
(1)classof(class name) -- 返回java对象的类对象
select classof(cl).name from instanceof java.lang.ClassLoader cl
(2)identical(object1,object2) -- 返回是否两个对象是同一个实例
select identical(heap.findClass("java.lang.String").name, heap.findClass("java.lang.String").name)
(3)objectid(object) -- 返回对象的id
select objectid(s) from java.lang.String s
(4)reachables -- 返回可从对象可到达的对象
select reachables(p) from java.util.Properties p -- 查询从Properties对象可到达的对象
select reachables(u, "java.net.URL.handler") from java.net.URL u -- 查询从URL对象可到达的对象,但不包括从URL.handler可到达的对象
(5)referrers(object) -- 返回引用某一对象的对象
select referrers(s) from java.lang.String s where s.count 100
(6)referees(object) -- 返回某一对象引用的对象
select referees(s) from java.lang.String s where s.count 100
(7)refers(object1,object2) -- 返回是否之一个对象引用第二个对象
select refers(heap.findObject("0xd4d4d4d4"),heap.findObject("0xe4e4e4e4"))
(8)root(object) -- 返回是否对象是根集的成员
select root(heap.findObject("0xd4d4d4d4"))
(9)sizeof(object) -- 返回对象的大小
select sizeof(o) from [I o
(10)toHtml(object) -- 返回对象的html格式
select "+ toHtml(o) + "" from java.lang.Object o
(11)选择多值
select {name:t.name?t.name.toString():"null",thread:t} from instanceof java.lang.Thread t
数组、迭代器等函数
(1)concat(enumeration1,enumeration2) -- 将数组或枚举进行连接
select concat(referrers(p),referrers(p)) from java.util.Properties p
(2)contains(array, expression) -- 数组中元素是否满足某表达式
select p from java.util.Properties where contains(referres(p), "classof(it).name == 'java.lang.Class'")
返回由java.lang.Class引用的java.util.Properties对象
built-in变量
it -- 当前的迭代元素
index -- 当前迭代元素的索引
array -- 被迭代的数组
(3)count(array, expression) -- 满足某一条件的元素的数量
select count(heap.classes(), "/java.io./(it.name)")
(4)filter(array, expression) -- 过滤出满足某一条件的元素
select filter(heap.classes(), "/java.io./(it.name)")
(5)length(array) -- 返回数组长度
select length(heap.classes())
(6)map(array,expression) -- 根据表达式对数组中的元素进行转换映射
select map(heap.classes(),"index + '--' + toHtml(it)")
(7)max(array,expression) -- 更大值, min(array,expression)
select max(heap.objects("java.lang.String"),"lhs.countrhs.count")
built-in变量
lhs -- 左边元素
rhs -- 右边元素
(8)sort(array,expression) -- 排序
select sort(heap.objects('[C'),'sizeof(lhs)-sizeof(rhs)')
(9)sum(array,expression) -- 求和
select sum(heap.objects('[C'),'sizeof(it)')
(10)toArray(array) -- 返回数组
(11)unique(array) -- 唯一化数组
jmap
打印进程、核心文件或远程调试服务器的共享对象内存映射或堆内存详细信息。
jmap [option]
(to connect to running process) 连接到正在运行的进程
jmap [option]
(to connect to a core file) 连接到核心文件
jmap [option] [server_id@]
(to connect to remote debug server) 连接到远程调试服务
option
pid:目标进程的PID,进程编号,可以采用ps -ef | grep java查看java进程的PID;
executable:产生core dump的java可执行程序;
core:将被打印信息的core dump文件;
remote-hostname-or-IP:远程debug服务的主机名或ip;
server-id:唯一id,假如一台主机上多个远程debug服务;
使用 ***
jmap -dump:[live,]format=b,file= PID:使用hprof二进制形式,输出jvm的heap内容到文件
jmap -finalizerinfo PID:打印正等候回收的对象的信息
jmap -heap PID:打印heap的概要信息,GC使用的算法,heap(堆)的配置及JVM堆内存的使用情况。
jmap -histo:live PID:打印每个class的实例数目,内存占用,类全名信息。VM的内部类名字开头会加上前缀”*”. 如果live子参数加上后,只统计活的对象数量.
jmap -permstat PID:打印classload和jvm heap长久层的信息. 包含每个classloader的名字、活泼性、地址、父classloader和加载的class数量。另外,内部String的数量和占用内存数也会打印出来。
-F强迫.在pid没有相应的时候使用-dump或者-histo参数。在这个模式下,live子参数无效。
-h | -help打印辅助信息
-J传递参数给jmap启动的jvm.
jstack
jstack命令主要用于调试java程序运行过程中的线程堆栈信息,可以用于检测死锁,进程耗用cpu过高报警问题的排查。jstack命令会打印出所有的线程,包括用户自己启动的线程和jvm后台线程。
命令格式
jstack -[option] pid
option
-F强制dump线程堆栈信息. 用于进程hung住,jstack命令没有响应的情况
-m同时打印java和本地(native)线程栈信息,m是mixed mode的简写
-l打印锁的额外信
作者:楚瑞涛
公众号“Java精选”所发表内容注明来源的,版权归原出处所有(无法查证版权的或者未注明出处的均来自 *** ,系转载,转载的目的在于传递更多信息,版权属于原作者。如有侵权,请联系,笔者会之一时间删除处理!
最近有很多人问,有没有读者交流群!加入方式很简单,公众号Java精选,回复“加群”,即可入群!
(微信小程序):3000+道面试题,包含Java基础、并发、JVM、线程、MQ系列、Redis、Spring系列、Elasticsearch、Docker、K8s、Flink、Spark、架构设计等,在线随时刷题!
------ 特别推荐 ------
特别推荐:专注分享最前沿的技术与资讯,为弯道超车做好准备及各种开源项目与高效率软件的公众号,「大咖笔记」,专注挖掘好东西,非常值得大家关注。点击下方公众号卡片关注。
文章有帮助的话,在看,转发吧!