<div dir="ltr">Sanne, you Xmx setting seems a bit excessive :) <br><br>Did you see it fail on your machine with 1GB regular heap and 700MB permgen?<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Mar 21, 2013 at 1:55 AM, Sanne Grinovero <span dir="ltr">&lt;<a href="mailto:sanne@infinispan.org" target="_blank">sanne@infinispan.org</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks Dan,<br>
with the following options it completed the build:<br>
<br>
MAVEN_OPTS=-server -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode<br>
<div class="im">-XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:NewRatio=4 -Xss500k<br>
</div>-Xmx16G -Xms1G -XX:MaxPermSize=700M -XX:HeapDumpPath=/tmp/java_heap<br>
<div class="im HOEnZb">-Djava.net.preferIPv4Stack=true -Djgroups.bind_addr=127.0.0.1<br>
-XX:ReservedCodeCacheSize=200M<br>
-Dlog4j.configuration=file:/opt/infinispan-log4j.xml<br>
<br>
</div><span class="HOEnZb"><font color="#888888">Sanne<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
On 20 March 2013 17:36, Manik Surtani &lt;<a href="mailto:msurtani@redhat.com">msurtani@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; On 20 Mar 2013, at 15:29, Adrian Nistor &lt;<a href="mailto:anistor@redhat.com">anistor@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; I&#39;ve also tried changing the fork mode of surefire from &#39;none&#39; to &#39;once&#39; and<br>
&gt; the entire suite runs fine now on jvm 1.6 with 500mb MaxPermSize.<br>
&gt; Previously I did not complete, 500mb was not enough.<br>
&gt; Anyone knows why surefire was not allowed to fork?<br>
&gt;<br>
&gt; Haven&#39;t tried to analyze closely the heap yet but first thing I noticed is<br>
&gt; 15% of it is occupied by 190000 ComponentMetadataRepo instances, which<br>
&gt; probably is not the root cause of this issue, but is odd anyway :).<br>
&gt;<br>
&gt;<br>
&gt; Yes, very odd.  Do you also see 190000 instances of a<br>
&gt; GlobalComponentRegistry?<br>
&gt;<br>
&gt;<br>
&gt; On 03/20/2013 05:12 PM, Dan Berindei wrote:<br>
&gt;<br>
&gt; The problem is that we still leak threads in almost every module, and that<br>
&gt; means we keep a copy of the core classes (and all their dependencies) for<br>
&gt; every module. Of course, some modules&#39; dependencies are already oversized,<br>
&gt; so keeping only one copy is already too much...<br>
&gt;<br>
&gt; I admit I don&#39;t run the whole test suite too often either, but I recently<br>
&gt; changed the Cloudbees settings to get rid of the OOM there. It uses about<br>
&gt; 550MB of permgen by the end of the test suite, without<br>
&gt; -XX:+UseCompressedOops. These are the settings I used:<br>
&gt;<br>
&gt; -server -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -XX:+UseParNewGC<br>
&gt; -XX:+CMSClassUnloadingEnabled   -XX:NewRatio=4 -Xss500k -Xms100m -Xmx900m<br>
&gt; -XX:MaxPermSize=700M<br>
&gt;<br>
&gt;<br>
&gt; Cheers<br>
&gt; Dan<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Mar 20, 2013 at 2:59 PM, Tristan Tarrant &lt;<a href="mailto:ttarrant@redhat.com">ttarrant@redhat.com</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; Sanne, turn on CompressedOops ? Still those requirements are indeed<br>
&gt;&gt; ridiculous.<br>
&gt;&gt;<br>
&gt;&gt; Tristan<br>
&gt;&gt;<br>
&gt;&gt; On 03/20/2013 01:27 PM, Sanne Grinovero wrote:<br>
&gt;&gt; &gt; I&#39;m testing master, at da5c3f0<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Just killed a run which was using<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; java version &quot;1.7.0_17&quot;<br>
&gt;&gt; &gt; Java(TM) SE Runtime Environment (build 1.7.0_17-b02)<br>
&gt;&gt; &gt; Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; this time again an OOM (while I have 2GB !), last sign of life came<br>
&gt;&gt; &gt; from the &quot;Rolling Upgrade Tooling&quot;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I&#39;m not going to merge/review any pull request until this works.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Sanne<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; On 20 March 2013 12:09, Mircea Markus &lt;<a href="mailto:mmarkus@redhat.com">mmarkus@redhat.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; I&#39;ve just run it on master and didn&#39;t get OOM. well I&#39;m using osx. Are<br>
&gt;&gt; &gt;&gt; you running it on master or a particular branch? Which module crashes?<br>
&gt;&gt; &gt;&gt; e.g. pedro&#39;s ISPN-2808 adds quite some threads to the party - that&#39;s<br>
&gt;&gt; &gt;&gt; the reason it hasn&#39;t been integrated yet.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On 20 Mar 2013, at 11:40, Sanne Grinovero wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Hi all,<br>
&gt;&gt; &gt;&gt;&gt; after reviewing some pull requests, I&#39;m since a couple of days unable<br>
&gt;&gt; &gt;&gt;&gt; to run the testsuite; since Anna&#39;s fixes affect many modules I&#39;m<br>
&gt;&gt; &gt;&gt;&gt; trying to run the testsuite of the whole project, as we should always<br>
&gt;&gt; &gt;&gt;&gt; do but I admit I haven&#39;t done it in a while because of the core module<br>
&gt;&gt; &gt;&gt;&gt; failures.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; So I run:<br>
&gt;&gt; &gt;&gt;&gt; $ mvn -fn clean install<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; using -fn to have it continue after the core failures.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; First attempt gave me an OOM, was running with 1G heap.. I&#39;m pretty<br>
&gt;&gt; &gt;&gt;&gt; sure this was good enough some months back.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Second attempt slowed down like crazy, and I found a warning about<br>
&gt;&gt; &gt;&gt;&gt; having filled the code cache size, so doubled it to 200M.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Third attempt: OutOfMemoryError: PermGen space! But I&#39;m running with<br>
&gt;&gt; &gt;&gt;&gt; -XX:MaxPermSize=380M which should be plenty?<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; This is :<br>
&gt;&gt; &gt;&gt;&gt; java version &quot;1.6.0_43&quot;<br>
&gt;&gt; &gt;&gt;&gt; Java(TM) SE Runtime Environment (build 1.6.0_43-b01)<br>
&gt;&gt; &gt;&gt;&gt; Java HotSpot(TM) 64-Bit Server VM (build 20.14-b01, mixed mode)<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; MAVEN_OPTS=-Xmx2G -XX:MaxPermSize=380M -XX:+TieredCompilation<br>
&gt;&gt; &gt;&gt;&gt; -Djava.net.preferIPv4Stack=true -Djgroups.bind_addr=127.0.0.1<br>
&gt;&gt; &gt;&gt;&gt; -XX:ReservedCodeCacheSize=200M<br>
&gt;&gt; &gt;&gt;&gt; -Dlog4j.configuration=file:/opt/infinispan-log4j.xml<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; My custom log configuration just disables trace &amp; debug.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Going to try now with larger PermGen and different JVMs but it looks<br>
&gt;&gt; &gt;&gt;&gt; quite bad.. any other suggestion?<br>
&gt;&gt; &gt;&gt;&gt; (I do have the security limits setup properly)<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Sanne<br>
&gt;&gt; &gt;&gt;&gt; _______________________________________________<br>
&gt;&gt; &gt;&gt;&gt; infinispan-dev mailing list<br>
&gt;&gt; &gt;&gt;&gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt;&gt; &gt;&gt;&gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
&gt;&gt; &gt;&gt; Cheers,<br>
&gt;&gt; &gt;&gt; --<br>
&gt;&gt; &gt;&gt; Mircea Markus<br>
&gt;&gt; &gt;&gt; Infinispan lead (<a href="http://www.infinispan.org" target="_blank">www.infinispan.org</a>)<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; _______________________________________________<br>
&gt;&gt; &gt;&gt; infinispan-dev mailing list<br>
&gt;&gt; &gt;&gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt;&gt; &gt;&gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
&gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt; infinispan-dev mailing list<br>
&gt;&gt; &gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt;&gt; &gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; infinispan-dev mailing list<br>
&gt;&gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt;&gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; infinispan-dev mailing list<br>
&gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; infinispan-dev mailing list<br>
&gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Manik Surtani<br>
&gt; <a href="mailto:manik@jboss.org">manik@jboss.org</a><br>
&gt; <a href="http://twitter.com/maniksurtani" target="_blank">twitter.com/maniksurtani</a><br>
&gt;<br>
&gt; Platform Architect, JBoss Data Grid<br>
&gt; <a href="http://red.ht/data-grid" target="_blank">http://red.ht/data-grid</a><br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; infinispan-dev mailing list<br>
&gt; <a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
&gt; <a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
_______________________________________________<br>
infinispan-dev mailing list<br>
<a href="mailto:infinispan-dev@lists.jboss.org">infinispan-dev@lists.jboss.org</a><br>
<a href="https://lists.jboss.org/mailman/listinfo/infinispan-dev" target="_blank">https://lists.jboss.org/mailman/listinfo/infinispan-dev</a><br>
</div></div></blockquote></div><br></div>