High CPU load caused by the autovacuum launcher process

Started by Owayss Kabtoulover 7 years ago6 messages
#1Owayss Kabtoul
owayssk@gmail.com
1 attachment(s)

Hi folks,

I ran into an issue where, on Postgres instances that have a very large
number of databases per cluster (~15K), the autovacuum process seems to
have a very high impact on CPU usage. Specifically, it is the autovacuum
launcher process, not the workers. The launcher process eats a whole CPU
(attached is in screenshot of htop).

I tried to look into what that process is actually doing, below is in
output of strace:

# strace -c -p 17252
strace: Process 17252 attached
^Cstrace: Process 17252 detached
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
94.16 0.030485 2 18878 read
4.42 0.001431 6 239 brk
0.35 0.000113 1 91 close
0.28 0.000091 4 24 4 epoll_wait
0.19 0.000060 1 60 epoll_ctl
0.15 0.000050 1 60 fstat
0.12 0.000040 1 30 epoll_create1
0.12 0.000039 1 60 open
0.08 0.000026 1 21 4 rt_sigreturn
0.05 0.000017 1 21 lseek
0.05 0.000016 4 4 write
0.01 0.000003 0 10 sendto
0.01 0.000002 0 10 select
0.01 0.000002 2 1 1 futex
0.00 0.000000 0 10 kill
------ ----------- ----------- --------- --------- ----------------
100.00 0.032375 19519 9 total

All of those reads look like the following:

15:20:12 read(8,
"\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0M\232q\20"...,
4096) = 4096
15:20:12 read(8,
"\0\0\314\316\237\275\v\21\2\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"...,
4096) = 4096
...

That file, happens to be the global.stat file:

# ls -la /proc/17252/fd/8
lr-x------ 1 postgres postgres 64 Jun 7 15:22 /proc/17252/fd/8 ->
/mnt/pg_stat_mem_tmp/global.stat

On all instances where we have these ~15K huge cluster, this file's size is
about 3MB:

# ls -lha /mnt/pg_stat_mem_tmp/global.stat
-rw------- 1 postgres postgres 3.0M Jun 7 15:23
/mnt/pg_stat_mem_tmp/global.stat

On instances where we have just one or couple databases per cluster, the
file is about one kilobyte in size. This, of course, is to be expected, as
I understand that the contents of this file are cluster-wide statistics
that are gathered by the stats collector process.

I tried activating DEBUG1 logs and reloaded the postgres server, from the
logs it was clear that auto-vacuuming was always going on:

Jun 7 15:16:19 dbdf04 postgres[6455]: [944-1] 2018-06-07 15:16:19 UTC
DEBUG: autovacuum: processing database
"3c8e81b6-d94a-45c5-9ec2-27ab3192cd3b_db"
Jun 7 15:16:19 dbdf04 postgres[6457]: [944-1] 2018-06-07 15:16:19 UTC
DEBUG: autovacuum: processing database
"8d7b130a-67ce-47aa-96a6-359d6c14fb24_db"
Jun 7 15:16:20 dbdf04 postgres[6462]: [944-1] 2018-06-07 15:16:20 UTC
DEBUG: autovacuum: processing database
"134c5c51-a441-46a0-a2ca-15f08f37649e_db"
Jun 7 15:16:20 dbdf04 postgres[6463]: [944-1] 2018-06-07 15:16:20 UTC
[unknown] [unknown] [unknown] LOG: incomplete startup packet
Jun 7 15:16:21 dbdf04 postgres[6464]: [944-1] 2018-06-07 15:16:21 UTC
DEBUG: autovacuum: processing database
"973b7be4-fd06-4c98-a078-f7a5e355d218_db"
Jun 7 15:16:21 dbdf04 postgres[6466]: [944-1] 2018-06-07 15:16:21 UTC
DEBUG: autovacuum: processing database
"6b831edf-f3e4-4d3b-ae7e-68def59d6c91_db"
Jun 7 15:16:21 dbdf04 postgres[6468]: [944-1] 2018-06-07 15:16:21 UTC
DEBUG: autovacuum: processing database
"8cfbf388-d30b-4a7d-b9ea-953352c0e947_db"

So auto-vacuum never really sleeps. Even changing the autovacuum_naptime
and setting it to a much higher value (from 1min to 50min) did not have any
effect at all. Both strace and the postgres logs showed a similar
behaviour: lots of reads to global.stat file and constantly iterating
through all the databases non-stop and executing autovacuum.

Is there anything that I can do to minimize the CPU load impact that this
process is having?

Many thanks in advance,
Owayss.

Attachments:

htop-autovac.pngimage/png; name=htop-autovac.pngDownload
�PNG


IHDR�8g�VsBIT��O�tEXtSoftwaregnome-screenshot��> IDATx���g|TE��s���&����@BB�H/�,�X�^��(MA�(
6���*"�w�@��^v7��-�~H�M�P���z���w��93��_8;;�z���!�B!�B!��P�����>�V�z
M��tR�����9 �B!�B!�o�r�s��,	1���G�uZ������r8\9���$_S+�c�E���z�
��a	!�t!�B!�B��$�r  )������Z�v�C="�o�������hYVX�R�T���:22��7&��L���j��_����������Y��:�B!�B!��%�j������(�O�Ta��[��S�L���kaa���C�����t��"�������z�����km�V���5��kW}���q�'
�,�auo�*���
hIa|>�,�z�Hqn�_�ajFfUun���	�
R�t�$)���J�G�p�B!�B!����]99�!�0��

���P���8��y~��K����-[�������N������s�������#�2EQ��/��������V�R�d�����y�n�!Z
�<({��$�8����
"��}lt�:4!�A(sb�����t�V���*[���pK�f�#�D��`n5�Kmn�����F�F��|lu9����>�A�o��cnE���}����F(�ux���9c!�B!�BWg�;���?��c��4c��?��Q��o��p8�fs���g����y�����������x��k.\(
EQ�dIVQ�+~E���4������L����t��JDQ��.X���	��p��z�(Ja��a�P�����B��	!�2�N�����DE�^�]�h��*+����r���� e�q��~���@�<���X�N#SL�h?�7tz���F81{�.��p������[��e�5�P��?�X���w>1�Wz���??����m������<�1�.xR�Z-V���4^��z-�.���C'-����<=y�.�p�U�J1��Z0h�}����+��r�5��D�W��N2��.���1�B!�B��#���������G���o����i���-�{<nshh��a����z�j���s�����^_@�!,,�h4��:��Y�I�������;6��J���=��8�����S���B����������u�%��\��������-%n�OJ�����r��%�fwy��P��OUK���5�����g�����jjk�9/�j��US�>�V���4��k`��e�y
�jJk��@�{��5���S��m��{�"yB�5m�o��io���x���[E��S��*@dM�3����J������f�"-4�����I��w`�6�E�Y�Up���������5pJ�U��T����j��+�"ye���'=����#q����w�Z9��5q��������Y��<"�������/�0�tx����P���R-U"�"�{w5���RE��8��"E�e����dW��fU�s�3�B!�B!tU���G�deu�\z��Q�F}n�5--�_�~���aa��*�b��O�:��K{\lT�~����IIQ��0-����z<�����3��(�,IraQ��9 ��_�p����j�u����|����'O���E��/�<W�-��RS������W�������5#D9��u4�����;U�>���t�� c�w�[I�.��B��ZI�s[�X�h=����~;�em��;?��P9�e�[���C���HT4ee����.����Uf��b���=�����<k��/�����2/��
\�a����"�u�A�<�����c�Z8�a�_�X�?!�<��,������<������m-�|�����Eh���������L�fBt\�A+Q4(���!@�b*�L�d��b��h��b\~��4x�����)(;����$�D%7m7��vC���b������Dx����xd���!�3�^>���1i$����P�zt2���4i�EJ�	I5��>�O���	�G�IO|'����jB���K/����OB�8|���@a���]�w��H��M����V�Z�k6�U�a����&��\���vI
P,�F���J'��n�2�vY�����:T!5^��D�)sz}Ng@V�f���4�E��g�U����~Q�8�5���^�����D���G<eV�(���&�@T�7@m�����������x�Q&���L�A/ST�����S������L��<Z�)X�F!�B!�P�r8]���2��fsfggGGG���.\���	^�����FEQ^|���[6i����0���X��x}��II	��9���b����$I��4M�*�j
�������0��=w���X���o��4q���u�<�/7�k�NW8��C0��JKK[�j�qH���������8%��a�����@@��p!<�|�����s�5���z�����<%I������v{y���k�B?�i����������1)�����;��_D[T\@	|t���)�z��tO���?�&G�}�=�:5i��>���_��V��hc��/���{�bT1��)�.����]4^��>���EG���H���5�x�Z�����I-z)V&*����Pg=�6L����:��\.��S�:�C�e��K.�#��DF�K�����z��J[pT��Z�m{�C���&G�X�@����~��I7�}����SB9��w`�o��8�
��)���K�U�-���8d����y��?�1��7s\w�m�W�������C���|��]����}���K��9�IeT�Q�
��(�U��<�����M*����f���>���kiE"�@�����883������;�3�?u��5utR�;�j�y~�.Tm��B��&�	���S�Q=�y�l���3�*P��M��t6�� gm8P�i7i�3��x����f�f�����N�={�L�����M������s|�xw��F�m�U���9N{��1{.U��2�j�
���6�/��=��o�������U_���1�E���=�����������F
�o9���e���6��>J��m���v{��^mb����c�>�t����
1�5���B��U�.������OaG���?�:[k2����=�K�N)���#�OW@�Y�sb�W��!�)x�p|�B!�B���"�,+��?y�-�4k�����(�@���d����W�JIi��/�����h��������<�q����
EF��1#��������]^� 22��8(�;l�RAl6G^~��dJi��Q�d�N�_�wM�Q4j��Ijj��F
�����*%���^h�e9���s�������,E�c��p�Z
��9�e����}�����jGn�Geh����F*���B||��3�U���SRR���������#���������v�E���'kZ��{h��?8��'��g��� S&	C�5��������d~�k2k���V,:V�v����n)��~I�+��r��1^�`����4,�d�{��>���=����O1�0��A���������V�`*s��v��t��:�Fm�@�{MTA�;�gY�����)��5WA!0��i��x5:*�}�v���_����Zv�:�k���")4�#V�x�+SE���u��n��������4$�X����$\|EBn{Y�(%v��K��Qv7���z�8r���<X������n�����sSJC�3��������#r����X[(�V����������z#L|n�Fp���z�V��[�|*�M�3�dx��e�����T�-�p�!	"���';���K��������"Z�K���
�y��O�����#tx��Z��_G%����4Io��v��2Nx<��$��#���I��l��2�3B����P��GE~]��w�
��RL^����P��e�5]���:������c ��<�>6���*�Y�_QH*e��Y�O��m�hD�������x�E�G�-�t��{yy������/I�A��z��P��uy�}�
P�k�g�D�
�E5����E��2�6$����S��-?�jW��"�*a����"$��V	�����FyU��'7c��B!�B�+�x<O?���O>�������f�Z�r�2G�3f�Z�6l��?�h��DQ$@t:�9���\�Q����b=q����Q���s�^��&�����g��y�����^��nOMmj2���^�p!�
���������Eg��X-���F���'1!1���������6h?�������/,/:_�AB��_}������w�~��7
	��U��/������h�:~�DZ�&a�P��N�9]�Q\$+
z�NI��O���d�J��M�Y
�P
Q���t#9��l��M�$��}h�V��Cg�Z�j��=�3���9����x��#l�A�t���}�����>����)�AO������������C�6��i��roS�����=��Y+�u�<'N��1?���3/p�+�y������=3��-�,[��4N�1Kj�NvO��L��C�7F�Y_�5mm�������l�0��/~p�x�����rp��<N��//:�0e
W��C�����;��3�ypl����YJ�W?~�9�����x�M��������*��O�xok)�t��7:��Y��x������1���K�
�}�Do����j��?xe��
L�mo����0���EN�����@��G6���>��<��_/��/Z����n1���+�����+�i�[����5���m'H�Tuz�����nM���gL��7/�XDkB:}����N��c,��t����4!|��19Mhp��p��y�W��/����� ����m���.|2��6!J�l�"vOf�Q���Y����������{�������p
�1���"0|�)�����o�!\��k��
7^���o~������+��{�����S��=���dM��#�3?M���9�����4B���c�%�!�B!��O<�:�EQ�����r%''�����K�������������4n������CG���o�J�UW�%c���4E�����;>8�>�F���ed����\n�e
CBB|�����kSVV����G�9~,[!�j1�j�B(�r��@Q���%I:{�|�����n�k��������+������KeMAN�9[XX<����V��=��;vhK�d�x>�!�|>�N[���C�����YG������C;�q<k���?V�1�5��/:������n�?�P\V��DC�3z)��'����E�:��'
4E�������)E)�/�U��[Mg��<!BP	�';�k���0�C���+��=���sj9 
����)��c����Gv�}�&��fd_��o=Z��������z���~>�@r�� *2������YZ���<�b�qjX��J,$T�i�@(�Vo+�1������V��YCg��--\^�N'�0~N�)KM���`��b���~��s�?�!~K��j�4�T����l��h���8��%��+������E������*!�/�p��D!�cW4��}�'���-�r�KgI���r[�	GC�N'���X��o��������D���8��y\IM��������x�=�/QL��~d�m�A[[Z����8��L
�)�\�5�I����*���8PN��[�5�O��0U��������:x_j!�e���S�m�d�����DD���q�#�V��b�;��������A��_��P�BLRt�
���=��Koj##�D��*=n;WF5.�����9:c�����B�B!�B�7���������%q���]�t�9s��:��������������[��f����1����v��>����^�|Q^��������Xm_~�x���^�W�dEQM�,�����t�r��C^xv��/���8���pB������/��j.�W~�Y���]�
��l�r��f

�t~�#Wz��j�^��O�x��Qw�q� ��C;��fd��P���N����i���C;v�x6f�j����.�`�sO����HE���yF7���qk�)(�E��,K��m�9�92{���Vy���J��rH#��o�->	�d�������<%x���.�3��?-��>0n���������fU��~�6	(E&�U6x�"9�����yH�'���\e+����!
���^^����EQ��J�W�-nrq�*�}	pj��	MU�H,�P���iU���@H�Z���\���&TK�E�kB�8K�����6*H{p��/�V���|��	S�R�S��C���+��i��)�����^MHT��?��i���z����8�l<-�|������h��d���x����WA�@��^\Q'W�
T�<B!$�y�~YP4��G.�J
(@�4P��B|����a�
��U|�^c�uh��7��U�ris���t'��x4K8��=���;b����*g�'}�+�I�K\��*�g�!D!�B!�P�
1E��m�����8�~��������7�
���1��aC��'B\\\ ��|~��aY���X��>q�����\��,����C����C�L@�b�>rd�����m��u�����;��_����B��m��}[�X����L!B�����t�SUj5�2�/�z��;�B����}��m��`���������-mw8���O����4i���9 ��\��������W@=p��<e�ru�I�x���>z::��K��^B���8K��
7�b�Of(��F��u�E1�H8`����e,=�W�4:��v�
�G���}60��!�"��Y�@�A
����yk~����DFE]X:�4j��*��"(��r5����`��5MOk��An���}�EILL���coM���5�����g(w����1�hP��ik��ooo��s�����\ z]"gHL�]8e%�'��9E�@����������0�X�\^��(��)
��=x�I�r��<h�D7�'~���$��$I���oPk�2s�R�.�@h�s6#R�Z�m��(���'|'2�e���V�*R�)"� ����M�c\������g4:�������w��N���uZ��*B��w������C:�������1&R;[�%�������RKL��/p��1:_v�R�r|'
�U<�xP�����Q��p���N�"WL�rt��eh���,'
D��k�V�0�����
?F�����Tm��q|F� ��Y�j�������@��<h�Z�������2�Zs,g'��%]��x��L	����n�G�^�� A3Vr�����B!�B�z$��x�!�
5!���ok���F��y��w����q�����������JJJ�eem��y��
!Fck�6�m���Z��h4>5����H���iz��[

>��Y��v���S'S�������k!$:2�m��UV�@Q��*�*o�%2U�t����L�����!���Ri���i���u��!!�A^nu���f����u���v�F�e��N�g�&�aa&��q4++---,���iZ���uE�1�auj��Q*4ytt3������3�J�(�6�-�����)�~����(�-B��4�$���u����?�H��"�	m��T����X.�$��??���U?9h!D��P2���q�{Z�t���;l��r��^�@�	��>c�f��kO����G�����<��Ux�>@y{���}���3k]]}��*�P�����Y:��9���K$@S�;���|��j{��P�3[j��M;���|{z��X�+���j���\_�}X�=��5��F5������7t���e��5��y����&�
I����w�|���o.&�w|��o%��p��es�LS����bh<����,�1����n/��@�._z,T�d.��T �|7a)��7Wt1w�wW�0���]k�^�U�t�[���ss��
!��`������������ IDAT]_�0ju��3N��G����V�lLM�BW�I�Rl�E�)><}�4��-���sp�W�����k����Mx��*��l�l/M������D^��rj��|��k�&O�6����>z����LX��e�U����Zk>�^(�g�^��%���#$y�+�K��r4�,y����Rl��z�Zy|��M����x��U�>�a�f�%i����� �B!�B!ts���oh�1��uI����;ul������^|I��P�����<�W���|��7x�5��z]�����5Z
HJL4���v��]{�6+����v�t�����=3a���S<��c�KV�N!���h��]�/�������3��m���(J�\}�e�����V�Z]fwh�j�ZM9�����N�E1 �p��c�Z�U�f���7J���./A_�3���a��Y��>r4�Ij���������d}dLh|j���:'{w��h3�uv9z��������A���8�k��'/,^���e��h���^J���Q�X(�p���\ (����};��~_���S"��O�
�~��[6�}�^�C�+Rh�����_�7.\y\��]~�@�WQ�
�B���,+[�n��Qqq1�fL����fd@�6��=���&I��m;�jU��/����[��u����}�v���642�)<������t��bj{KP���>�?r@�p�V�+tl'�����
�������y�~��~M{�'�sY����Mnim9�����A��i����O+������CU*���4���2hp;p�AZl�Q��A����~�����V���V W!�F�:��;:F���!���+�]��*A0����
�J���������-���T����>�U�Z�M�����
*���,�J��[������h��_v�������_�c��O�JL�����'������dN	kS%&F�l���������r���*��������Ny����mB(�UNl�Dr@&�z���P��6b6�s���b�zZ#����u@����Bw�(S���(s���W���!�o�0.P[>���BD��?�h����F�k�b8|�9>�Rc�F�i����cF��W�e��s��>�^%�!��
�B!�B��*�(UJ������#��y�ub9�n����-6(**����a�������)$$$5�������F\���;v��s�z�F��\./X��k���V�u�2�3<��w�A���(,,��4�=����/���c]����z�yh����(�,��/�'\��-KDD�������$#3���R-[�������u�������s�AU�K���N��p����e��c�,��8Qg��H}��7;�������5�(��0���?�1DCJ���.�{��T�����������,���"h17��&x�
N�K�6
V�.V8�Z
F�>����C�)_�W�*=
��=|��O_0������5z�*UdB3�� �N�}���X��%66��W+=fPV�e�������y<���P����~�nq�@�(WQ{U�����#)(J+�� R���e��.�D��4c�l$D1�����I$o�������'@�4M��4��(^sqoc���K~���h�c)�N�Q��.K�,W��@�RK}�V^J��U������>��0�J��U�Y���;
�i*x�q���,Uh:�(�(�|&�6j�������O\!k�f�E���@E�)�/��qz%���+�J�f"���	��$]$k������&Ir���s���B@b)�
,�v�e�����;j�c��_��*�e�����-x��=����^�Sf���+\k��
�,�R���V��H1�o���1�������2k�����e�G*���C��Q����(��r��R�7��N�3+_�-�6x�j��@!�B!��q{-r��G���b.W�����qQ�}���>�s��i�@��~�������{o�������H��
4h@X�z����|z���i���9�u��O�]9�'���sx��g�rZ����j��.���srs���$���7�)�hV�u4����D�a(����	��SV��T�^#E�uy����8��eD���+K|��*eb��p�
�	Q���*V�h��"������P�N��^���y�U���zh��#�8����j�Sg�j��u��]���@V������;p���^v���>[ �bmA���Vf0���#@��SQ��\����G��K���;�{T��Q�}�L�������[G�=x�|���p:s�����
E?��J������'@�^#��EriK��[��]}h4��j����R�[�h����D�� D��=* PD��G$�n���U�g/�9���K:@����V*�t��
�SE�TzuyPH-W��z��/�x���sy�NC�{��L5�Z�*��ct����O�������������v���#p�_���@����fIQj���^���wK��O8T�� �B!�B�B�,�Q��72IQ�$��@�h4�9}J��C������+�������'N���z]�m��95%�(d��-�BW��iz�����������J����Z
��z�����C��f��k)�ZHz_���
���f�c0j���:���dP��
��b� �N��o1�6���WyyM�������v�5T��>����g9����;vm����������A����+�� �U�S
��G= z>�>���	;�����czJ��m9"�J�[y���S�	�2C�v�9�w��8�}�������j��LqL|�N �/���������"W���|-j���,�"hor_U��Yy��B!�B�z�a������]Y���y 
����O*�%�)�"##��hy,��s&�q�����������/<<��$eee��>z����B�������PS���QM]s7�����9B��(�JP�*V������
3I����oH!�B!�B���* ����Dt��p<!Dt8N,��`/X���a��I������b���4��e�#�/>������=y�&3gL		���1l6�+�O�����_i�����#&)�A���B!�B!����@EV�Ne��s$���}$w�2w�!��|�n��y����FC�S��x����z�]�4JN������G������M
����6V����(++���%��%�4���h�����P�zv��lB!�B!����	���Ma|
MS���P*��^���h�Z��a���\���%��K�e/���P�����F!�B!�B��? ��B��Q��h�_z����A���]�96}�������q�	��ZwS�!�B!�B!��_�7-�G!�B!�B!�oS����`f]�<�'�B!���N��JV���o-
|��&o�3����y��
�r�o���E�^7���|����5��}=���Y�-r�������B!�����z0�/;�/W~ �����B!����?�l����
*&Rl\�-���aHbdC<�����~�}�z�x�+�L��!�����@m3��;O2	��?�����������>[����sC�����[7��hv��?����WU���,7%�MI������:��kxr�8�K�,}z�i��D��}�S)�-��|r~��#v����5���Q<����'���h����)���������{w�E�7�?��.����R>\wR���"�B���Z�F!�B�P4K+����X���{7���
?��Ka�O���}Z��>��{W�{"�v��� �>E8Qh/�>�����_�f��Bs���]���e[qE�l�����N0�%4��E3����H��|V�:"%]������9�G�8����<f��L��6���;��a�A.)�x��_!=��	:�������b)�������W�yi�s|W�Cv-Y8e��@EY���������(4���'��=t��!�B�$,@#�B�!D>�T�_7�wm��@U<�?�H�`p��f�������*���U;��~���T����wg+�k�s�^w���M�������%<�;���������/}�n��6lq����n��9�w�''��t\j�Q{��k��rOmx���J��S�??��p�
���W��E�Uu�����Y~�����gf��Mv����mr����+F�������h}��;��~�ZY�
�3�������s'������=�&�^�h����?�����������<�w��v�w��/����9�~g���\�k�O�F��Z<�KG��s~����i��R?�zA�����b���O�Z�%�]��P�Am����Y�1&�Mym���S#��y
�,���3�U/�GbM��W��[�{����8�J����l��=�ERC�\J��v)fA-��;g���������������G�,��@5��R�"�u�ik��e�E�}Tt��&��c�n�_�;�Mf��?�`��Y��x�I�O�|������S���w�'�gX��"?B!�*�h�B��O����?�*_!r������}N��&����_���uk1�wU
���.Z���f��T������������%������S�Y,Y�Tl#��O�=������/=%F�[~o�C?O�5��K���(U��d��m����K���G>�t����-y��'��w0�����K�����n��A���Aw��R��\O��2%�{,��ys���f}.��vl�sl����
�|h������)8���;};7��t��F=����e�i(V�����/�N����w�u���sf�U$U�O�#Z��>�l��vyj��b:���������^G�������R�VN)�F&f�����������KG�Z-��g�1�-���Wt�;��!�OLqM��W�p��!��<.������k�%�?W�I����(n�"�q�.��~��m������j�/t����$��2�[���7����I_'k�,
��i��q��8����W�w��:�{��Zm��>��w��;8�n9���eo�����A���=]>�����mIB!����:�B!t)m����k�����?^���P[������tl���v�J ���:����^K���V��?�h�5����c@)���2�\�������b�����x8����2��m|����b����nC��������y����)���CX
��	�{�����^yc�p��	q+.x��b�������W
�o��j�x�����ug>:b��?����Ox$E���cvq��Su>�C��}�[uH�_���R/Q,6���R��T�E�����
����m���Y�1&�D��F������Nk�m���o�p��6}n�����l�L���54������I�N��W��Y�%J�����"��y���=s~{<��*;a��g4zoj����qt�]$@\�W|�!7`�/�
?0j������,����9m>���������k����5|X�����v���g�B�X��������A�B�������DG��je���B������a��|NW
�����J�`�E:��][&�o�w�d��R�*�I�B7U{,���������1d�1g��Wah�4��+�4�7�ZMU��y���$&���_���r�*�q%m���g��2�}����[�_<w�]���SK�p�����z�yRC5-+�Us�T<]u>+�
�#��y6��6��e�rQ�S����s�S1K��j���cJ��,x�����/��e�x{��K�,��Ck���p��p==x�+}�_S4�&Y:Z�UCtX��k��U�#��%4x���^!�{~���t������G~�z����#��>�v^�?������'Z���K�V��?Vl�q�d�#b����1��V���o��{Z����W�!�B����M6�����0�o�!�B�����S��hp(�FGh�1��5B����l����:,��E�!z�s����[�n������5�����e�Xm^��AK�����&cH�3����EE���W���A��\�h[i��v�������U��%E'$dO��b����o�����/����/kl:*$g�9������P��fnT�\|����q������`�j�_��&Lxs<u�Pu�g�:)�X1R&���j���Xp� b���Y�������[M	��qwO����m��,�t�k-�V&�Z\��?����[u1s�.�Ym^u�0#
.*��5NwZ�x�#��9��d[�x���)J��y����
���d�~#��7�R��MD��\�D�R'?�F�g����A�B�n��B!���x��������D�):$�������<-�v$���-Cx ��;R;wR�5��2��>�n�������Z|88-k�G/����}6���X�[���xy3*���]Z
-�<4�W|���e�+�����sk���['s�>���nav�>.��}�z�w�L�59y�[������~8�@Zk�;�H�\���O*���b����u�7e�mC�~R�]�R�):j��@�%�x:����T
u�y>~h���Ao7
SQth��3Z���P����FM�B��A=�r�//���MNo? R��H��(�H2!�T�p��[�tl������uN�a)��0s���"5Pc��C�����������^���]�������'�s����]g�b9��(���b9��(�U����@�������t��Ez�O{FZOe�����}{���w�������G�k�S�
o�Hz�d�F��������d�WT����[�1��?j���k�B!T����y03�%��F!���/\;�;~�����/Z�}���E���+s����<>�y&�{��n;v�v��CZ��5�������w��,
�RQ?�������o���m��u�%���gJ9��_��mtT��M�.�zZ�������_~��������b��m����X�e9g��WRd_��^&0�[��y,{�����k�)}��Y�N_*������5���E*�g���������'v�qx���WK}��S=�U��`��_���x�;R�����=E���Z%�t��S�^�S>K���R�19mx�Yw�j��(�?wv������jn{M�V�`������C:18T��za���Usk���_<l��>1������%�t�.NVx��	,D���<��P {^��G����3V\�q���H�x��������h�@tl��M�?��@7�����k����)���/�<��/O�Y��bF�w�Y�x��~]��s��+�'vo�������"�B�W�����`fm[p\�A�V}n9�q\|�����[�!�B�o�E���[�c��o��l�U�M�)�:AX�yIF�}}���_�\������^�g��_(���)���&���%(�9��SM�xg�5>��&��7������N��JV���_�s!�B���u���3�}F!��7���N���V����L���G����f������g`Yq����7�Jz=�(u���45
�F'����Y������tM�:��?�B!����={���T�>#�B�������?�?�5������`(6.��/G����x��k��\>r�R��~q�2B!���PXVF!�B!�B!T������B!�B!�B�����B!�B!�B],@#�B!�B!��X�F!�B!�B!T/��B!�B!�B�^`!�B!�B!�P��4B!�B!�B�z�h�B!�B!�B��!�B!�B!���B!�B!�B�,@#�B!�B!��X�F!�B!�B!T/��B!�B!�B�^`!�B!�B!�P��4B!�B!�B�z�h�B!�B!�B��!�B!�B!���B!�B!�B�,@#�B!�B!��X�F!�B!�B!T/��B!�B!�B�^�7�Z�������$�x(��x4 IDAT�#l�^F���4�����8�A�>sN.�I�y��{m���PU�]�-Vr����52�G����B!���R���N������������iT���Qt���R��6��D�k�&�_�����^y_���\7s	�Q/��j��0g�����[�A�*�����"�XzWE�M��=�_���e�-w�+��
F?����h�hE9����\��\B�rL�����cT�����w����ugaP
_S�����{�(CO]�	��J.
d~b��N�������WU�.9C�Ft���Dk�~����O��e�F�Z�*D&�<
����/�7����T�Q��^���iV�	�?�
B!��]n�M���Qt�)N�.���*X�/\�qf{��A�B!�n6J07L���|Z��$ZU��`�Nm����
�o��0\
 9r���qH��)�=����a����������;���:����>�L&{a'�aI�AW�n����W[����m���V���*n�
�J��d_���X��������Y&	��~�G2g�������g�y�id~�,�Y���>����
��P��097���d����~�`�5k�x&k���a�c=;=@�8���[�-��1��^��w��B=�B5
�
6���R��&	�����M[�bH�2�9/W(6���������&�|ZX�����O���5}�S�u)h-�66����B!��e�[-8H�:��/�������iW�������nL@#�B]b��ieh��.�����\��v�?�T��+�-���sU+����$N�u��{�}��/}X��gp�a��]Q���P,m&��e���{/�4�������������5��z����us�m���{@��o�a��{n����g/po������	{��������5[)D���a`��1�������m���{E��pqA�jW�>�����
�����0�n�^|��e���R��D!��Q�k���
�B!���Y3��l��<����0����Y�]�VU����8s����,r����qZ��m�?Bh����c�W��d$j!�*q��=5�5<A���7m�lfA�s��L�l�g�.f��;;l�n����Y�>8��'���3�d��n~��Hv���������[��#�+aTX�3�z�Pd�&5�Vn���e�O�t[����V�ko�B�x��X�@��Ah���'H�+��izq���D9�)<�Q�������'(��
?�[����s�Y3�=	�K?���
����Q7��ez��=]#2��$�DQk
��]��r���u%�|��8����]�D��{o������t��u�.�����J�f��V��0�G	o0��������\hN�
W��u�~V�6�>����*Ni�m�4m�ob������>���%�<�S�!������F!�B�#��>��G����c�"���Z$(p�NdeWEm`XZvN��|�.@Y�=9--��>��KZ	jO��%��������
\u�'����4e���$���Ly@�&8--$o�3�k[��}�r��������;[:6�M�M�������xhR$�
G5��X2Y���U��5��8�E�(������@mP���� Z: ��dg8%�n�������0s28{(}�X����J���S&���M��� ��n9�	C%��i������@�X��"������>�R�@I�!�k�
Z?���I����Z������C���r�
��wU�2���<S�����@�0'����l�B�.a!�B�����"�
E�>�c��0,�Qcf�(��X��rQ<�4�L��X[���6�W_u����[���2E[���*� �yG����M�Pi�u�^1�b���������o}�V�����a�=l��V����B���G�&J���zF�t��3L�"��*� "���@�����g�*����C��f���
4�H�3wCgkW��^�C7��2Xa���Qe���[�@��)�2L�LG@��?������cv�2�q45�|3�2��.pd��n���hks�!-��#�t���t���	��c�T�P�@~���O
!�B���F!�B=��Y�z�y�����V#�j�v��m���H�oR�k��*��J��>��O��W1��Z�)B)q�1d���)t�Q���9�h���%����J���T��46Ib~�!n�{j6��3O�N��Q��0U{������@=��rzBS5D����-[���c8���k>�vvV�yy��k���@+}�]P����s�+�V�-��4��)��)�r�\R�;�Z��U�0�B���	h�B!�3��'���������3�|xOQ�Y�WTSU�+��D�2@U4����
���kJ�kf���F$WY���`�HCC��{����u+�5����?�YJ(�������$���*[����|Nn�,*�J����gX��k�B]��i����9E^��{m]��/�DG���4O���BZ�k�MS�@e�pyk��F4����7�2���4���r���'b����;`��/�S8�[�Z�V=�kf���j
i?/
@HLC�� ��$����J���B!t��4B!����H�����7UF4��#*h���=U��e@�����#�ed
t��GzCh!5<X�m\m����v�x�F�����b��3�;{���h����a�a�{Fe��'3��m�'1��Q���EO��@Y��;�On��S�A�'p�d����\�f��e���@�gaW{B3�67C��Ip���L�U<�n�+����4	���kE�'����-K��������c�?9D�Qh��"��Z� �B��y|7!�B�N�����w�l��U��@�z_~���g�>4g|���C�B�4-��SX[j���R�8��T4���auFN��T��V��@gz�m,�(��PT�N�,]i��������o���J�wZ�6*�o&�Q��,�	CB��D���6O��-�q�x`�t�S��������7
('A <.�����3X}�x�d�nQ:T
��I�����������pc�F*a�����[uV=�u�(����X*�)h�'?�8�����O������O��e��a����$�����9�l��j�+�(�@������&�_�0B!tY�^4k�e��N60iRv��>�H9�S��B!�����X �V��z����T]\��	-�D�+=����J�+1)�Y}�B��j"��Hub����'�o����U�$�}�Q����l��fT09d	��]g��en�G����O�n��.g1Z�t��$n]��$��X'���k���e�m��q
�y|���j�0������'���x�������Rf��M��cC�@MpY�)M-,���Y�w���[�.�����$x����Z���{��6�zO�����"�X��*l"|v�~���
��������>��f[�����.��}O�}�-����L��|DR��	[��M��5Y5��h�@�dS�$�2���(WXm���\u�w*1T�<a��K>�A!��%�{	h!���m_���?������P�C!�B��������d-��?QV��NJ��r]���D�Ww������.��[�Z�q���) ��=_������Q���1:p�����x�\�YY�\k�x{�G-�8b�u���o�~�[Z ���~_��g�E���n�e�X3�<;�Zj?��O-XQ�?�-�z���B�z���������f��w5��/��S�{�M��y�4R�������T/�����L_�����M{�����~'�	���#Qfi��U6�|�������f��xM�����B�KIOO��Y�%C���������1�W5�~�C����\K�k��F��C��{�.�5)��|�!�B���v�^�
|�p���;��c��G����ol�.��?^���=\�����o_������ �B���k�I��hoy��G���!�B}�pYl��,x=�b�}$$J���y�����\��������c#��JJVx�u!c���u��B!��%�{-8.�f�k��,(�;���w~!�B�s����/�����/���O�4�����.v��z^��h�����n�@I�a��5z��@!����}	h�j��]w��@!�B����_�|���������V��bG�B��@���B!�B!�B���k{@#�B!�B!���u'��C�y��Y�o�lx����n
d�z "C����VglBH���'�)z�<�!�!�!�>�)����n�;B�p��&�M<�'��������31o�����Y�o6	gI027w���	�#��9rr�����i�����������Y0�����/d&]?�<S�GO6���s��u�'������5$�m���yO���Hee��]+�p]����q�+%��Z}}|���I����>M��#y����d�f���`�"~����~�xB���������;�wlO����i�1��8%�F���6>�d�����[,1�f�4�6�/�lx���n�o��!r����'N����2��!�B��Fh��6Y
�7�`U�4nZ��D���:�'snx������	!B!�P�G5J�p���x�9N&b���}-P ���w�(�����oh?�@�V���*���\�,���~�o��\GO�������MN��3��x����1m��_}_������y��������?H�8�����[]���y)%B)1
�l��P�9����p����P����Gj�63�^9%p��[�����������Z����5y�������7
M*�5������O�_5C�8����9�B�6�H@k��_0�[o�tG��C�C���O�{�2�b�+��j�}�B!�z��xg~��k<zp<�����r�W5�$K�~q1�hr�$�/;XTR���g�&���fSV_��<�R��Hv��
v�=��{�}a���<L@_���+��������2��{��~��w������}�~d��{��Z��������#-hr��:bV���yqs��R��O�n�jo�e6~�Ey�����1��wb�Zi����7)a��5���O��3�c��/H3�3&���Z�P"��K���u%���;�9����h������drt�e�!@��k?�;8!M�Y������rg�4+ D�}���!�B�_�H@S�qw�p<���A2��B!������%���6@i���TrV�:�1����!�'��q{�`���e��>�_������8!���v��3�7m�lf�_�������P�<���HF�&��w|a�S�2�I�>���Oe������{��`������`=n}f��Mw�^���0Z�)�Yy�D=HNq���meL��C�i�	,���f��MTn�}��R��<1J���&�WY?��I�sm��^��� ����G2���XtF��mG�����y�#K�Pz��2w=���37��y�����W��,c�������*R$�����V����\���2u"�[����Q������zw��B
@�9��m�x(�[
��${"+n���J�H@y���	q�����/�H�P���d�lw��M9u�5|�\�eA!��M�mB�O���V4���!�B�w�mIV@r6���7���� ��0,oN��d�O����6�O�����5��(k��
9|`��k�4�6�z�5���/��4"����f�dI	��k���U��W�������d�t�f�q��'��;?������$�t��.�>�k���m�^A>�6�.h����3d����[j��wxr�O]950<|��kq��eU�E�cn�LMgwl]��O:%����h�fx��>����5����nI�z�WKJb��}���/��@���l2���}��~7�������ljR�%9G�&y���Q@������g���sc�P�e)^���&������50T�)12en����v��0j{�6%s�vZ��O
�0G���F!�PO�F�)t��+d���@S�y3�B!�.(��la���@���P��#�a����MP=U�O�T�T|�`2	ZXbm�CF�X_}��"w��4j#���lZ����|V(����}������F����Em�,� �yG�����s�r���U�-%���]�D;L��/����&����P*H|Rx���W��L\x�x�qc��m�
e�.�yB�����!9f�*�7@ScKO���MO�����l*f(�u ?|C�J1������o��7�������?�m����a��v��_.
l���7��80�����s3n�����._R$�����c����<o��
���#�W�)a�\�j��&���l��� z"2]��zp���}��\�UZ^��a�R�<X�lg���S+�hJN�����9�B��I@3Z�5�1����:o/�2$B!��p�`K��HcC�{�`"&f�s@5J�Z����[����H�oR�k��*��J��>/���{�i	J����aR���f#�#<}Npx_��v�]k����m���n�M���!����*s���"7��2u����fbr$	���m����L�P�?y���;���X�C�vgUk��*��|�����%����*�y������g���������"J�w(r�gz`��]%���^��CcR���M�]���sH����c��/����lc�����??��;?�-(L3��~'��'��2��-��]��l�����na�o�*�-���C���+�E�5T��:hm=Z��3T�jc���B!tz MS���g3��Y�|�_
!�B]
��h�PcS�{a���i�@�/.,s)����a�)��{N����I�5�J��53{�p#����X]7�S�	@�R[�(%!����"������[i���������R��(	�%��K��(R �]����$SE�:l��)�9��Pf��aV��������3��G^J�T"����t�s ��`�4��}'����WGs������U�h!w�=_�������� �jJ����[������-X{����u�*�w-[�8i���{��[8��t�t�����,��r��T~*o{����#��5N��D*#k���\�)^-��Z�q>�U��~��3\�l�
H�7�2������
M��9~�q�.#4H����>�B�s���u�w�t���7W���B!��/��l�P�3�������P�M^��^�[NNL���u%{�
X���):u�GL���p������Q��A5���/��x� ��������\`P����r���v+Nx�]y�@m�]�Q�����`s��m)���n�2������1#L����U��(��@��Y1��&��>�y���)"����$p+?�SU%
��v�'g��2����'�>y�y�r�4x6Y�!���:%[�/
���-{"���t�	P[��S�e��5�!+E����8U����jWy�m�7�/����Z�������7t!����	�����$�z��EL��AA!�B���O4@����<0a�aZzm���Cs���;�~r�5U�T��`�	��`��"�4���auFN��T��V��@gzn/�n���&P���Z�a���xp��2�(��RX�Nn��F�j���K':d[��� �����!��#"6�X��:�����c���?.&zN����i-���]c8M7&��v{�]��h3���|P�xN����}��k��]XX�{�
��/�����
��x^c����D��;���y��$#G��w�o���c�K���07,�)d%1zD�p�uHMj{�3q��>L\����9�i�����Ap4�����,3b��(��1>z�n��vQ��������S��� IDATu���j���5y�9;8X�
J��o�����[�k8�F�!�B�u����n\�;��|���-w+$X-����s�B���%$���|J���
34�-I�;���]������X m]hU]�dO���$�+�zo�lU�^�I������4PK���fT������C��+n/��<�s�j<��L��J���� ��5�ob�T��W�W�����j������+���6�p��9����� g����3�{t�m�Os�6�
�q�[�d(�cX���%%5�V��������2p�u���P	��Yr{V��c1Z�t��$n]���#��Cb��
�${�
zw-^V:���f.�~�����_���B�<�t�)��W�ee
�
���?������*9p2bOb�v����<7�ZJ>�u<��x<~aH@����.������������Y>!��vH%w~yi�T�h�k�]j8o����h>���_(�cw��F!�����4kQ�y����OV������b54B!��e��;u��sI=�C���Q33�lz@�x�N��N��i������i�����QgO�\YCW���R���_������}.�����a P�[������u�W+7�s?2d���k��y����a�������"�F�����i]�gmAP�t���<���C3_��������"�7�D������wq�=���l����7�?��&���`k��y�����
{��)��H����~���A�����g���00�?�������M�]�/	��Grsv����5�|o�k]��>�k�h�G��S���V�Kn��;t 5�[V�_~/���2)MbqSh���hJ����~e:��*)L�����
rG6��mN�H!Z�q�26bB!�.�n$��J����=
B!��4h��=�+:P�%�;����n�d����a���U�5%j�>�����%��g����������)6�U�������[�/|������7�b�#��
���_u?s|������<�<���x���s)��-���/���+U`�C���^���2Vv�l�j���������w��.	��g�(O����&u��|����v7T���9�?wna�N���u�����g�u��.:e��x��A!�:'��y��r�-��������!�B��.�������^�@�oh�������T%%+<����Z_���A!�B�^���T�����V����=�c6B!��lh�o���j*���"r���� h��x�[)P�x��b���=�B!�P�z_Z�Z��_�}�!�B!�\���?�v�[<���
�B!��IOO��1 �B!�B!�����!�B!�B!�.m�i��)���r���e��7�5k���|r����68��Y��N{p�!��������K�8��B]`kR����j!�B�gN��n��L" 7~[�k�����2-=��!ocUyEC0�M=�.5;'���w�"��(a9�*j'=���������l�����r��z�[*Yf���p���\9��E+����I?Vi�c(�,8}���������p��LW��v�PZ�'��K���Qzk��G���	ml��	)x�B='�C��~��\�oa4�lg�_/�7UQz��eA3t��|�VG��]�����R�%���[�@H�����W�����]!�B]z�S�j)q���q���5�pf����
����������MB!�z�Y��M��7��3&��z�VoI�=0A���m"&��4u|��;������74�rF����f������|���������,c�	D-�662�E�.7s��i'�1���%�Y	'��g�o�Z��@���0Y��O��2�
p��mA�����������b2'������2F2��q��.���$�1<��i���!�B�KQw�����O7�����0�����-���C��k^y�o��4B!�Po����U��J]�iT
6T+<��c��]�7�l\���eQ��geZ�����-���sU+����$N�u��{�}��/}X�����"�-K^��������ae�k����0}r��;=[�z��\�R���y���]����{m����
�M[C����,hc��P��
�7�o^��f�g���.&���9������[���{�3$�B!��%�;-8N������!�B]����(uc��9}H��������u�~�6�r��H��fd��`uy893�����,r����qZ��mKB�9���������������TM����|}��L�\�{����I�7N`������)��T���M���w�pD����k����x�`u�������oV^$Q�S���y[��RP��H��������[Z�N��ri�����Do!]�:S����q��_�{�cs�����k��� 9����=�����W�7V8oyI����w�7�e�-MT����������&��[)�x�o�
��S�T�x�����K����0*,q���)�}A��	�o���@A�RH� �Yq�>���Lq� Y�I
����is���8���}(t��!�B���~yC��#S���~q-~6�B!��F��Dsb��D���;L���>RWZ����]�}Zv���v���.@Y�=m�����������t�����W����������__������W�_y)nCMK�����b���vRB�J�f��2~~��e���6bZ���;��p���c^��uK�2�On|����o������<���Ie�eP��k��������q�H�k,����(8&o�~L&�W�E�T��W�4���dM��_IH�B�OH������kx���m����zy�>��r9W��*�alBn:h�G���V�Sf���H��#y�
l�o�N[��x]K
��"@|_V���.���&�A�pTK&k`�
!�B]��}c��zp���}��\��~�B!t�#��Q9�:5�Pv�"�����`�iY)��PT�S
�OE�7
&���%��<d����W)r��Z�;���6q!�����c\�9����"3np"Q�����uJ�\�0���d�i�~o���'���b���9_1s�6�g�W7�����P����'��{��Oo�rH��	�����5�y�8���)3#Y�P�/?t��^\jv�Bh�K\k�GN������n�<��>��MpWX�������3�J�>�������>T�����l $5���o��)f���q<h�����9�r���T
X�d������~�DOD���R���:L>�X6Qzv�3:��EY!�B��v�[hy�V����������2U^�-�B!�P������FK��#+]�:�Vx�3��G)�M���&�����2����4���m���N�G�;���&�
�&Y*3*�q��Hp���r]�-�"S2��-T��_����a���R�T�G��@RG�������H��|�_&���U���^y�����E$B2|kf������N�����������I�P5�^f~�f����m�"���H�{�2����f3��<�d����3OY�
5Z��6�������mAa�I��;��n&��+�� ���P����l�!�B�KJ�������p����s����e{X�MB!������}��	��e�f�7$��_%��&=�>p����������{J�����I�5�J��53{�p#����X]��vO�������!mY�i]V~��TJ	m9: 5���7���\�&0��s7-[�8i���{��[8��t�t�������h&��������&�u�LK����1GX@���a�,}�L}n?@�������S���G$	��P��������_�v���c���yN��<�^[�)k��oo��K��.�5������G�S�3����o�;r�W����w�`�K)����4��!�����@=�B!�����6!��\C�R4���B!��dQ5������7��F6Z�l��+�S�h�Z�O���K=bZF�@��`}�����D��Q!�J�Ig��u�P�@f��d(p��Y�w�g*�����m(�+#� /|������*�g��F|���������B��0�������/�i����~����78�?H���>@�]q��,�;|�������o�K�9������_�um&$.��3iV��u�3�4/zJ��_��9�����p�],�/
�����@���q'@m��K��:�{��L&��x�����C!�B����e�����89U!��`�B!���a�i�w���LI)�����0�%1����go�3>o�����M�T�����w���*iR R�/��I99��:#�yj�kk+�B�3
���lj�
���e�x��������-���D�Tr��%�������H�PO�T�����9���&	�I��J���3��$F��������E�5��T ~����p����y��=�tXk�{�����Z�8���=m�e�7��chMQ��%��o�`OaN����p��?���b�g��
O-2�'��?��(��@��LL������0q�:���� ���2#&�@���70��-j{EN���#!�x�V�$�<���[�p�!�B�KS7n�����������Y>!�����<B!�����
34�-��;���]��P�������g�Mu�RV8@`�@'}-��*A���df��
Iz��|����G�[���j�Uz}yP��G���������ql;N��������l{�a��9-{b��6������+���O@4R `��qP�������m������PR��&%%KJj0����������&q�J�&���2�?�8�c�W��@�Y���f�b|��8��������<]����Sb��}�i�bzbm��NS����>o��<����3������a@+*T���6�s�q����w��}��e�6�����)3�������
��x<~aH@����/�N�K�W)3��&���������|�FB!��$u#�4��M�Ac��u(i.�������bC!�B�������X�Iw}uy���w��@�W-���HKT}uG�:���8����8n�o�l�X�u������O�7n3Ugn���W������!���\�`���l`�/�VI���aoz�S���	p������.S�lm�^�y��&J%��������?�%���H�`�n�x8�f����r�jM����O��82��l��c��s[�������>z�8�>K����(�,<���\��i�c��?�|������D���	YR���=���OF���D��e�����N9U+�%7��:���-��/�qw&=�������B�H���^y�_�r!�B�R������[�_�s� �B�K��.����P��hIm��r���
������h�C����@M�A�4�w}����G5���-�����������X@��S�N�]�6������?�NX���H�����[����/I�?�Y�&P�����;w�a���������c����s���%'��d�)�C�����G�R����E���z8�@���Me,����l�������NYs���tZ�7������s���Y���y��NF�
!�B]z���y�$g��������B!������XYY�z��u�6�����U�*�(�>�dN�yP��T�`
�B�KOOl�����u�-n�����l�-
B!�P�4���_|5��_P����(�~�@�V���������v��/
��r�"C!�BV�K@+U�^�+6�@!�B]�\��������!	�y6�"�p)h��9���B!��Hzzz��B!�B!�B!��Q���B!�B!�B���3	h�8����
��U�����������{0�	g����G�q�����[�sB!�B���R�M��7q��>�Xn8��'{�������
����0����-��8��S���B!��A=���������:7������N��!�B�RC��~���fLi�CRt-�����C r��Oc��~C�9�����h�W9e���f���~�O�:z2|�B!�P��~4���
X����e+��U�y�����!�B���geZ�W�XKz�@s������S�2�p����Uy��>bN�|z-�����}����>�B!�PO�v�O	^��������3B!��4q��,;��p�XI����,���i�W�K`����,r��������8!,z�B!�P��f�Qs���]�#��	!�B]�Xs��+�	j�N�HI-��������
���s���k��u��iG� `
!�B�KB�z@���Z���r*H=B!��d1���Qn(��������e4j��e���X�!������I��kK2���������&�B!�BWw��<�J�qS|y@���B!�����Y�z�y������(�4M��=Fx�#��Ii��*�j�*�}F!�B����t�X_�>8�p�2��OU����B!��l0�IO��7��11-g�����&�l����	V�M�.e$��h�1�'���(
2������H���cu1w�@!�B]D�����d��(w>:��8��c����@h!�B���E�f5��"�������pD-XW��J�������W�z��������= �B!�����m������/����8b^����v�!�B�G��x���������&���}+NV+�����Y�{����z����}j������|SJ����*(�����9�SS]�����4��@D�nO!�B!t����#��+�m4����WTrg�z%B!���c��@k	�����Suq�r&�<����rSI��WbR2��z�$=
�D�B!�B����!�B�������z"ho��C>���T-w{Z�!Tw��S��!�B]
�Q}
I����=�B!�������v=�Q�����N��E����h*���5=B!�B���k+�s�-���� �b�B!�z'.�������^�@B!�Bg�S�=G�Y���F+J��f�[!�BuJs���WSy����B!�B��/�T�{���.v!�B���\������Q �B!�� ���;�B!�B!�B��^�!�B!�B!������D���'�l�i���c��d�O�F���!wQAe�36!$�`���$ �!�!j2^�p��&{���[�T�;��C8�C�h�QG�jZ�D��?W-}���Aj'����h��;�������w����?c��]����r��;<������j��j����j'=�������7�����78��h��?W���?�9���<g
�t{�OU��s���5_�p���5��M[zm�)�#!�B!��C����.�S�pB'o���s��������"�B����Mm��+�������Y������:K^�6+1���s��=�Y���7L�M��,��Jf�iW��N]����sA:������nu��^6��W����m�t.
���g
�H��8�#��G~����2�]��^����,bj�o��}���<B!�B�"��&�
�:[8������F�
�\����*�����F��VC!��D���<9r��x��Ga�	��h�������(�mx��4X__o�SN��A�?���7��O�zn���s,xkR�4m�w� .y5�k7����/���Ye�
��On4=_�Z� U���i%���C�+��/x�)������^LX�"'7������{l���d�#��!�B����	�_�F���J#���$eD[�������I���4g IDAT��w~n�V�P������h��6�����������l3B!�������@�6>�rS����}#V����0
Fj�EIP����� ]u��������Di�0-Xl��>y|�����9t�Z����=����T��:z�*I��:��:�B!�B�V7[pP�� �0R��;��'����s]g��=�UX��*����������������`vY�<�����v�!�B������0�q��({`�.���q�l��!������zWk�&�u������?���R�u�\��������a��s{2xN��������s��?���y!{�!�B������:����	�����Z�0q�������+�q*�����	���/8�
��E:��d����~~�|��A���`B!�.qTb�B������S9(��xFq�i����hlzba�R��c�������w�T�WkT��0����i�,�m)-�e�����N�.O��i?C�<�g5���S�X^\����q�����
<C�!�B����u��O(�������'�b��Hp����Z*lY1g(�ID� �A���������T!�B}H��b�<�s}U/����������e��R>�u�_�&��QL�����
���=����������_U��d�[O6\i���w� ~�-�\��	F2.���m��{K�?KH�x_>�B!�B�Y�+�Ac�������Z�e��fu|�SZ���P
(%(P�F!� %_��������lX���m<�������&h(Ixi�.@J���wW��;j��plY�pT���	�W�f�F����ip\�y���,�w���wR�(��X�$[�,����Nnnn�T�jR5��p��JMy27��g2�I�n&�q����NbE�%�Ej!�}I�;����l�$�O
���r�E�>�}��t��o���8������������������G��K{���L1F����8��%]�-~�X5Bk���"�#u?<""X�K)�:������=�Tg-i��t,��������:1�l���3�p]�<���1�xy��21��.�=(�bF�f����'�><��{���:�����$;{���Z�QGs�Y������SM���{�X�`Z����Q����!�5n5�7*����lGP=8x�l�����_D�g����%8�(�l���N]�7q���SM���)��#�8�������G���D|�S���'������N
�R��rJ�GzO,���k�U�����
�M-��j�
^L�h�����n�lIDq�������DL��y�$��d��C�o|-i�>5�jQ����:}v��Iy�����+�c�*=�PvG&���~YCDDbR��3F���&�^��pD��������E5�������C�3Eq���+/�-#������QO�o������uo�.�-��������)��^e��\�>�L�vl+6�����Z���\��N��X5/��_E�N����w��ugs�3�rd�Z��>o����o�a*�������SR�/�k|]��P��S��kk�:p���;Y�v���|������7��)���'���`�Z������T��t��gf���FC�~/�zRD��>�i����@��.�����3�.�#��_����?5����1���9�������#E��kM���>�=B�����z�oZ�]��������?l��W�}��������h��'�����\������0>l��������&���������/4������c?���k�T�����]�G5V����������9���k�Qf�����������mA���[c��������ou =v*��C�<��������/�����:�x��
�F^���L�k"b��=cU=Iv�����_t�D��(��x�`�%������~�VG����}������������}����p{[�J������w1MJ)}�l��WB��]3��������\��O|��gWv=�65���q}k}P����K�
����{wWP�g��6E�5l�gK�.������������{k�������^P����~�l������}3s���������1��V9�j�O��Q=���\���_���|�����G�5��c[{}P5P��u���
�*���M�8���C�e�E	6u%���H�X���w��O��W/NzRK�`+���������/\TDDN�����*6����g'���M��u�E��G�������h��:9�h��l��!����;3���5�io�H���|b����������?s��z���J��
�Z���\�EG[1E|����m�W�I��\tH�w�/SO��������l>������9�;���vV%�p[PC��&b'Gf
�e����Mz,�f�Wn���Ns�����
|���~{������U+���L�I���D���Q����O8���k�����2��""�x�y;���W���8{������0p3i��_DJ��-"v1W=��<"���;��9�wq��![��:�114����/`�ZA����
��%������~������9""E�����mi"���]���"Z�l�k�c��;�B�'�|Q��V����w���_C�����&"b;�����!��o���W�$�a���	���W�m����f��� �5l%?B�(�o4������Bgg������o��$����n�P���R��R�; ��R��$/�e�����eh���~�XqUp39�m�v���-"�����W�����������/`-[IZDDJ3�#����o��W����C�O��>]��D������-�v|��N�'K��2���[�0D|����{�mY""��8r�������X����5{���	SDo�i
.^����Zijh�X�X�V/�[|0&�f�'���BFg{���X��dvt;�_n�]�?��m����"��n~���/��/�WED
��"b���G�&g�sC#9�vt�]��Y��vD%72��V����$���.���n�I)��"V�7nX�w��`�O�\��I&.j��c���|�sK��
�e��	������--��j���]�N���k��'�-_��5�z}WK�NM\����X�V�������og���y���'�'�z�W��va���N��������fw��&�Sh�|���f��zof�O����4�4+54^h�6l����_���s���iasnp����uv��.�,%����c#Icu.�Q�����������C�rO~q�K��l��?���%ED�QG4�}��1����d}#���N�n�~�7R���?��f�����<=:W�E�.�F��H�e�L�"��������������9����^-�o+��������\��2�R��t�������=lg���m�����c�NN\�W'7|���E�6�N�;5��z��-`'�O��n�����������>�?��������`�������~����{�������U�&�U���)��������D�{���P��|���>�3���:7P���nu��5���F�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	]D����[�����Z����+8W-�r����+���g����P�Q�����-~���\��Y�T?���QB�`�T���@��R�������s]���|�����������O����;f�6����\���X�}}��|��o^
Jl�{s�B���������m������K�*wJmQ�����!���\,��(��-C�����\$��e)�������8�.�\b����=�;��J����Z��;'���vi����<�;��u��TV�~�o{�{Nw�[PDD�����X��u.��:�j������<3������&v�5�e:��7��:�y���$���4��"�?��3Sx�D�V�RW�.��e�G-��|��0������y�+?�)k�_����u?��M�V��J�""�f��M�5���O��6>�t|y��;����-��l�>���k��x�J�@�Nl���X�x��P���C�@�(��
��;F��M���W�Yj���I���p���D,�{�q{QJ�������M���^�lkQ���?R�^U:�V�T�?zw����nY�����97����;���/��.)��*�V`������8s���G�w�%�p���j�[�!Zu`����Z�$��,;�~q����g(����x�B��+����*O���P���d�_m�N<6
W�lqR
��T,�H.�M:"��L���|�
�X&�u�W�D�Uy�k�6�Z����z)�3���&C�������xc��6�"����f}]�H�5�%�!�XP6��6F��}��t�}�f(},�n�k����f�����0��0{��<KDD����������������~v����Q��O�T����)�Q��q:a�9��&���e)��`�%�p���KY���������Tle[�-�t<:�~X�JF:�YY���`+;D��U����=�j-���93�D>y�y>��a6z�v�Vy:������L7?��N���e�����'~!�������5�0I�D�������x�J�X.�}�+n�h�U�B���U|��h-YM���22(J�L]k�T_�qO�_��9[7����E�:�r��/c�+�mGn��U�Z��������O�����D�w�7E|�p���V�������OiI�����`����X���D7s�X�^8s�Su�Ws��n�{d��p�!ziT	�?j���S��3�������F�\���.�
�6��d��~��ma�L�UYD�I���$�����
��@-���~/Q�)J8�=���Sq&���1���%������2s&�m�o4�NU<��bO5����Y�(�ld�pb{NUDD-�~���t�����z��}��Z��\^�m�����>3m3p�X�����m����v6`�����hP,_�!��Y��N���q�#5�����(vI���3���l�,�+���n�[�&�+��k��'�'[����������|R|���}f�Fz��0���{U-�Z�Y!������^���T�!�[B~���H��:�x1b��q��
�uUD�)KK�&��>��M����b�����|�)s�����j��jr��uc�L8=�-O_L�W�om����$���������������R���lFq=������?|���w�77M^X��;�4�I6�x��3r�{���!�8�;�A��������d{r��������v�c����3���b�?Y������,S�@Mi6��7�{�m���������5�X�1�?�_}|�@��g.'.m�6T��Ovf���}i�6/�F�����R��)�����YO�������-7����=SW�b]��~�m���Ke�h������e�<xd�	�>/Zn��V/G������[���
�?z~���P$�J<�tFgO4e�f��~w�O�B�H�#u����6����C����Y������Y������p���v�p���|�Hg^&wL7{'5Q
�����}�n�
7�wz�%�W<$u��i�e���������3a{����V�L��YP�g���i�?ho5T+�9V�]l�3�)n���u�V���8]��!����
Wz��R����9[��
����f�����X�Y<-������J��.�0���O�_"_�������+�e[����r��������,F�����L���;<�-��5��naT�U��r/K�4��u>��X����,�^5�U^���<�R������g���
�W7e���;;JKj[�m2��G�h��?�Z�+��g�(��i�U[�_
��T�)iv��Y5~��e��BR��������uE� f��	h[�ELE�U��VU���+#�y�#u>Z�/�����\~���|���(����;"b�i�����|gC�BY���I<9��%X��
e�������4�J����}��������������ZJ[����@G��od����w%Mh�{�#��������*�����/�h��Y=^��C��h�4���Om�[�n�fz�-��C�m`���e���R�
v���f���w��Rm- vNs*�
*L�J�
'�0��%�1�[�O%s:f_N�{��Z�����3����.[�+����0n��U���q����&�3)""�GO�o]���2�6D	.�A��-�f_��"��"��t\9z���S���.56�TU-��i*�����E��(W35[D����bik��eV��6�m�
	�%p4c�'��=�Q4q���E4�L��W�l���*h�R5O�Ds���"�@�6�OM3�'���dy�'*��M����6���)��i�����r.VH�s�O~�+)�H/�4����Z\V�V�I���������\����������BC��8z��m��H�3F�����r�U�U%6�����,k���g�0��iYUV;�������_�>:�:"��P��".@�U]�����T����z7��~����a[��v����[�������:e#���[��{�l"5.����}�X����N~�L5S����*�h�5��*��O|����~����v�t��X���5���Ki���B��.�S��~	e�%Jv>����������{�n�$��,�n�(�DjpQ����|o�����ED,1iD��
4�c���h���{���0V��;���t������5�L�:3�p����2�R�A����}�����K��D�b�����.�s�K8����9���oF���5>\<ZK�������$���P<���x:�t9i���r}ak&�9�P�N������O-��gg���xK��[�xcrH&uU�������������9�8w��m�
\Yi��+�-��K__m����~�H^k��!JB_S/��SVD-Fvf����IY�l8���I�X�j&k�e��^�&K��U�
�UdW.k�+|���.e���5�o�yy��{2������P��s#�wT�o\�����R�c�;����$���|*W�+���yu�X�L�����'����;9�R��[N|�a
��L���'u��������fg�Hs�}<�2ou��2�blg6u�3��b}���#gV�9
����������SJ���&E��Bg���[;'/�,���;�������b��9{�c��"�|do_���""j)|��q:�z���D	Bw_J�������so,��8��gc��P�&�����c�[�.|5-�����)+�������/�|���������_�J-�!.��5���;E���T����������,�X����{�s'�&K�����z�5���W(F����+����z�D����p��/���
c�*N�������A8��dN����y��@[?��H�����%��|�|b�
>aRK�'��W��~�*z)�c���s��rfG�q�%�n��;����4Y�hK�JWW�=0q��|x�V���=�V$�� 
�](�������]\C���z������������fc�����_,h�o	+���?��E��zb�_;�n������W���d�~�a`F�5�q������kU��|����8������
Kd���� IDAT�������������W�M��c�'�G'�4K�{f�>4s�v�>|�m����a�:g�7�.�Y��_Vi��{/]������?��+�E�'�?	�
i|���;������o��	��TQ��u�{���8����y���x��;
U�N7���[����7.m	�T�JeUm���j��mTn����J'9�����@��@<�������Z�^��?x>f^.���H�������,���6��x��IMaX���{8��/-����\HYAY�:����u��.|��R����r�
�>V��?�n�'������l�s?nS��=���2!�)^\��W���5��_���q��r-�����������}��g6X�&��!�UV�u��?�b��q�����z|�n���������z�i,�������%�D+9���gg��>�[�
-���?�0���Q�&;;t$��&�{d�c��v���5M-d��Nt�p8�9��c3
��/������_-e�M�|����=�'��������@���������O�����>2��}��h��?o�0�vR}��-"���[a���,��po�eG�:*7���o��������
�[�
~�S��C��/vK*K�-���#�|b�����x���~���q��x��Uma���s����}���	]���:���Z�u��z����OR+�����1jw�J��"����c)3���}{�Z|�3_�����ou$n�j��������'F���D2ma���%�M�>�f��?} ^h������3�-��y�6�nS�w���y���})��'}&�O������?15�h�-f�����3��=��"����_L��}�����Z�T���n�Z��w�
f[��~H�iz��7'W�O����>����?�6$��Pzz��UDDR�L�H>�%���7l,N�_A�+���������pi�y�f��������G��\RE�����Z���;��Z������=��Hz]����c����E�5�*��jUS""�o��n\��@*�U[���U[C�L��oy�A+���������������9��/��u�
T+��d�"|�|dTM@��b��x����1����F|v[Q2��Y��������r��c������>[����8���?���6�2�pvR���;�w��>F����C�B9�	5�vl|{��\9�v���P�=Tl�:���lP���������zDD�����GZmq��C������{2co6E>u��]���.�|����g7��W?�S����gF6DDl}�H�;�c3E��g������{�N����>
�!	g������H^�7���
������A��^X����BYf��y_`�X����������T�.�y%��oE����:������d���}wqY.��T:�f����j
�2+5��	�h�.b������5�c+dTGd�����]��U�����Ku�%_�RY�;���e�{g�E_q����l)i�C�zC����X�j���+�
������!������}���H�R�3�o��ker����Sb��������gS�����m0UQ�O��{*:>��DZR����4_/e�H�����)r�l�a�������c��G�����Pk�+�q�n���|��|���6Y��\a�(�c�r���_��\u����M�~��Sq��5DD�d�{��
���kK�zhb[�v���!��SjSKV���U�W�~(�:S\�W%�7���7\�U�4�Y/S�QU-�8"�h��:�Q����%J��[H�������Es;�����\�RE���~;�����]XN����-��f�=}���W�B_����G���uo�����h��[�?��:�1,"����7��;��In6<8��	��M�f�{)������#"��uZ����]����o����MS"����l~���z�_X������z^8�t�=���J�o9�B���;��0�V�	�����+�����Q���fCX�gtKd��+/����e�u[�7��w9T���jdB��s���F���3����x�\8�������Z�����J�C��D�xT����TB���G�.�Mv���#�����S1WcD�%_Q��������@9V�����=����E��u�<���
��/C���<���i��'f�N�y���s`K�u�Vm([~�������������N������C�$������g+p�H��q�g�~�N�t4~����M�y`�����{���)jrR��N��RH�&�5��}�y�����oP���?�_&������#_}��<����t����K��r�a�D��6��T�:����sCZ��tL�����������{�H������qmK�������R�kj�y�����e��"Z�������2H��\.����.�r	�e�����������EK�Nf��Q[D�t8i�UT��8���u��3	e�D���v�_��'���%"�������w�TY^I�������5��t��3�{j6v���x���%U�3!�?n;r����Pmf���������Hgf�������*��8���]}`����O��k)�itB?�e��PL��O�o�9"o�����;x��p��O�*i"�Q*N�=��`A���J�������-����%�;���^�}e8��W&��%�Z����ZqY���X>���tc���PYJ������DR�}n�3p�}��H��m8z��4VV��.W�kk�.
����*�J����������}\D������M���(�T
�1s�S��-S�u-}3���
T�}���������=
���S����P�����8�T����u�|�
S�?0Q��A���V����h�
Uq:����ORU-��QK��+���52)
���V�t$���)����F0kI����o��=�����u���6�X"����_�����}r��B@d�]3M'[��C�S���xR�^v\�M,�)�|�|����D������u}I��:~�yXM?���uA��u�;��?��N���5���
]Y�����.3�Jy7������~�r��L�P�^5N�[�2!��z���P�������iQ�������9�����<�����7:?�:}*��cy�������{.��E�tk+^���^���Sc���T8)��vc���w������P;�d:�Z�:�n��57��%d?��pJ�w�\��b�5[/7��O��#��K�����[���O3:[���E����J���7;O[��IE�)�����oF5�e�N_�B�sM7~B�r�B�
��i�����CM�|��}f����J8�!�v`�x�c��\f�K,��".�Q�P�V���J[��V�����������-�>������+���^�O=��������Of�q���e�
\n_+��������.���tW}�O^k826�����^�Sb���Emj��PT��U��T��/���\���i�E������r���^������8�p]���}����5�|�p�K��c[���L����([�-�"�n��:���l���4���?���W��qg��4#Q��_�v:,��5�Q��2lT�gc��u�f�MWf������������|�����Z�l'�N��*we�*������3o�_U��9\��7\�mT�W�����L�GK�w����OL�^nz�GM"�8����t�VD�����Y�|
_�-&�3>C�z�����-�e���2T�Pl�RMS�t���]��(��s$���h�f��R���*��_Tn�;���|�HG��"j����Gw�+mU;x%G�[e0���m3
�#�w�������k�#������t�~��������~K��������X�1S����mg�Q���*������-e���P%Z��i�v��?{��@_�s��j�����DY�t���.��Tm�#,3*s���L���Z�S#{�-�h�R?�~����}���������Jf�����_��������.��P��r�Z��W"�1�(��)��*����)�o��V��.��,��|�`�O���������(""�b�y��/���b�}�y�������#���g����$�"�2�����#N!�����}����������V����T�kn��
V��$��t6Nl}���x�����������Z�05o�?b��s~�N��Z�����\�~�:S�y��������b�.�6*���i~�_���f	�.mS�|c&����Q��C��nh"N����7l����p�������s?h�Z��u�?�}�����RPF^]��@-�m]���/\Yr��C���
�_a�C�[#9}��������1��Gz�Q��_��{�]�.�mE
�v�+����9�E��X%s���C���_����J>-\Kl6�J�%"b��9	o0��zueei��"Fdns��e�.��S���_��u��*_'�y�S�EDJ5\qie���R��j���py���l�f�L�����r~�_tr��{��6�������~~�������Y���b����VqDqVDmS����h���a
��M��wvU~�'���
Qu�h�\���K���d��T�����_�(������z��Pd���b/�]���V��k:���W��g���Z�0;��RV+[�K�5_�UoC�*W�>S�F��kJ�����@�z�<�o��T|-�-�jG��x��]H��
�LUD�e[��`����R`4-����v���{�3�<3���&�T	�{����%|�>=���'-�g%�Z�+��������s����w��K�����w�EDO���*�q��U_C�N��_�&#�%���1�P|�%3/^�_���V+��*�6?�z4�w`��k~�^�e;B2y>\pDD������}}C���U�R#�7~:�r�,[Y�������n���Q�,����S*
��]f�4u����d����M��*����&������%����p���?y:�\TF����+���F�
�O������+WFM��r��j������o���T�^���u��������%��Vl���K�uS+��r����[�����_�,f:����2�\e�h�
������u�pzc���ft�[�p|�p���a��k��~MJ��|ma�T��%���*{sp�6*�k��Eo��T|$U��Nn=cQ�8;~*�1�u~q�/�����;_OliP&N���{��e��Y��|[���
%�J:Zhm]����_{�����9�z�(��V�D$������������m�p��/��C�w��������RX�
�g���{��.�k��c��w�����B�h��������8���)�����K���nK<��:����&����G����'�*j��XEv&��s���p��o~�l�v������p�`�k����}g�J�����Bv�VPV~8>lwn*��2�t�����t���8��}������`�������D�Rr����������*��u/U,��5*�������Pn��yvS8v���w������S-}%s�����^K�D��7������=�M�*^�����6|����������/A���jTC�h��wP�Z�k������a�y��%�a��j����6T�z�MZ~
��>I��D�j�J�L��/���������f����H��9}�~��������3�)R��"N>�K�Dt+��_�UvC3:[�#�/l���'�gE"��-�����q�7��G�Kx{�A_Bb��=���������+��+���������K�����^�n�7�5��O&�v8Q����
+�\�������T����2�P�^�M���2U���;z@{��TQQ���=����[���5���~�H�K���3�����2��j�p�d�X���u%����#;����X��
>�v����m'��z���
��,�nh1��m���'��z�����q�|l�������~���V[Tc�C���>�E����3��Q��T���?i}�x������D{z�|��j����M�d����W���P��w��8�w=Uj���U��uN?�o�����"RsY�>t*b�����Z�!c�������Z_?'�6���I��to}|�T���"b�w���rs��y�JZ��D\[���Z#t*P�b""��=�������ov��gw>>~o�U�^���������gv�����[��n_5�!5�o��G
GD7���������rY�u�����������������R��	������Q5�������w���c��{���o��<�}���|�6�����3�UvC����w�����j$w�����kw)��.�FDD�xj}$q<kn�x���0D�K>�����_�/�mM��<�6�%�j��F16�{�u��u"����=�f��
+�\e��*��(sp
�eT�Wm��&�L�G����5����V�Q�y����}����n��T����������G-�+�S��=5��/�����yA��V,{n�O����6�yV�k���9k@�~K��#�=J����Qlk*�J�s����`M�p>IE6���ou��G�E���gT��g����u�Z�
<In�K����o��Y�9��c��8v��,�.�4������]�')e����6)]]]�:��_�x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�*��� IDAT� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O��x�4�$�� 
�	h�'H@<A�	�O����}��u}��_�������U��bU����T!*V�b�f|��Qd��hU�g����?|*U���1F+����CE��[-�e��iK{���"mA�]��^��s~��;�|�����=94	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@B� !@��H�$h4	��
@b�>���o^�>���/�g���b�=���b�=���r����?�������[�� q�'�>����<e�]�Z����y�uw���W����Z��'�?xX���,[q��a�a�/�_���'�����L�0LL��G��_��[������K�p��a�a���-;zG0�n�����E����W�����>l���?���Z��oo�9�0�u����^�f�m;���-������F��z����N��x�Q3&�qv��zM=������O\���3��M��j�����o��������H�g^�����y��������������.�������x�0�A7^����M��Y�6�����w]`���+�9���uv=�=��t)�=������U�,�������?�ab����sM�v��/�7���������k�������������l��������_��mw�}��W����8}����������;r��?����g����}�����\���S�z���������m��V^>6y�M/~��C����_z�w���e�6O�u���������z��g�s���Z|�����V}����+�o���\#sO:��o��S2l�~�'.8����i��������X������7;��_�?�u�@����/�0���s>p�?�������������Z����k�����t���'���?y��E�&�����*�w=���
�[�|�����U�&�W�f�0#G=�%�o��+�z�s���_p�����x|b��_�w��^��\#�s�Y'���K����[����s�t�13N;�}��>;�]�������<�7��9���g����
K�U���}�'?8�175#i�}�������w\s��>�����>�Eg���K�N?���o�_sP{��wy�o;s�^:��m������*�S�o�#gN�v��9��=n��}��/�^��a����_��_��g���o�Y���:@s
�^z�W�t�U+?�/?�1�?xW���e�7�4�Wc�����;tt������0z��;���@�Y��%eosm��Eg����+0m������}��?�������l_2k�%����A��}8�e���������om8������+�<c����u�Ct�i�^s��s��]{w�D���;�L�4��4-m9[��CnPPTP���������������������z��  ��Bi9�P,��M��M2�d���i��@?�W�I&i�3������o~����_��z�sO�X����7����W�U��l9�2�rh���=:n��~�����g�O�����Z�|�sO,_��6�_En"bks��t�IU=F'/����{F;�����Z�������[��mY�����+\��O���&����q��V�z�z/��r��4\�_.������]nm���
S�?�=��E�I8s��;���	I"Q?��Q����V���^��������519��?��{�.�\m��K�ZdY�t�����H�'����0��9s�����i)��zU~�%w{q}o����9�u����"��;I����J�>���45Qz?�O�����W/5��\u�kWu>P~�)�}�'{l�+�8�������n���������\���sG��^\��%Q�/���^��2�;�T���K�q��C������$���6y����.k��y��b��~8$�3�d���0��7�g?r^V���l~�}�.�����4���w�\�(����W�i��^6�)'�#��6v_Y����:�\��0nB(z��D���������x�-�'V��������qJSFCbmLQ�L�k2�zt�7������G^k��:k����s<y��W���� ��x��[���z�A""��Y���b�I'���&������#Knk��8���8�X��W��=%���M�eM����lJY�����Y4����<�6����Z""��''�x���D���5�.#��/y���%�)R��|���n���n4�znR��7���>�-�4L�"�m��#�)�5e�
hk~?��z�*�������<��9�}��QR'�FL����7��*�\�C�w��p%'���G��s8�'M�=�����-?3�K[X�j2�O�����%�`�"������4�����O��w>�I�=v<�TvmB���S"8�FD"���W[o]v��-vt�'c;���1��
�����
7��w
�!h9�c�p��I�\����8����F�N����"���y����\:)�{���&��$��o�xf��<]�S�i���bJ�v�G�-�����_����o��J�v�h�Je0���)	��V!�@.�[��msh�>/�U���/`��kF��_w�O���

p�/�aC���)b�!���sJ����`B���df�����N"���z���1��&����R�W�bb�Mq�o��^Y�-�B���#���U�Bk{�s����>=��8I��^�Mo�8��fe��v~oV�T�O��������iJ�]IDAT�KK�h��r
K�$����T�<���X�m*3�����m%kAbq�S��551�aJ��
���%O���m������<���!����(����c�H�g������-���E�m�0:v���QZ�^�{�����e��=��k?�
!�K����gG��1�2U++�o���,d�D�KT��|��:���x�����F�t�+�/�2ed
�����w>6-E�������/��p	vu�H1f������#�z��]/X.���r�l�u��Z|�Li2$6�'$vY� �0���Q4����ln]���W����!z���f�7.������31r���{;���q�d�0v�^�i���=Z�_y�H��8�H�����e�i���T8$�J����������&��Y�&!��7-V�V�`W�����6�gs����"P���{t>�{h���M�J\�����O���D{��.�����2"Jr�u�������C�YK��~��()�v���#������P�\L���������"b
��#u��%�+Kd5.KZ��,k�V
�K.���u�2��Z�^��bJ����������U�Z8{��f)�\��oJE��O���O,E��~�>�ua���z���c�m�j�'T��WW�Q%��
�s�"�0u\����y���M����\l��O?nY���b��l
G���Dw>��	��
R�{Pa7eX��������%:K7��(����v�#xl�J����rk/�U�D;�t�`7Kd������'���6�jQ$���H��2�jd����8I����7��K������_Rny��[�r#�y�O�|�����������(�� a���P����,��Jk��zuB����}�������-jwb�i����{��E���K��������l�O��Zw�|���T��~��rT�4��Y����D�H=@A*���;q����B�n��#8n������h9�|��w6�{J�#����"���d�g�De�����r"^���@[#�����7������J<m��{�&��&U
��$/�n."""O����K�<�_ue��{�V�K.y���&��_�;�@�5
7����F�s����������<���fw��8�t~m�	]y����X^��xcEf�t6���0r�\��U�������_}��|�+y��sy�����W+���x'#�O�&�����Y�\e���X�>�J����7�Tm|�y
1.�g�����F���I��N�e�����J����W�K��^�����m���P��3K�_�q���o�����~��.H{	6��<����,�q�D��*���Ph5z�K������>C���b��h���0�+}��|�������o�}��K���FX�z(x�����u�n�m3��|~����1^��fCL_���S��h#zd��=��8Nd}_�7��x���=�������j�s�3O}�f�5�}Rz���L��X7/�Y"F�:'����qd����s�}p����Y��tgI����n��O�}�q� �d��.@����Hp�l���r �A�z�o�Q��v�7H�2:,1mSp(:����X���_��}�A��R��O�u~���D�2A$:�I���btY�~�����5g�w5]��sQ��[f�z���J���0�y6���0r�\_s8��h�����u��~v���?��,�����N*34��V��YA�k��%v-@+E���X��������tzC�o	�O.y����c����R�UjTC�B��(=�y�=���@7!<W��gn�6��/o���������mO�m/I�	$�:�2��#���Rt�=�%���������j}���'���mOK-E�����>Z��� ����5����+D�������fQ���0�}��a���k_E��ryjX�pO��h#�Y�[}�~�-'��M��K5��?���p�#���,���!}�'O-����#��d����K�q�>�#""���-���Zr_�����}�k!�}��{E�_�9��0����1
{q��q�n�K<��=�zx^Z�.J�V��.�ND��cT$T�xQ�+E"��D��D�W���;��oS��8���k���d���2!*�������X�gH.�������7���"���g.���8g�����q.�|��K����z/�P�_h��C�
��mQ�����R7����(��������/#�9r���QYC�8�g�r���[���y[�>��|Bx��gl��1m�D�������dr����_L$��!�V��
{�Ar��"��ht���3L�]{���0>?20�>�T�wD3�M�����v�a���!{o��c��
]��_8�,����~W�����S"?�2����������	�m7��+(s���Yv��n���g�����	e3]9N����N�b�2D�7Vt=Dk�k7�x���G�(+i��G�T���o_*qr"9?|�����m���G���V��k
jh��d
s�%��<�H5���D
�[A�&'C�m���N�%�U,��$p�fdq`\�=����Bt4�O�=�i������gl��R�h{��*m"��W�J������������O����,y8��4����A��+'+�>��v�W� OGX���w]~#3r�oM�:!;��e�<��EF$Q�1P���jg=d��������'E>+����������j^������s��	��6e�����+|�Kn�������N�^�(G4qU\�j�M��I���J�a..��'Eus{DO�����v�.����v�����1Q��S����V��#�"9��U�oC��
�^������zL���j������q�R���1�$�-xO9��&�c�f��lv�M.M�n!��F'������g4��f�]6���KR�9,�V��a���
�1��bi��]�p�=���x��J������|�������~b��z�\�������|��o�� ��������Q7���9?��D\�=�ekJ�m����*���8
}�
��Y��0�{q�q3�9��x"y��Y�Fw��
9uA���mc2b�m���lL��z[�U����i���b���O;%5Xc�&��y�sC��\)�"�*4�x\c2���a�������~��>[;`�u���{����$�b���G����J��>_�2;9"
�K�qd��C��,�F&)un��}��������I��
vZ���ks�"�������.���A4������]����L�sq�-	����9�!o6������"�1��\l���|I�=V�X+
����gD6��h?�o����\��R*����0]b�-2��w�D����sDr�N-����C�M�c��v�?�=���~wQ�S�9���'����=-��������y����4��lb=�2�oX������Ccsw��~*�������\�u�����Y�����~~T>��g��
��a���!m|��k�����a�X����P���v�K2W����E�{o$�7i�de���.��"�������q�~xO9��-���|Sw����-yi����;�\����y���]."���^��V���f��`\���W��1/2�M[�Tf����6��g"?n[tN8/�x����}p�3���D��'Rn~z���oo�k%"R�����9��U������gW5OL
z�
u��8-�/��QO.{cL�����\�������k_z��������a8!�l�4>#�=�T�l4��!��;���KM�#�b��k�<,g��a���z�J`�4b������_�������_������2��'cs
e^�T1�YW��0�a�R�����S�i�	"��U<�(��1�Cl�m_
`��!�L5F��q�02b����n���QI�;>X��+_UDY.Fo�|�b���O�\��9�&m�9��ql�u�liON���7�:�=k@�#�#����2����_�#"2W�qMK����C�M����z�A�s���D�������>��M�����O�e��c9*J�x��kj�j�����b=��+�[L�?��*�~CN���	�c��o,�[��3�s��Z�7�~���>�>�[fh�r��7'��g��$u\��L�,�\A���"6T��d��%L�c����o��?���!��m����S�ugB��|n�C-/,���{0�R���������7���K���N���n��Y3v��1r���_���7w��52�k�02����]%-��4�7�,:���������{�2�����.S����u������<�4�|*c�=`.�?�����P��BE���:1��������g���y��>N��)�~pd�d�I|�������$���+���zY�]�"�r����+�.��S��W%6Yj���j�����:����!��k����~U��c�3�#8�0W#�o��\?��k��&\Ph�������+q~�#\�����
���^�4�
��W�
�h�(@@�@z
��+P��^�4�
��W�
���� �6wxIEND�B`�
#2Ron
ronljohnsonjr@gmail.com
In reply to: Owayss Kabtoul (#1)
Re: High CPU load caused by the autovacuum launcher process

On 06/08/2018 02:24 AM, Owayss Kabtoul wrote:

Hi folks,

I ran into an issue where, on Postgres instances that have a very large
number of databases per cluster (~15K), the

I won't ask why there's a cluster with 15,000 databases...

So auto-vacuum never really sleeps. Even changing the autovacuum_naptime
and setting it to a much higher value (from 1min to 50min) did not have
any effect at all. Both strace and the postgres logs showed a similar
behaviour: lots of reads to global.stat file and constantly iterating
through all the databases non-stop and executing autovacuum.

Is there anything that I can do to minimize the CPU load impact that this
process is having?

What if you disable autovacuum and run it manually?

--
Angular momentum makes the world go 'round.

#3Deepak Goel
deicool@gmail.com
In reply to: Ron (#2)
Re: High CPU load caused by the autovacuum launcher process

I guess the Htop captured by you is for a particular instant. You will have
to record the cpu utilisation for a longer duration and then analyze.

On Fri, Jun 8, 2018 at 12:58 PM, Ron <ronljohnsonjr@gmail.com> wrote:

On 06/08/2018 02:24 AM, Owayss Kabtoul wrote:

Hi folks,

I ran into an issue where, on Postgres instances that have a very large
number of databases per cluster (~15K), the

I won't ask why there's a cluster with 15,000 databases...

So auto-vacuum never really sleeps. Even changing the autovacuum_naptime

and setting it to a much higher value (from 1min to 50min) did not have any
effect at all. Both strace and the postgres logs showed a similar
behaviour: lots of reads to global.stat file and constantly iterating
through all the databases non-stop and executing autovacuum.

Is there anything that I can do to minimize the CPU load impact that this
process is having?

What if you disable autovacuum and run it manually?

--
Angular momentum makes the world go 'round.

Deepak
"The greatness of a nation can be judged by the way its animals are
treated. Please consider stopping the cruelty by becoming a Vegan"

+91 73500 12833
deicool@gmail.com

Facebook: https://www.facebook.com/deicool
LinkedIn: www.linkedin.com/in/deicool

"Plant a Tree, Go Green"

Make In India : http://www.makeinindia.com/home

#4Steven Crandell
steven.crandell@gmail.com
In reply to: Deepak Goel (#3)
Re: High CPU load caused by the autovacuum launcher process

On Fri, Jun 8, 2018 at 1:38 AM, Deepak Goel <deicool@gmail.com> wrote:

I guess the Htop captured by you is for a particular instant. You will
have to record the cpu utilisation for a longer duration and then analyze.

On Fri, Jun 8, 2018 at 12:58 PM, Ron <ronljohnsonjr@gmail.com> wrote:

On 06/08/2018 02:24 AM, Owayss Kabtoul wrote:

Hi folks,

I ran into an issue where, on Postgres instances that have a very large
number of databases per cluster (~15K), the

I won't ask why there's a cluster with 15,000 databases...

So auto-vacuum never really sleeps. Even changing the autovacuum_naptime

and setting it to a much higher value (from 1min to 50min) did not have any
effect at all. Both strace and the postgres logs showed a similar
behaviour: lots of reads to global.stat file and constantly iterating
through all the databases non-stop and executing autovacuum.

Is there anything that I can do to minimize the CPU load impact that
this process is having?

What if you disable autovacuum and run it manually?

--
Angular momentum makes the world go 'round.

What do you have your autovacuum_vacuum_cost_limit set to?

#5Jeff Janes
jeff.janes@gmail.com
In reply to: Owayss Kabtoul (#1)
Re: High CPU load caused by the autovacuum launcher process

On Fri, Jun 8, 2018 at 3:24 AM, Owayss Kabtoul <owayssk@gmail.com> wrote:

Hi folks,

I ran into an issue where, on Postgres instances that have a very large
number of databases per cluster (~15K), the autovacuum process seems to
have a very high impact on CPU usage. Specifically, it is the autovacuum
launcher process, not the workers. The launcher process eats a whole CPU
(attached is in screenshot of htop).
...
So auto-vacuum never really sleeps. Even changing the autovacuum_naptime
and setting it to a much higher value (from 1min to 50min) did not have any
effect at all.

After changing autovacuum_naptime, did you give it enough time to stabilize
at the new setting? Say, at least 3 * 50 = 150 minutes?

But overall, I would say that if you want to have 15,000 databases, you
should just resign yourself to having one CPU dedicated to this task.

Cheers,

Jeff

#6Tom Lane
tgl@sss.pgh.pa.us
In reply to: Owayss Kabtoul (#1)
Re: High CPU load caused by the autovacuum launcher process

Owayss Kabtoul <owayssk@gmail.com> writes:

I ran into an issue where, on Postgres instances that have a very large
number of databases per cluster (~15K), the autovacuum process seems to
have a very high impact on CPU usage.

That's, um, not a very reasonable configuration.

So auto-vacuum never really sleeps. Even changing the autovacuum_naptime
and setting it to a much higher value (from 1min to 50min) did not have any
effect at all.

Simple arithmetic says that even at 50min, the launcher will have to
launch one worker every 0.2 seconds in order to visit every database
once per naptime.

You could raise the naptime setting by another factor of 10 and then
the launcher would only have to wake up every other second ... but
these DBs had better all have extremely light workloads, or you're
risking terrible bloat due to tables only getting vacuumed a couple
times per day.

On the whole, I'd revisit why you need so many DBs per cluster.
Quite aside from autovacuum performance issues, you're expending
~100GB just on redundant copies of the system catalogs; that can't
be helping disk cache performance, for instance. (Or, if you've
got a box that's so beefy you just don't care about that, why are
you worried about the launcher?)

regards, tom lane