high io BUT huge amount of free memory

Started by Миша Тюринover 12 years ago23 messages
2 attachment(s)

My first message has been banned for too many latters.

Hi all
There is something wrong and ugly.

1)
Intel 32 core = 2*8 *2threads

Linux avi-sql09 2.6.32-5-amd64 #1 SMP Sun May 6 04:00:17 UTC 2012 x86_64 GNU/Linux

PostgreSQL 9.2.2 on x86_64-unknown-linux-gnu, compiled by gcc-4.4.real (Debian 4.4.5-8) 4.4.5, 64-bit
shared_buffers 64GB / constant hit rate - 99,18
max_connections 160 / with pgbouncer pools there could not be more than 120 connections at all
work_mem 32M
checkpoint 1h 1.0
swap off
numa off, interleaving on

24*128GB HDD (RAID10) with 2GB bbu (1,5w+0,5r)

2)
free -g
             total used free shared buffers cached
Mem: 378 250 128 0 0 229
-/+ buffers/cache: 20 357

and
! disks usage 100% (free 128GB! WHY?)

disk throughput - up-to 30MB/s (24r+6w)
io - up-to 2,5-3K/s (0,5w + 2-2,5r)

3) so maybe I've got something like this
http://www.databasesoup.com/2012/04/red-hat-kernel-cache-clearing-issue.html
or this
http://comments.gmane.org/gmane.comp.db.sqlite.general/79457

4) now i think
a) upgrade linux core or
b) set buffers to something like 300-320Gb
my warm work set is about 300-400GB
db at all - 700GB

typical work load - pk-index-scans

--
looking forward
thanks

Mikhail

Attachments:

_memory-day.pngimage/png; name="=?UTF-8?B?X21lbW9yeS1kYXkucG5n?="Download
�PNG


IHDR��V��BbKGD������� IDATx���y|E��?!8���!G�$��Q�5��"����*�.D���* �D����
��"�~7/]]q<QT���%r���	�����������>&==��~���Lu=�T?S�UOU��A�}�]3� �(������� � BUUU8z�(BX��A��Y� � 4�y�f O� � ��	� "@�N� � ��Y� ���m����O�0A6�<q� 
�����&L��	p��7
�� O� � lDcc#~�����3V�K�8��q89r$���q����q��W�gF�e�<y;v�����1l�0���}��Q�O�8A���+�m������B����ot�����"��q��i$%%���/���S5?y�����U�Di�V���>(Jkll��e�p�%� &&3g����g���6l@bb""##����o�����?p���#""�\s
~��GA�����wz���^�za����������/��K/��_�o������^'O�����q���s��I��>��$''#""			x����c�������=z **
����QRR"���Azz:bcc1p�@<��������(�?�<���X��;uuu��6uuu���{�������j��WAha���B���	����QRR���w�������7�|�(���>����;w����G��K���l����m���'q�������=>��c|��G(((��)S0�|!VVN�>�����GAA�/_.*s��}��s'��9�GyO=������O=�������g��3�/Faa!�m��={���N����;vG������h�"�����QUU���w���_��^F��s'v�����\�����k���,���"77�|�
���+�q�����@�{w���A�(v�h�8TWW���^��m����oc��)�<y2f��)���|��<x0����F���#G�����8�<bcc=�z�����
@\\�n���>��n�	�����M��;��������#G����n������kW��SJ:t(x���w�C���Umu��y$$$���c�!C����?F���G�����5�����@8����>�2[�n�:|�0���
{)��]����f|����0a�m���K�������4����7oFnn.����y\.F�����������5�f.Mkhh�� �������2��b�lll��O>�x�p�������������.�[�n�������Gll,bccQVV&/**m������l-��a��m&��������"������-����� ���8t��N'=t��s����9s0o�<t���#O�=p��!TWWf�?cbb���/|?~�8���Ue&N��N�:a��e��{7���n��!!!8������\t<))	����?�g�}V4�?}�t�����_~��3g�r�D��cbbp��I���'De���O
�^'N�@LL��]�m�,�\������� ��ww:u����C����cC��{�����';v


���1s�LS:o��V<���())AII	}�Q�v�m�2AAAx��G��/`������b��.��W������r�p�������5?��3���@4KPSS���Pt������n��6,Z�eee(++���E�[�^�p�B������,���S�czl3u�T����,X�@t�����EZ`��G���={"55�^z�b~��	B=�F�����w�����w��I�&�*�/�bbb0l�06=z����+88DZZ�j�5k����>B�������1c����t�MHKKCll,�.]�
6���[��"66'N��W_-�]�d	.��":#G�Drr2:v�(o
{@JJ
���������H,Y�Dt\�m�,Y���p����������^+:�����"-���N�"@���;p�m���P������������k=���"p�;�ml�`/`455��7����Gq�����:X�p!.\���:<��c>���b�m��;mi����u�`����o��x��7����W������/��������<����J���w ������������Uw��t:AA����t��U����/����#F����t� ��			����_|���DBB�b~��	� �&�����+���Elc�BAA(��A�MP��.u�-��p�u���&AD{En��1�BC]>ky���-["3� � �������8s���:�������A����6�<q�9u
{�X�{6l@������{�	� ����������+o###�.]�����'����U�a�����TDFF"55.�K5����	+W�DBB"""������lY��?�$����
uu���'}|vA�����/��q�0n�888p@1�-:�������^�-^�)))8u�RRR�P�J�<�V����[�y�f�����W_}%�{��ux��q~�4<���H��3LY�N�9�V��\��C����-�~��"���!���1j?�TUUa������#:v��A����J1��;���Z��7�J���o�������"##C�^����q�F�[�������_��>EEE�����U2F�j���2]v���z]d?s2d?s2F�g���09r�����������������e�p��w�:��]����^���TM�),,����C������7�����#G����E]����\bm�%z��u��W�+���+�G�#������B��P�q#~=x�t�8l�0�9s��o����Q]]����+���P.��b477�������_?���111(..Frr2�?���3t�P|��GBG�;���j�zdee������#GDrZ1"g��Q��;v�"���E[����E�3'C�3'��~g���U�Y�P��������3��_?,Z�+V�@~~>6m�����b�
���/��������|>\S'NAz�U'�uw:���>�������s�N����v���-;���y}�Q�5
'NDTT���l��Q��#G���9�d���m�bg�.����g�.��9��9��3��������	y�A�Q|�����HMME�n���	�~�)n��FQ>�{�����C����X���gN��gN��gN�_��������@�8Aa_y�����O?��k�����C����X���gN��gN��gN�_�x��]�������c���HJJR�
�'.@�8Aa_y�J����y���(���(,,Dii)r��_OD�����h"����������V�cT�gA
�a��Xy^F�XY?�����>���;���t��={�4�/���L
y�-dee������j��HZ������N�}��k��iM\��#���Y%cT���e��n��f������l���,�����1]zx��2�2|>jn�����X������<��'�:9A���N9o\���w�Z���H;z�A �����V�W���C����X��j��y��2�3�Q������	Zgb�n���"���v�4�������_s2�������,�^�N_+�T��z(���V=j:�'��W��W_}���hDEE!22����y�W���C����X�������k���e��)���K*������=�?s��~�a������?�/��{����c�T_�E�x����VO�J��zeck�Z�&+h�5���������%%%3f��8y�
�}tH��9+uYi��������&�$g��g;��:p-k�r��?s��~�'$$111������y�}'^__�'N��������:>��E��D�Q�_�+�����2��������	��0+����P?w���Z>r�u�W��J\�*'������F�,�e�~������~yyy8q�
a54���N/;���������Y%cT��'~���]v����<^~��:��l
r�7���Ll�-cT���h�;z��a���o�.j�t�w���3��[�5q�������z�]�uq�JZ����Fk�
�}������X��*���<��_������5q#�����E�����@�8ag���[r ���_�N��<q��}tH��9+u��~�|�������x�R����r+u��kN�_���	<�� O���	�B^�q�6���5qa��!y��d��e��������C����"��.j�x����9qz�4����h?'��3����qj��_[��/����ANN>��|��'���AMM�b~�No�����35'�+�i]�����R�R��gNW{��/�����[DFF����c�����W_}�(='.���	�Bk�����	_��N���?Fjj*:tpO�755��O?��7�(�Gk�
�}������X������X��8��N���.�����#GP__���z>|aaa���o�<q���'�[�����N���������O?������xt��E��<q�>:$O������7'�Z�8�����A��z+u�����+���0~�x�?III8y�-�'N������q���F�}tH��9+u�'nN��������E��oa6El�y��]!O�:�'��KO��O>AJJ
v���������q�
7���'��4����'���\��DK�����i(�U�eD�������9>�^S>����h(��9#��tY^���u������~����O|��7���������7�`������o�<q���n=��zi���r�'����ihM�����hM����������Y/c�.��o��M�O	��[ O��#�����	��'n#�>:$O������7'C������kN�No1S�<��'�y���<qB+�����0b�DDD %%��o�\.���"22���p�\��<MMMX�r%���$dggk���G������Ry��d�7'C��9��52g�,Y������u+|�A���c��Y���/-Z�+V������q�b:���>�m��a���<x0�����3�`�ze��<q���'��#'��KO������/��2����: 88�z���}�vddd 44���/T�y6n��u��!>>;v��A�T;p���7'c�.������WHQ��^�J]���8��/������q��p8p����~����p **
��wV�^
���@TT�H���R5�����fr4���z�F4UT���ND�E�/�?��O#r=OVZ�����[���eD�������s���Y��)�9�����f�����mU������������7���a���*8;v����*��~�Ng���`���x���q�����{��ELL����������+��:}���������ZQ?�N/;�������oD�*�r�v8��u����-�e?�����F���cD�J]��.�,��K��.o2rS�����M�J]z�����o��������?���c(//��W_-�g���!O;t� b��qX�v-jkk�v�Z�;V5�g�������q��466������c�Q��J�����Q]v����g�36"c�.#�Q]Fd��Y/c�.��3��a�p��l����oGuu5������xbb"RRR�t:��s�a��M����c������v���'�|R5���G��Q�0q�DDEE��;��������ihM�����hM���]���j��X���'`��t����t���9�A�i�:��O�F�}tH��9+u�'nN�N�8�9���g�����}���K��:
�����R����������9]ze���{mJ�_ �?��X��_k�z�N\��G������Ry��d���K��l�0�b�t�%=�_��������_�Ak�-��8a'h-<�`k�z�K��i�=ph�����m�5q%���q��	�1��_O�M���G.=h=��&��H�����������[^�]?#z�����I\�=���3������JQ{W'�z>��#��Ogb���f���o��e��I����%'w�K����o^^N�8���BX
y�-��'�����K?���mw,��
\�yq9.��%m��>�;�z����Zhw��PZ;�������1�r�������i��_W3��)w^�t�jMM��W����55��tiM�z99-���ut��v)�&nN�_k�lG:��u��]�r���&������3���T��]�jz4_QNI��[���
3*��;�n�������;�z%9o��]�z���nN�v� �A�E;N�tox{�\FG�r�y�.��rNZG�J;i�x�,]��])me$/�[��<qs��~J�
y��d��;]����t�l���"�M�������_C���k�*u���<o��#e3k�v���mQ���dk��'O\���8�6�7'�/O\��8�<q	v]k�Q[���rJ�������$Z���ee]����Z�c�x9=��&n�.�����'nN�Nk�������Ik����f�Y��YV�4=udrZ<
i�c������>�w$��I^�ff��_2V�"O\����7'C�x� }N����F��>����T���t!+q��yV+��U:?��Ll�x�>+q��S�|��~j�Yzz�z��L���OZ��$4�>g����_BtG��k���������'='���O�0�_=���q��W�z���xYYY��o�]
B'jQ��F�����Z59%����	=H�?=s�z��9�_�{��ELL��������#G���/������:����5I�;��t��%��.�TZ�����}m�-���g�t��g�n����Z��gbcc1x�`t��			���Q�O�x��Z���3��5y�w����RTE�"�$�r��C������>������_�~�4������<qs2fu���y�i�����9�T�*<�9
d�N*E����*��'��k�Z��2�����	2����>��s
�������m�����~R�O�x�����]
���0oZ���3o_��Wn&~����O����'L� zs��Lv]�'nN�J]�~z;p5]a%�����N���ZfXI(��9E���y���3'O�������O����6�t�Zz��������@��K����fe���s��dZ�~������I��*v?��g���_�HB��2�kQ]��	�^y ���2V�2j?-�TK#=*3��WrzdX��Yc�j�����uW�g�'.���k����X��*�UE�"1�����G���(���W���g�������y�J�>��UK3R?�z�/�}nF��Y��9?}���x�����^�2�����\An�%z���,�e(��U�eD������������fwGlF���(L>�a%�H������6c?j��,�QV�:<6h�G0gB�p\.��~� Qr��s
{1"��fM�� L�����6��tS�S�6���6�9
M]��J���h����\[���������r6�����_������"gD�������~r��eG
M���&#7���~����lc������&7���m�6mBFF`��Y���������v���\�&nN�J]�m�A9Q�&5��=������!c�.;�O�����8���|Acc#:��� �9s�������?��3X�p!>��3�:u
���>�x�	�V�N�}������X��-�On]��g\�J]v�����,
����\W���5��'Ob��8�<�
���w�O�>���N�w��%%%X�`���g#::�s~��'����vk�O�S�v�
�b��ti�C�?�v�[�x�/������!C�x�J��y:�����w/����	&��r�g��>������<qs2V�
d����N*E}��^�;�[{��t���U�{7�L:���2�����'.��5�z����.���?a��Yx��'1�|$%%a���>��] O��3V{�����<t�p����������r����O��Y��:p����7'c��@����q��E����;o^���ky�/��3����/�Q�3����?���'��?<q%�����r�����az��h)� |��=�o��J:~ IDAT#F������?����k��Y�4�������z�1�s&6Z����h��P0����+��K�){������cdK�u�C�����mj�w	�U���8���<X~���I���3�7W
��V�V��'{"i�	���Q�|��/��O����^������+��3�`��)���FAA&L���\c�����	;c'O�G�W����2rz���UO�[{�������k����uCIII�����}������X��=�O�n��1ml]�b~%��E�����)M�����F7o���2V�j��5e�����I�0m�4�{��������KQSS����V��!O��3v����nuzG:a���_~�e|��G���+.��r���`����^Aa��!y��d��E�3'c�~�{���U�����f�.j�d��'�^ O��3���Gi��lH�[{��CS�Q��}�9HII����.�������Djj*\.�j:OSSV�\���DDD ))	�����c��!y��d��E�3'c�~�ut�?��[����9�@��u�O<??]�v�Y��}����p�\HOO��Y��/FJJ
N�:���,Y�D5�g��U��u+6o����"��������4���o&������R�������6�1���/g��P���~v��R�?�b��N��p7���p 99s���Y�x�
���#44���C�n������###�������_|����q�F�[�������#
���������<qs2V�����t.d?���
n9
DS��1����F��e�|-C��9�������Q]]-����EEE����yE���p��w��g�TTT *�}�EFF���R5���������������M��y
����y
t}�Py�=F�:�Y�+���+��+���u�H;w��g�~a%����;�-*V�s�p��`���U��d?�~u�����7���a5^7�
2�G�����g:�U*�������c����6m�_�~��w/bbbP\\���d?~\1�g���������pw�lP"���Ll44�bD�*�r��.CSJm�����Mmd?s�������B�--�������R���zc�?��1c�`��������"�6m���S�z�j��q��a���������k1v�X�t����������#G�����G�j����ihM������~�d���FKT9���2V�
�5qF���1}�t���w�y',X��n�
?���O*0�|�����[n����;����c������v��%�EM)���G��Q�0q�DDEE��;����5����4�&nN�J]d?s2V���fgx['�Y/c��@Y���xSS>��<���G��}1v�X���YR����'�����a%������o�*��Nojj����q�UWa��
X�j�m��_|�^Q�����<qs2V������D��=�-H����������~��X���x�#F�@�=�x�b\s�5�c�6���v�"��#�@'�/���W�^����?8�6����}tH��9+u������~|�7�t���g�����W���n�
������c����0a���0r�H|���V��U�����'PZ�r��
���y#r����1*����n=V��=V���K��H��s��JB��S{W'������>���p��	^xL�*�����*,]�p�=�`��e�9s&^}�U���{���/-�lkB��{B����1k?=���~�ty���^O�����z��7i>i�W��������~r��~���RW�<'��������iwd���(�K�.���A�^�PQQai�[_�����v�Fa�������r)l'�V�~W��\ohh@�����sg@�.]�����������(�M/��XiW+�������9�&�\*��pR)�'Wx}7�/��55�2F��~c���8���.�2��+	���������"i�a%�H��(��^��z����J�LlT�O�aG����RW���+z���s�.���+��������y\�l$,7M6('Jvd�4"�3RW+�G��F���c�sj�����E�n�z�7����� ���n��u���{���OO<D-��_�C��TE�
�\|�)MgL.��/;�_��t���I����^$�%�����E,����R��U�c��FT�����vsp%�:��k'+�!%�t���1('��������p��Qt�e��@�OB���Gip���������Y�d2����/��IFZ���z]�4��5I������@�����5����W�{N �������j4Glk�dee�o?����S�N��TL�G��5i�S����/�9��,�L�7^|����4h��I�$��GK�F��U������:����V����"rmD�M[9�F����x{%�s7�i�,~=L���\��K�hPN�����p�|���qPN&����(Qy�'�T����+	����yX��s�����pr7V�����?�9H�	�1�zJ����/J�gGx]�����c:��yP*n��M��9����o�Z�4����c�=���=��~��kScz�������f?�2�&����mj�������L�Tok�k�yZ����~VA���7[��D���;�9�A���{>����7��9gb�i=ck����������p���%*g������B��|$�$T6?+gl]����;�������z�l�Ia�|�Y�Y�������y��{w�X�{��Q9����a��s� !U�����w���v�Z�����v�l]?;�Oz�|�'����q]�6�QZ������
9
�arE@��l��e���F�z��u��P��@�B�k�����^�����3���~$��m���i(v�93���r{��v�D������2V���gNF�~r{NU��B�������>�������c����f?iL������"}���������:�
��[ O��#�i����CQ^g����wu�6���"j������Em6�[>��������#����.4='�����;�����|a���:��/�g������;�


�#l�rIE�-��{�B������:P�����#���U{f^�#������X���d��ai7W��������h���O�3�o�<q��L���QfKfO?�D?�3��vr24�?|�����J��E{��!M�z���������<qs2V�j��S���w�E15�eJ���:chC)��������~���E���qk���,3��o�XF.�_����9�<��'�����#U���:�s���\.���w%]r�a�;�F�m��/d����`s2���Z�e��������B$������d�����Bg�LlDQ�;�ql\���1)��2E�4/#����nge@�xj]�fe%b[�����^����L��\An�%z���,�e(�U�eD������BBBD������,/�E15		Al\���Dl\BBBP���m�qOi��oOv�p��e��w���Y�K8>ey�������S��:�-�=���jt�Zj?
�b�t����hM�������On�XiSXk��\XG��m
����<0������*N��1)�!!!8u0X��:�?s�����9�N�x�&N�
~
�udV�P��K\nC��r[k���W���'Z�v_��5qs2V�����tv�>'�5n~}{Ov����]LN����S�Dk�l
_�~zh/��N2V�
�5qz�L����rV��32gT��m�^�'����Y���M�K�Emc �?s��~��<q	v�'nN�J]�f?�]���KF��<q~���{���>n^�n=�����Ry���G������RW ��H�4�����`����qv.�<��J�����.=�����Ry���G������R�����������s���^�����t�ut�P��^�J]��(v�'nN�J]v��Z�4_�2#���c�=)�


HN+ou;�����!c�.��i����o��L���3��=F�F;]��1Xu^F�XY?_�Ok�-�KN+M			�
������u�
JS���;����G���Q�@��v��.C�j1�)������zN�F�}������X��J�������I�Z1��g�����v�z����~t����[ O��Z=q��}��0��h��'n#�>:$O�������O-���$lW��hjm�~Fd��[K����2V�
O�������x\.RSS���T�\.�t���&�\�			���@RR���5���;&iw�9+u�_�aU��J�`�}CC�no����h��dG(�[nPE��^�J]�;]#�������H_�x1RRRp��)���`��%��<�V����[�y�f�����W_}��>v�'nN�J]z��"���tz��������������c����O��7N��^�J]����fM��p�:����c��=���Aqq1���q��q�t���x|����������	�%j�&n�9oB��z����om#����PQQ���(@dd$*++U�y
1p��CV��g4���z�F4UT�:�)8q���3o?�I���y�!Q:�)'����W�DrZ9����HN+�����0ey�l=��#�S��>�8,W�|�>'_}RS�!wmB�s��� �}����px���� 9��c�]�������_���	��g�([.��}��5Q~-�Z~_#�KN+��(w'1��Ey��a�{j\�@y�l��5����w��\k����
(/����&�H�O�>W��������=����2To��_������������q+��:}������/E�g#q�s4xzB��k�o!���;x�r�PNv�l��������p���bV�4��i����zU������U�����KCl\���R~vl�+����E�z�>�HO;����xM���|z���<�����'=�^�S���r�K��W��2��������Nn>����R�8rO	0������]�r�Z\C��v]J�]�4�O��H�\�2��r�������v�z���V����M������o��]o30O������3��_?,Z�+V�@~~>6m�����b�
���/��������|>�k'�A���	���Ygxv��C���-�S�����H���Y����LQ�����$�MyY:���H�R~��P��������0��;He�:^v^j:��x[�4�����7�q������ ���~�C���o���7Q6.�����+w3d�S�1)q&6�n�a��6Mzp���Fd����t�\d�~_�zI�7�~f�����Xz�P���4o���H��
��~���_�����
+u��_���������QPP�3f������#�����w����<���x�����o����
���>��S�*�#++��7�c�U��#i�t-(y��>OR����w^�Hs]����������S��--�?���{���w������:�W�L���#��K;�&��?_%�'=��i������s��M���ek����f�����(��F�Wy)����H���%����@Z/_y�Z��r�G����l.�O�5i�����zJ�#�t��k�~��w�t:����kN�	�����x�b��ID":?8�����|���(�3�F�o���M��%S;*�
8�\���k��f�x��;�G�lD��-]���'W�8���<��-�!�+o��W�e� ��HuI��:I���=��E\Cb��0(�>�eo�(�x�B��y������b�o�|]y��������U���.�h�~3_���I/dVN�s������2�����wv�Wy)b[fw�ib37�R	����/�O|3�Z���\���\�cU[B�g2�����3�0��3[��1������vR,��LT"q[�m<gG�f�fM2"\q
qp�6�u�������?�!�G n��[��:��5=���{��������o,��:�42�2���(xE,����U��J����w�v#�Hj�_�[N;�&��������Q�V�jIG�������&�l
R�"����sV�4d7d{����e#7$W�A�
�TAX{f������/"���)�g2�U�����_�A��9��
�
-�����I��/��k���d�}g��w@'Ktl����� T��t`����`��_������D7P~����gd"��ed���C���v.
[^�)�h�4�J�Q=���������Uo�|�d��������g��*�����/z���������� l������r���]&��$�nX�~�?��B;-�������mpX�N�i��5�%��s�J����s�j�w
�t~���\��K�8[;�J6�1/Q���5�!$$�qu���4�NX�L;�&��S���(��&��-���,L�oDCC�Y(���Q�������,/q�q�g�
;-i��$6��TT�)t�,h��!#�^7
�D�W�z��9$$Dx-����������#�tH;gb�;����"9���%Kz��ZF�i���y�k����O�m�cm�����c���� <����iIo��JS��H���A"��[G��D���� ��b'r�5I-�~LF�-�O���Wn�K�O�M����--�� �o�[D�}M�i�i����S�r��p�-�k�		�_�k\�5�V�)hK{2���qu�i|[�Cv����N�c��B��(���A���]��2���� s!J/6>�Dl\NtG�beK�����u���/fo/k�;y��"����Xx����;Yi��nu�U�2��|9��&M�z&�lCCb�Tc�+E���6��K��ug76P���v�����u�B��\���^<��'�CiTH���-0E��d~�"��g���������i(-64��_��m��/��V�J�:El3.W�cGl��l��N�cOv���l���l��J���rJa�N���G�����Fy���';��cT:���.��b�l� 7�������C���o�y��������������T��ON+G���#(y�R���U�\e�����o'WG��Dx
�"�fH���O�.��N�?
��9�X�t�Mo���H���W�2r����c��=��6k���_�am����c���$����
�b���8q�JKK�|������ns��u�����dG���r�aBzQ^g��r/�/�
����j����O�>��)�_�=�"��z��y����'KI��������?���ihh���gS�������bj<���C��L�{�z�q^�TnOv�`�)�Kd����J������������5���o�+�a��u����������v_���u L�I������;D�c��|v^��U
�>6�hvw�S�� 9�<���o��������2{������'N����jm����]`�^�>:T��R[:����=edT.'�E.��t�_)�;���L+[�_z��Zv3]��R�V&o?=kh�������j��^3�=-���e����G^��}FZ�w��������Z�����f6"V��w�dm'}<�]?bf7��N������dGi@l��4�b~���(��.�u~>]n^�l�)M�.��h���T(g?=��5I7���MF�m�7��{,�1�2��,��_V�@��k����q�Kc�����*���Kp�qu�����7�@��;�}-cT���ZC����y��<�:�\'�w��cr��:������b�@5�d?_�X��<q�2{�#0�����==�1K�%]r����*����a7�I������6��tz�3� �rYy�^���QZ�R�k���m9@j�e���[�����qK�7'c�._�/m���|.���#M&x	�����f?�%2�Y��B���v�����d��-�y��i���Y���pN|9|e?���_����s�<����p�B�t� �P"�������'.�-��J��\X��2]v����w�2�)�l&���E�3����?hcG��MSA���>5ra����P�X���G����{>����F������1*7��2����2�������~d?sz��6,(�w��x�a���#�d�Z�~����t� �����=q)v�qJ����X���gN��gN��gN�����<��'� :�-8 IDAT�@�������<qs2V�"���!���!���!O<� O� �0y�6���C����X���gN��gN��gN�<��<q� �������7'c�.��9��9��9�@���}'.
��f���`F�
r�-�cTngA/C�"�:/#z�����G�k��`/6�M�;���[_��������K��W������B�3�l�'JS�����%�������}��d�~�d�~�d�����m��FeT�*^�ul<���<;z��W���:V�15i�����[��.#7P�����Z[��gN��gN�����:q	��N�:gb�b�T�T�Rg��e�u�Z������4��s�L�� �����!�E��[<�
zy�(�������/=��.�~���������J���I�	�5]�v���k<�y�����R���Z�~J���_�����O�����t�~j��
��LBAn���Q����3��?�:��}�d��`�<Q^5X����.��9�<�pw�Ipy�g��.J,���V?�r�^i�X:$��<��Q��x��l���=�M6��<��[0.J,�m+���5H�
�2������j2���r��Z��OkG"����F�>R���Q�d��r�%���!������sZ��J�'.��(T��9R����a�H=V�9J�����)y���Z�0y��B}��#G�E�d����y�r�r��G#){������_���l��f���bO����������5��5��%i�z����u/w=�m�l������}I:�&���3Q�����z�d��.�oz+CN��VLn��.�~r����O��P���Q����7��v^R/n�{+<�j����(�����]<����J���g�!	U����S)_���N6���K/P�����u{��6�P���7�����=a�{+D2j���z�k��*>??��V�4Os�$�:iA�>�~��-�v�z�k�hrrr���n���y���6�V��>�y��$^tN��_n��{mk]���\{DT_)J�+;/9]Juek�r7)���H�5�3�r�d��}��
f?�hY��#cD�������Y�dk�J�ar��#�>�<^Ni�M�n��ts�C��\��:����h������S�QsbF;]������;q�s�A-&����|����Y:��`��[�c������)\V^�E��{���%x���e	��/]�?��-X�r���i�����r���}��s��yI���$f��Cz�����K���k��t��J�+�;;�������t�GZ��.r�������o_��;��������K�����`����������t���^�R�)�O�n�	����3����)�i�LN�\�� 4��Wj�����S����3����=�)�V?����<�9?='n�s�u���[�t��W�G��^�t6��3�[\n��Ke��2���cO)??v�,Q$�������#�0t�GYR�^v^J6�Cd�K*+IO��r��������%�%"��Jv��/_?�2�~�
}l����7������ ��4�����k0�����
o��J7GI���{��u�������x
F���>_�\���x����|�6_v��^�����������M���������d��iM95���N���/i����w~{N���9��m��LR��ey��I���	�z�x���F�R���L}D��~������������u�����:poH���='��T\�1���h��;7����z�cp������J;��l����u��������
���J�\�`����A-v��u/�����LNOs�v�}NF:p��G�^#������t~r�Z~A�����M[���x�����dn����[	��S����O�>y��K��S�;gn�u���m2�-�!{K��UZ����e��M��l.�y��O�7��t1g�]��E��9�~2�v�������C`������v�J;/�56���D�:�&y�`yO\�f��N���qQ�����������#g��9I�zy��k^:�V�K����q�K�y�_�_�NZ�n^��gG���'1�-}3\��/Jo?��W��^���u(EQ��o��~s����\�D2��4��BVV�Vy�|#gh��D����Eg*��1S��������vC�"������A���1]��~��_�e��@i	Fj��9\-2:��-��e�J���3��j��6�|}kA�~�������6�N�x�y�������R�d��)z������h���J0�F�M��
��Uf>��\{���1��a��y�z:���N�)M-
������Ty��=l��y97��?�j��/u�&q�\�1c����#F���_G�^�6�dee�o����jHm��
:f=`�2��P���;���Q~���������!��lU�m��5k����E�a��8y�$6n������}tH��9+u����5]��)��9��������"��{0����K�V�T'�����111(..Frr2�?�����,\[@�8A���+nB�����+���>}p��E0f��u��G�***���Dee�W���<dgg���
�����(���\�������SS7��F��::�\_��z��uk����b]z�</#z�����G�k��Pz}���0��inv��"m����;JKK���2t����L\\233��YYYX�t)�����_?�u0"g��Q����Fh�����@��mA��^�������Q�����w���{�i��tF��:n�8�]����X�v-��k���={Z&g��Q��_~�L��mA��^�������Q�
33?�)���m�_�|9f���^�z	�����S'����1*����,�ew[����E�3'C�3'c�~S��3$g�6��;�N|��������[}T��Cp�>�d?s���A�3G���ML�����xW� � tA�8��q8��?�)J[�z5�O�w�\HMMEdd$RSS�r�T�}%K����������c������@JJ
�o��!K�/0�N�h����Khny���o���2�,^�)))8u�RRR�d��t_��Ck����jTWW{�����x����r�����Y�fy���P'N�{.��r��?����;?~���w�}�Q�F!<<�F��������~�{�F�~�����Q����������Pddd��/�PM�=&��D`���O�7�x���

��q���[7�L����:q��3o�<<��3hnn���k1{�l���s�b��8u�f���{��W8��{w>|6l����=�V
D���{Mze���5��7���p��w��g�@�/�N�h�\r�%���'~�a<�{�?t�f����]�b��������c�g�F�.]������R��Y "�@DJ���%��lj���������y�0q�D������	������+�`����������������7����^*��A�R
D�%@�Y"�h�����M�0u�T�^���M��C�/0h/@!�8��?|zNN������<2/�����
Y��


0c�|��wB ���{+��e��%��nr�����e�O�>�=zP���[�� �=�:q�N'� ��:q� �P�'� ��:q� �P�'� ��:q� �P�'B�z�A��:q�V����X�h�������w��
�k�� �:L��$�o8x� <����+���@�:q�V,_����7�|���%%%��R����_Gss3^�uW�]�����C����O�]�vG��y��	[���o����B�=�����<�r�����_�k��F6����<����[��C�7x�����o_���Gt$�����>��w���>�LH���k�}�v�_|���G����+�����X�l���@�C��������wx�������3g~�a��?�N��EEEp:������q��1�9RH��_���=��/�x��-CBBp��!l����-����������w/�.]��{���������o��&��7��]w�������s������"��G��WWW������X�j����������O���3������O�d��N'l��!C��'��_�~�t��


�;����c�����-���r�+**"{����m�0u�T�����1a�TTT���.��]�p�5� 77��wGxx8\.�t���������
���_y�<���(((@SS���p�����1c�������#�Uu��N���S�b���(**��3g�d�@dd$>��s���b��Mr���������O��O���O<���.�n�w�y'RSS��v2o��jjj��{����m��{�?�<N�>�w�}�������w�}���q�}������5�N��K�.E�>}p�UWa��!���dffb�����Ccc���h}�7���rk�J2�6>��S�?0~�x������������`���X�f
����C���)Nv�
?�0f��������~�z�!�����w����C��C	��e{�N'�@���������-CNN���CX�N��0� ���p ((������k�]��P'N`�F6�Ak�A�P'NA��N��PU�#�(��?��������u�]�]�vi.�/��?��a���{w6[�l����`�����{��/����P��^��J��w�+�y��T�6_WW��b���c������&!!����q��1�r�z�->=z4v��!:�r�J�_���'�O�� L�"%I��?��7�|.��<��O���,��y��a��U(**���>��s�p�l?y�$�����EEE�;�G���l�TN{��R�WJ�R/����������u+��9#k�v�m<�|����8}�4,X�E���������p�\����D��?��������t:])�����%K���$�q	������HHH@�����o'l��	C�ASS��j8�N�����[o��'}��E����`����;f��+����1�	��W��R9d{�!���y�<���2d�����dwux[}����y�|�M$$$ 44�^{-��9���z���a���X�b�(�/mo��t6�ill���{q�]w��_~�~N���x��w����o��V1=33�<�~�����K.A�N��<
�O��ZDD�����em����?�<f����?�k���-�����Jt��](���}������c{%+�C��
Jm����~�)n��VDDD`�����[��*�Z�
��{/������.�\�FYY���?��{�E���x�b\z�����;��?�Q��K�[�����+�:Cjj�h
��;�@�.]p�m�!//O5���^���~�;�������O>i�i~���EEEX�r��&!oDEEa��%�����_v�������6l^l���BA!F���l�T���H����@JJ
N�<�u������@vW��[o��?����b���"66�������c�b��1X�|9��_�?��OQ�C�����W�G��������w�E��K��o���7c���x����z�j+O��s�����'���`�����g�f�6��#��=}�4`��)�����3g����^��J���}���������ib��:��������D/����7��<�
6���B�VUU�����/mo�t:�G���E���������WMg��:�O�>�����{7ruu5���ZL�8�����
D���Y&��sg\u�Ux��W�W���>������k�������Ca��!����.]���H�������i��Wj�J����6��SO������i���W/��i�v��>::S�N�F������p�
B������[7Y��������6���Pz�!��� � <1;�:V� ��?����4(��AA(c�N� � �P'.���?��%� �F���n�^FB ��U�t�X�;]?��BK9y�$~��� 22���oPPP�bx�E����OvW�[�%�y��+lo���E�� L����J��)v�~��B���c�a���8u�F��%K���zQj�z����Qs��b��-�
�[;])F�\L������+�Dtt4�-[&�b���p�
7 ""�_~��7Z�z�t9�����111�z*�T���;���V�eL����dK%v��������"##_~�%������7?�]?J1��b��-_g��x�ddd�0�)--��U��0��;w.���1`���?����3g
����
�(�G��GKJz`������< <���R}233q��wc���(++��x�8�����YxC�x��5�1c"##1s�L!��4�1
�<��R���JDEEa������Dee%1�ccc1t�P|����J(�U�����y��'���f����w�r���b�����HKKC��]q���e����=�����(L�2G�5T����KZ�P��x�-zc���2���������wGYY>�����	�&�[j1���'��G)��^������\,t���C��[o�������{B������QRR���jMo������j>��X�qqqBz�=������Q���o����8�����Jr��l.��1�W�q�9�����c�z@MP�d5�F��D�
.p;����z�9�\�(n9C�D��Q���
D\ ALp�B�������}r<���������v�U���xw���U.cq���*K����^��[�n�f����qx��������n?*���4G���N}����j�*x��7HLL�YYY���Kuu5�p��&M�_�~TWWk���r�����g����#�����Q��8���Q�t��X���c����~��E����b�
�����M�qx�����}�z�]�����=*o�u=��}����B���e��]��7����A�~�e��&�	BCC
o�W���k=� ��J��7�C��=�Y� ��hWA�E�N��9JA�%�6�t��Q���]��z��YH�����o�������)P���]��z��YH�����o�#f��c��&��k��������}�6P�l��=��k]�v���s�����@;�o��5�������2����i����		�/����S���'HNN������������7Z��w�e�����s���4���),,$))�������V�Z����m�Sh��]�r��Q(++c����;w�����G������<\!{�#f�zM\����b��}�L&<�����zv������RZZj�;]�<�u��N�b�����7���.����m����#H��Brw��}�v�*�xtt4�v��o��|���Z'n����`Wq��Ibcci���E���]oy�	&���ELL�����\���������G������<\)�f��U.���(8�������%**
��m����=z����/��bQn�l�[����i��]��������G������<\)�f�O�<wRR�����3AAA<�����S'�7��#�<�?��O���n������L��]�f
�6m������yU���Udee���App����D,Z����\:u���,f���[��Q=�>��s����+e���tG�X� � ���;�V��.� ��>�#�����A�
��
� ����N�1�Vg�8&7�	� -	�����A���K����>��#{�1:t�@DD`����`����={�_~�����J�.]X�bE�n�+"�;[s��s'������(�9�����0����otd��w���#M�7�|��U�lZ��O?��?���K������S����������3c����(**��/�����B,$H������o�NNN�.]���_�rW���Gd����?Yud��:��v�Zz������Mg���+4h����^�;w.������|�zN�8ADD���
��Z��!		!88�M�6u��>�:��O�W��8n��EBB�/�i���z��I�v��������_�m�/�����7�x�b�����d�,��}���������Zjjj4;�jH�j�=@PP����=����A IDAT.�m�-��������[7��?Ojj*III���;��Y�`�>�(c����}������&11����w,[����D���8|��f�+--%88�Q���g${����M&����n�:��������Q�WVVR\\LAA���L�0pl�o�,f��s�����v������9}�4������0k�,�N��eee�|�r������������
L&eeexyyq��M�t����W��������y��l�_���d���k�z���>>>��������#8��z���Z���~?~���X�}�Y�������o�������S�x��G����K�.���#�;���PUU��]�x�������������������s��\�z�!�;e3�;�c��?~�by[��aaa��+�t������j�999�������[o�e����s���B�O���1c5j.�������6�������O�2���"Z�jE�V��|�2����Geo���~"##���{���E����C1b�Mns�t�7t�����o��NJJ"??����k�����d2��}{F�ITTs���.�@�����k��1��s��=22���~��;���Nvv6���{��'{s�������j�����%��� ����;]A\�t��!�� ��n8]�*� B�p�N\nA��N���Y��Tnb*O����3Ve��wo������7�|��a��}[TT��a����e��a���-m��>Q��n���7��[�nu�{��>~�23c�;�zv��ho}�������A���Y5!���X��[����U�$%%�l�2JKKY�d	S�L1�_�og��IDD/^$""���g���*��k�����r��!v��MEE�V������*3���^�M�4��'���o��tq�f���z��U�y�U����C/���<==����U�V�������$99�v�����Lnn.�>��y=�6���[�l��w��G��s��A}�Pef�;���7��e���no}�v��0���9a���F���U6����������-L�FX����������O>���/��_�/{�\T~m��PQVV���{	$<<�;vH�����C�Yc���a#F��S�N�M��o�N���������m[����,��OLL�6��Z`��	xyyCyy9�~�-/��~~~�5�3g�4�F	�����<��DGG�������������t�R&O�l�����9y�$eee���hX�������qEU6			�[��+W����m1�
�}���Myy9{�����\;r��������g�������C��db��A�z�j�M�H�f����233��}������������5!��>wd������\0c����!7�z�nU�x��������<�^RRbX�j�FFF�z�jn����5k����'�����_�mX�A�Y��<<���������^w:��LPP}������[�h���&�|&+7����&99���jkk�����������^c��9TVV*���������O�����_~Iuu5��0]�_�%%%t�������J>��C/^Lqq1aaa,\��'�|R��z?�����g��1,X���m�*����x��W����i��
����������^�����l�����s�R\\Lpp0.d��QZ]���SRRByy9����8q�>}��i�&����&���|��my���Y�r%?��r��������L�8������sg/^���r����P?T��G��X3d��M�����'�e�)))������7kW��.� .�}�NAw�%�m� � H'.� .K�v��yn��
t�������A�]h���E��g���������^����\��Nd��DFF+W�t��FN��t��{�����Q��8l�lw��A�N�����as��F���������Z<7�P������Va�ZW9�7m���;w4����r�7�;�;{U[5r���s��������no�W���h��~M|�����_?��������[r���s�/KU��;�d21w�\<x0k���g�������4��n�P�����:t`��%���5���,M�N��^�V��_��F��s��v����U��9�|�w���u�������������-����W��;�����g�2`�������������\��[�z���s%9�HKK#!!�����4�;${�yl�_@�`7���sW������as��F�^TC��
�m&����2����y�&]�t�������|||�v��uY����PSS���yxh�U�����W-��w�f����>}���RRRR�5k��9M���������g�e��yxzz��kW�;���?eee8�s��5XWUU�v�����#//��z���Z�e��2[�L����������t������e��Y;v��{��d_�u[�m������;s��Ue=�;�����!C8r���������j�p�>l�6o��4�����[�y�&��m#,,___>��s�����qc��n��n�+����b���|��Wl����3������B�Jn���ijw���j���/`�����z��;��6������el�
�y������a���x<==��L8++���Tbccmr����{zz|_���*�/�>\++))a��E����b�
��lF�Wldd$O?���J���n�
pa��;������+y���5w���Z�r��7f�3������4t����!]U=B��'Nd��qt��Y;������as�yq�� ��!�tAApq��� � �(��� ������H]A����N�O�<�z��\�*��*'�/������	

�K�.�X��A[�������s'={��C�:��g���{��\�X�a*G���N�������w�{�pd��>?vG�� �����r��U�9�UN���4������/)((����J���S����������3c��rw�^��=�z��*?�;�n���|����`������S��w��Y�F{~��,�jy��\�N���������7�3��r��U��*'����Y�x1x{{�3�������/�%{�\�<�z��*?��^��o���T4����\o��5�N�b�����7�pY��\�N�2e
��M���t�����E�7Ti#��5*G���\ZZJpp��9rY��,[����D���8|��fNT��{��\�<�FX;�U~pw��������Gso����w�L�0///bbb(//7\~��
���`���t�����~�o���^x???F���3g8}�4�=�^^^�7�	�Jp�������t�R&O��`����l���b��&X�nW�\!;;�I�&u���U��A�7F����')++#&&���@�rw�^���
q��q�x�	���IKK��7h� ���X�z5��M$�����1{�l���k���)//g��=���78���9�7���9�[���;�Z^�<W�������m7o�d��-M�}���r��U��*'��Q�X�p!����M�yn��;w(,,d����3��\����^�������K��a��w���9�7�����aaa��}�����|||HJJ��'dee���App��EFF���>!!!����\����7;�;v�Hzz�� V���o+f'���?����y����������3g�Gl�}�j_����|���9r$QQQZ��rw�^�KC��&))���|���������t���	$%%E;�q��Um�����Prss��t�-"77�N�:q��mT��[�o�����A��w� � �8-��tAA�C:qAApQ�AE���K`��X�����������+e��3�;�?����2V-oo=�d�,$w��J�7�3U�������k����������+++���'�v��k���;w�?��hg��[�&<<���~�!C�`2��6m|�!!!��/�_�~�o��rt����G�@YY���sv/oo=�d�,$w��
��1kv����<**�}��a2�8x��f�1���\���e�4e����p�����#]���e�Z�QNdwB�w���p����W9������k}����O?�:���,m�������������=���������e�Z�QNdwB�w���p����W9����8p��G�&77���(��z����)))a��m���� ���[�y�&��m��R�����2V-�('�;!�;��y�R��zM�|�������`^~�e^x�������;y��g��� ==���L^{�5���Cee��5���`��]���m^���p�����8q�>}��i�&������jy�z}${� �;W��|M�%��z!
� �� �tAApq\��&?"A�E;qAA���;K�*JXA�~�)���7�|�o�X���]���G��c���C"""8x��a=;w��w��x{{��wo>���z~���O�Nhh(]�ta��M��-�[�n���o��[7��rc�8p ���DEEq���rw�~����c����={V+��KEC�i����Gw�]�?��.{������8���uc����)[��C��W_�}��|���|���<���������8C}aRR7n$22�0q�D���?*�IKK����/���6m�����6���8.\��C���{7aaaxxx�g�}�vrrr

e��=������KY���O�:��72x�`�����3�����y�0�O�|�
�V��X��r7W�N��N����O?����3{�l6n���_��Q��}���~
�Y���������i���>>>4����p��	"""�������w�_\�1i���GDD���>�:��O�����l��ES������gO��kGdd$����������������Z�"44�����7�x�b���f��E���-�-[���;���G� �g�q�Fz��Amm-555��JU.�c��_|��R��O�n�"!!���[,/��D`` �G����<x���d��kGrr2����u��;���#�o�N\5���ukN�:�����7o����;=11���XJKK-�3�����>766�������/���I��|�2K�,7���a#F��S�N�������&11����w��gdd���/�������zJKK-d�x�DYY{��%00���pv��a����C]�����n�:�rw�~��e$&&��������^S�h��~Z�`�>�(c���X��s��~����������0a`��\��Q��}��;}��	xyyCyy9�v��<y���X��m{O�9v�X���������w������[^x����5jg����������>����$�������OMZZ�a			�[��+W����m1y�^=���\�|p�{'L&�
������W3m�4�5{���KKKY�t)�'O6,w��G����')++#&&���@�5U�*��Sff&��o����>~~~��=������y�����C����t��[�}y^�N���999���/w��M�6��HC���0|�p��ybbb���c��u�V~��G*++-~M��LPP}����rrrHMM%;;���zOO��k��g�*))1�g��Q,\����
~���&�����A�,�m�7�)S�PTTD�V�h���v�R�K�p��
�>}:c���y�P��7nX�N��/���O?�DFF�{��w���;���#�o��m�A������W_}U�x�����5k�����o�Amm�E�&M�_�~TWW���`��qqq<��3���[�2YYY���Kuuu��)8���L��@@;+>|�VVRR��>���]�r%/��2������aX����y��W���m��a��9M�m-���t&N���q�����6�go����<���Fvv�a��g_��x��1����2��:w����;����o��-�?��v�b��E����b�
�y^������;���#�wIw� � �3�NA��\A�>�A������yGw|�RAh98�����]�W�WKX_�7Ti{���Y����<�*����P������-m��z�������[�W��~��8�4�L�}�A��N�Jff&%%%L�>�3fh���u������$�-[Fii)K�,a��)uXS�e\PP�=��N�23;�/]�DJJ
qqq����O�&Mb����oN�K�.����k��{��6ok[7����U�F�!z~��8�4�p��y��������a�����u�b����0a�z���W��_������*W��������?�����=������H���X��Y�B<������/�t5�6o��'�����}����pd��*{ILLd����?�B�����K/���1c��y3)))=z��<������1t�P�=����[������_|�ERRRx��g8t����?~�)S�0m�4�{�9����9,�7���W�2y�d��g�GW�\a���L�0��?�\YOFF����~�:���|�����k�2����BC���N}��9�:h��{��6o/F�Or�G���������_l�s�}�e/�����+������y��,�����|�2^^^TUU��K�]��u������Y��^����������TTT�����K���t�F��<x���N�:eQ^]]M����z����}��%==���hrss�5k���^����<����t��E�uw�(�������>��y�T������W/����Z�s�����k���yyy�}=����y4��%wcT�Uy}z�!jkk-���$Gdo��4�p��y��{w�n����7��e�]?(lE�T�+W�������m���B����6c�8V�r�����y#����NWc��mE��$wcT���OT~z.�NW9�333III���^�{��w�`+F�t=���\�N��� 11�W^yE�iDp,*���ql~�Vw�����GZ���y�;����N���6_��������K�j�������g��q�w� � ��NA��4�	� �; �� � �(.���2UApgZ�;��>�6������-�����_������<�
}W����n���7��[�n6}�������]����������;����j�Sg�����7����[�?[��*����2���c�?����g���������`����*���7�����M�6����vm�+a����y���:t���wf��l�3�3u�T6n�������?3f����>r��U����������3��;��������cqqq�;w���W�����u8��K����A���~@�TW��Ue����GDD�v�-=G������nU���V���l��;��C�=l��A����QK�uX����n����{C����^U�#�o�N�l��r�
��-�KLL$66���R�_F��7z�skbcc����vZll,P�B�4i�/_f��%$''7��	�Nee%���~��6���Z�^���w���v�������)++c�����;�Qel�Qq��a��(��a�V��]�����P���*{U=�������t�����,�/_Nqq1���Nr=����T�Y�v��5z����#G<x0�}����J��|����#���l�����~w�H[o���Lvv6C����#�?������*�}}��e��}zm�^r�e�w�]��o��U���;}���,_�����m���;w�S��s=|||>|8�?�<111�����.�\��*��z�nU���V��
d�����z�{=�d��V��=��S�F����^U����_}�Um(���^��UNu�w�9����x��gx����eT.t�y�������?��o��[U�;y���?z���3q�D��G���Y�r����f��3V���%{����jcs�u�w����M���q�� �#�tAApq\��&� ��t�� ���4��m���������rW�~�CAhZ�;�=��Q�p`o�***b��a���2l�0����C��<��"�;��y�R��N���������i3g�$""��/��������.]"%%���8��e\PP@iii�l�+"�;��y�R��~�L�a��C�p����IKKc��!�����s�r��aL&}���[�n;v�����a��WP��
E��IDAT��	����f��!�:�}�^y^^)))���t�����L�qN�8Arr2�}��o�np�Y�m����k���������}��������$���+BBBX�j�&??���'s��y&O���+d�Fl����kW�=J@@eee8�s��Y,s��Ez��Eii)�����={�Y���������<Zr�N1����P'|��m�7of������n/���L�:�K�.���LJJ
�v�������8q"yyy���ku���S�La��i\�p�n��5�s5��_����'�|___�_�n���C�=�M�d�$w������;v,{����������b���������?u�5��111�r���3f^^^���?��'O�$66��m��]g}��
��?����c���+o��6�~�-/��~~~�5�3g�p��i�{�9���7n\��I0������r���Cyy���g����'� ::���4���dV�����!�;��y83�f��Uns*�:@��9~��]��+���;[�n����l��E�t`�l������?����j6n���?��Sl���������7kj=��=,,�m��i�#8���HV�^��[�X�f
�������N��F�w���pf����x\\�6�LC�]��<����?-^�9s&#F��kB�<33��+W��S'233������7m�����M����'>>���0��7X�������
���EFF���C&�������hg��1���~��w�-"77�N�:q���pRR���>\����f���@�������i{������<\){q�� ��!�t�(��6� �������AWA��� ����e'.�C
� �.�N�on����o�I�n�t����Kmjc�zT�T<���^�����qT���a�
LrWc�q�����s�N�u2t�P��=86�F_��}��?���.\��C���{7aaaxxxh�}��7�Z����1��`�e��2n��
�������upT�f_��?��;������s��G�^�~�W_}����[�K�wc��=�G�2�:u*7nd�������3f��G94�fN7�LDGG3a�z����	�r�s��
b���Z��������_�~����2|�p:t�@�>}8r�������ML/�L�l��;��C�=,�P�n�"!!����S=*6o�����	���[{���pT�999����v��IEE����ryw��Q���q�[�liPS�����q"((���@F���������/�f�����u�w���.������U��*w}�����w/�������c�,X���>j��mL=*�#����X��U�{���}��
�1�N�:.����:���J���)(( <<\;���e�����HPP�������������!�3�X�?++����S\\Lmm-TTT`2�(++�����7o��K�^��,����p���������KxyyQUUE``�<J�B	&;;�!C�p��������y�������X�h��1c=;�#�<Bnn.]�t�}�pT��fe|��g�7o�����G�^SSC�^���_�J��}-^������@uu5�;w����
�g����IHH���S��)���0r������m����W.�r�g��A�6E��q�b�������v\�*_�
w��Q�|����������C����~����z������s����L�>�1c�.�N����^XXHHH�����<W�����IOO'==���@RRR��d���R��r"�G�q��|���>������������OC����PrssY�n����U�L&��o���#����2vw�j���}A����A��i��*T?�G� � ��N\A5���p����:��t�� ��#;����6���L&222X�re�|�����d����wx�*���\��K�w��x{{��wo>������o������a�������a�(..��[��AU�Q������(�.��Ap �6m���;l���I���w/��������u����.]"%%���8�r��o�ORR��-����%K�0e���I��7�-�H��9���.^�HDD�����N���h�.U��U��}�vrrr�t����z�y!�� 6���`������oo������>[����j���F�1���j��uj�:�d��������<��� //O�{��5���lS��������������������s�����
�Vy�����		���Z�jEhh��zZc��W����9x� ����k����drss��XP���_�����������������g��N\�Q�s0�|&N�H^^���wY�l=c2Bo�����T��j�����������HHH������:u*�.]"99�������[s��)��_��y�����������3��G�RUUe����=��l����V����������e���b��U�x#��^=��_����'�|___�_��?���T�a2� 55�B&c/����p�*��9��{7���������������Y��j�skjj�����YP���7/�j=U���w�^s3�������/k���K�]���d���k�n����>��3M�	u���#G*�1�y��U�;]�����ok}��%==���hrss�5k��S���-n��]�r��1���)++c����;w�&w�5z9��W�`����]�v��{�i�3������ ��y�z�)�n��W_}����-����ic�T����|���TWW�q�F����KP��`4�����]p��w����-'M����������d����U�L6w�*���>|����pzII���
��mu�GFF�z�jn����5k�����cA���~S�L����V�Z��U+._�l���2�	�p�c}m���R�����^�kYOOO���-�G�4i��������3��������v&o�<_Bpp0k����gy��W,n�R��j}���HMM%66���jm{��v��233III���^�{���7j����{������O>���k���c/III>\++))Q�?�����X�Iuy�\���_~���b����;����3b��m[�������,Z����xV�XA�>}�{����8q"����s��
z�U9��W���O?Mqq1aaadgg���z�p� -�/������tAApq���#g��H>��t�� ���H'.� .�t�� ����#f��d>��3Z�j���C��o�o�f���v�a�{>��3�e���8t�#F�P�����)�c�N\Z>� g��������q������39r�]�5�O����4��Ahzd8]Z����9s�b��<�5����>����g��=6��=���O���.�g�rss5�� �C:qAh���Q[[{W'��s��DDDX��my�!N�>���{��#G�$&&���p���;����H'.-ooo������������*�]�v��<��]�C4�ZC���r��)������%���o� �<<<����k���P>|O$�����u��i��y��o������RPP@��=�N� 4q�� ��!�tAApq�AE:qAApQ�AE:qAApQ<����;7n����3�^AA��S:pAApM�?�&��5oIEND�B`�
_cpu-day.pngimage/png; name="=?UTF-8?B?X2NwdS1kYXkucG5n?="Download
#2Merlin Moncure
mmoncure@gmail.com
In reply to: Миша Тюрин (#1)
Re: high io BUT huge amount of free memory

On Mon, Apr 22, 2013 at 1:22 PM, Миша Тюрин <tmihail@bk.ru> wrote:

My first message has been banned for too many latters.

Hi all
There is something wrong and ugly.

1)
Intel 32 core = 2*8 *2threads

Linux avi-sql09 2.6.32-5-amd64 #1 SMP Sun May 6 04:00:17 UTC 2012 x86_64 GNU/Linux

PostgreSQL 9.2.2 on x86_64-unknown-linux-gnu, compiled by gcc-4.4.real (Debian 4.4.5-8) 4.4.5, 64-bit
shared_buffers 64GB / constant hit rate - 99,18
max_connections 160 / with pgbouncer pools there could not be more than 120 connections at all
work_mem 32M
checkpoint 1h 1.0
swap off
numa off, interleaving on

24*128GB HDD (RAID10) with 2GB bbu (1,5w+0,5r)

2)
free -g
total used free shared buffers cached
Mem: 378 250 128 0 0 229
-/+ buffers/cache: 20 357

and
! disks usage 100% (free 128GB! WHY?)

disk throughput - up-to 30MB/s (24r+6w)
io - up-to 2,5-3K/s (0,5w + 2-2,5r)

3) so maybe I've got something like this
http://www.databasesoup.com/2012/04/red-hat-kernel-cache-clearing-issue.html
or this
http://comments.gmane.org/gmane.comp.db.sqlite.general/79457

4) now i think
a) upgrade linux core or
b) set buffers to something like 300-320Gb
my warm work set is about 300-400GB
db at all - 700GB

typical work load - pk-index-scans

--
looking forward
thanks

this topic is more suitable for -performance.

check out this:

http://frosty-postgres.blogspot.com/2012/08/postgresql-numa-and-zone-reclaim-mode.html

merlin

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#3Sergey Konoplev
gray.ru@gmail.com
In reply to: Миша Тюрин (#1)
Re: high io BUT huge amount of free memory

On Mon, Apr 22, 2013 at 11:22 AM, Миша Тюрин <tmihail@bk.ru> wrote:

free -g
total used free shared buffers cached
Mem: 378 250 128 0 0 229
-/+ buffers/cache: 20 357

and
! disks usage 100% (free 128GB! WHY?)

disk throughput - up-to 30MB/s (24r+6w)
io - up-to 2,5-3K/s (0,5w + 2-2,5r)

What do iostat -xk 10 and vmstat -SM 10 show?

3) so maybe I've got something like this
http://www.databasesoup.com/2012/04/red-hat-kernel-cache-clearing-issue.html
or this
http://comments.gmane.org/gmane.comp.db.sqlite.general/79457

4) now i think
a) upgrade linux core or
b) set buffers to something like 300-320Gb
my warm work set is about 300-400GB
db at all - 700GB

typical work load - pk-index-scans

--
looking forward
thanks

Mikhail

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

--
Kind regards,
Sergey Konoplev
Database and Software Consultant

Profile: http://www.linkedin.com/in/grayhemp
Phone: USA +1 (415) 867-9984, Russia +7 (901) 903-0499, +7 (988) 888-1979
Skype: gray-hemp
Jabber: gray.ru@gmail.com

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#4Shaun Thomas
sthomas@optionshouse.com
In reply to: Merlin Moncure (#2)
Re: high io BUT huge amount of free memory

On 04/22/2013 05:12 PM, Merlin Moncure wrote:

free -g
total used free shared buffers cached
Mem: 378 250 128 0 0 229
-/+ buffers/cache: 20 357

This is most likely a NUMA issue. There really seems to be some kind of
horrible flaw in the Linux kernel when it comes to properly handling
NUMA on large memory systems.

What does this say:

numactl --hardware

--
Shaun Thomas
OptionsHouse | 141 W. Jackson Blvd. | Suite 500 | Chicago IL, 60604
312-676-8870
sthomas@optionshouse.com

______________________________________________

See http://www.peak6.com/email_disclaimer/ for terms and conditions related to this email

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#5Robert Haas
robertmhaas@gmail.com
In reply to: Shaun Thomas (#4)
Re: high io BUT huge amount of free memory

On Tue, Apr 23, 2013 at 10:50 AM, Shaun Thomas <sthomas@optionshouse.com> wrote:

This is most likely a NUMA issue. There really seems to be some kind of
horrible flaw in the Linux kernel when it comes to properly handling NUMA on
large memory systems.

Are you referring to the fact that vm.zone_reclaim_mode = 1 is an
idiotic default?

--
Robert Haas
EnterpriseDB: http://www.enterprisedb.com
The Enterprise PostgreSQL Company

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#6Shaun Thomas
sthomas@optionshouse.com
In reply to: Robert Haas (#5)
Re: high io BUT huge amount of free memory

On 04/24/2013 08:24 AM, Robert Haas wrote:

Are you referring to the fact that vm.zone_reclaim_mode = 1 is an
idiotic default?

Well... it is. But even on systems where it's not the default or is
explicitly disabled, there's just something hideously wrong with NUMA in
general. Take a look at our numa distribution on a heavily loaded system:

available: 2 nodes (0-1)
node 0 cpus: 0 2 4 6 8 10 12 14 16 18 20 22
node 0 size: 36853 MB
node 0 free: 14315 MB
node 1 cpus: 1 3 5 7 9 11 13 15 17 19 21 23
node 1 size: 36863 MB
node 1 free: 300 MB
node distances:
node 0 1
0: 10 20
1: 20 10

What the hell? Seriously? Using numactl and starting in interleave
didn't fix this, either. It just... arbitrarily ignores a huge chunk of
memory for no discernible reason.

The memory pressure code in Linux is extremely fucked up. I can't find
it right now, but the memory management algorithm makes some pretty
ridiculous assumptions once you pass half memory usage, regarding what
is in active and inactive cache.

I hate to rant, but it gets clearer to me every day that Linux is
optimized for desktop systems, and generally only kinda works for
servers. Once you start throwing vast amounts of memory, CPU, and
processes at it though, things start to get unpredictable.

That all goes back to my earlier threads that disabling process
autogrouping via the kernel.sched_autogroup_enabled setting, magically
gave us 20-30% better performance. The optimal setting for a server is
clearly to disable process autogrouping, and yet it's enabled by
default, and strongly advocated by Linus himself as a vast improvement.

I get it. It's better for desktop systems. But the LAMP stack alone has
probably a couple orders of magnitude more use cases than Joe Blow's
Pentium 4 in his basement. Yet it's the latter case that's optimized for.

Servers are getting shafted in a lot of cases, and it's actually
starting to make me angry.

--
Shaun Thomas
OptionsHouse | 141 W. Jackson Blvd. | Suite 500 | Chicago IL, 60604
312-676-8870
sthomas@optionshouse.com

______________________________________________

See http://www.peak6.com/email_disclaimer/ for terms and conditions related to this email

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#7Andres Freund
andres@2ndquadrant.com
In reply to: Shaun Thomas (#6)
Re: high io BUT huge amount of free memory

On 2013-04-24 08:39:09 -0500, Shaun Thomas wrote:

The memory pressure code in Linux is extremely fucked up. I can't find it
right now, but the memory management algorithm makes some pretty ridiculous
assumptions once you pass half memory usage, regarding what is in active and
inactive cache.

I hate to rant, but it gets clearer to me every day that Linux is optimized
for desktop systems, and generally only kinda works for servers. Once you
start throwing vast amounts of memory, CPU, and processes at it though,
things start to get unpredictable.

That all goes back to my earlier threads that disabling process autogrouping
via the kernel.sched_autogroup_enabled setting, magically gave us 20-30%
better performance. The optimal setting for a server is clearly to disable
process autogrouping, and yet it's enabled by default, and strongly
advocated by Linus himself as a vast improvement.

I get it. It's better for desktop systems. But the LAMP stack alone has
probably a couple orders of magnitude more use cases than Joe Blow's Pentium
4 in his basement. Yet it's the latter case that's optimized for.

IIRC there have been some scalability improvements to that code.

Servers are getting shafted in a lot of cases, and it's actually starting to
make me angry.

Uh. Ranting can be rather healthy thing every now and then and it good
for the soul and such. But. Did you actually try reporting those issues?
In my experience the mm and scheduler folks are rather helpful if they
see you're actually interested in fixing a problem. I have seen rants
about this topic on various pg lists for the last months but I can't
remember seeing mails on lkml about it. How should they fix what they
don't know about?

You know, before Robert got access to the bigger machine we *also* had
some very bad behaviour on them. And our writeout mechanism/buffer
acquisition mechanism still utterly sucks there. But that doesn't mean
we don't care.

Greetings,

Andres Freund

--
Andres Freund http://www.2ndQuadrant.com/
PostgreSQL Development, 24x7 Support, Training & Services

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#8Shaun Thomas
sthomas@optionshouse.com
In reply to: Andres Freund (#7)
Re: high io BUT huge amount of free memory

On 04/24/2013 08:49 AM, Andres Freund wrote:

Uh. Ranting can be rather healthy thing every now and then and it good
for the soul and such. But. Did you actually try reporting those issues?

That's actually part of the problem. How do you report:

Throwing a lot of processes at a high-memory system seems to break the
mm code in horrible ways.

I'm asking seriously here, because I have no clue how to isolate this
behavior. It's clearly happening often enough that random people are
starting to notice now that bigger servers are becoming the norm.

I'm also not a kernel dev in any sense of the word. My C is so rusty, I
can barely even read the patches going through the ML. I feel
comfortable posting to PG lists because that's my bread and butter.
Kernel lists seem way more imposing, and I'm probably not the only one
who feels that way.

I guess I don't mean to imply that kernel devs don't care. Maybe the
right way to put it is that there don't seem to be enough kernel devs
being provided with more capable testing hardware. Which is odd,
considering Red Hat's involvement and activity on the kernel.

I apologize, though. These last few months have been really frustrating
thanks to this and other odd kernel-related issues. We've reached an
equilibrium where the occasional waste of 20GB of RAM doesn't completely
cripple the system, but this thread kinda struck a sore point. :)

--
Shaun Thomas
OptionsHouse | 141 W. Jackson Blvd. | Suite 500 | Chicago IL, 60604
312-676-8870
sthomas@optionshouse.com

______________________________________________

See http://www.peak6.com/email_disclaimer/ for terms and conditions related to this email

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#9Andres Freund
andres@2ndquadrant.com
In reply to: Shaun Thomas (#8)
Re: high io BUT huge amount of free memory

On 2013-04-24 09:06:39 -0500, Shaun Thomas wrote:

On 04/24/2013 08:49 AM, Andres Freund wrote:

Uh. Ranting can be rather healthy thing every now and then and it good
for the soul and such. But. Did you actually try reporting those issues?

That's actually part of the problem. How do you report:

Throwing a lot of processes at a high-memory system seems to break the mm
code in horrible ways.

Well. Report memory distribution. Report perf profiles. Ask *them* what
information they need. They aren't grumpy if you are behaving
sensibly. YMMV of course.

I'm asking seriously here, because I have no clue how to isolate this
behavior. It's clearly happening often enough that random people are
starting to notice now that bigger servers are becoming the norm.

I'm also not a kernel dev in any sense of the word. My C is so rusty, I can
barely even read the patches going through the ML. I feel comfortable
posting to PG lists because that's my bread and butter. Kernel lists seem
way more imposing, and I'm probably not the only one who feels that way.

I can understand that. But you had to jump over the fence to post here
once as well ;). Really, report it and see what comes out. The worst
that can happen is that you get a grumpy email ;)
And in the end, jumping might ease the pain in the long run considerably
even if its uncomfortable at first...

Feel free to CC me.

I guess I don't mean to imply that kernel devs don't care. Maybe the right
way to put it is that there don't seem to be enough kernel devs being
provided with more capable testing hardware. Which is odd, considering Red
Hat's involvement and activity on the kernel.

There are quite some people using huge servers, but that doesn't imply
they are seing the same problems. During testing they mostly use a set
of a few benchmarks (part of which is pgbench btw) and apparently they
don't show this problem. Also this is horribly workload and hardware
dependent. There are enough people happily using postgres on linux on
far bigger hardware than what you reported upthread.

Greetings,

Andres Freund

--
Andres Freund http://www.2ndQuadrant.com/
PostgreSQL Development, 24x7 Support, Training & Services

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

In reply to: Andres Freund (#9)
Re[2]: [HACKERS] high io BUT huge amount of free memory

thanks a lot for responses

1) just remind my case

Intel 32 core = 2*8 *2threads
Linux 2.6.32-5-amd64 #1 SMP Sun May 6 04:00:17 UTC 2012 x86_64 GNU/Linux
PostgreSQL 9.2.2 on x86_64-unknown-linux-gnu, compiled by gcc-4.4.real (Debian 4.4.5-8) 4.4.5, 64-bit
shared_buffers 64GB / constant hit rate - 99,18
max_connections 160 / with pgbouncer pools there could not be more than 120 connections at all
work_mem 32M
checkpoint 1h 1.0
swap off
numa off, interleaving on
and
! disks usage 100% (free 128GB! WHY?)
disk throughput - up-to 30MB/s (24r+6w)
io - up-to 2,5-3K/s (0,5w + 2-2,5r)
typical work load - pk-index-scans
my warm work set is about 400GB
db at all - 700GB

2) numactl
mtyurin@avi-sql09:~$ numactl --hardware
available: 1 nodes (0-0)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 0 size: 393181 MB
node 0 free: 146029 MB
node distances:
node 0
0: 10

3) !! i just found suspicious relation between "active" processes and free memory. ~1GB per process.
in 376GB total memmory and 32 core
if ( user cpu + io wait ) is ~140% then i have ~140GB free.
but it could be just a coincidence.

4) now i think
a) upgrade linux core (to 3.2!?) and then (if case still will be)
b) set buffers to something like 300-320Gb

5) what do you know about workload in Berkus's case http://www.databasesoup.com/2012/04/red-hat-kernel-cache-clearing-issue.html ?

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

In reply to: Миша Тюрин (#10)
Re[3]: [HACKERS] high io BUT huge amount of free memory

typo

if ( user cpu + io wait ) is ~140% then i have ~140GB free.

140% ===>> 1400%

if ~14 cores are busy then ~140GB is free

10GB per process

hmmm...

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

In reply to: Миша Тюрин (#11)
Re: [HACKERS] Re[3]: [HACKERS] high io BUT huge amount of free memory

vm state

root@avi-sql09:~# /sbin/sysctl -a|grep vm
vm.overcommit_memory = 0
vm.panic_on_oom = 0
vm.oom_kill_allocating_task = 0
vm.oom_dump_tasks = 0
vm.overcommit_ratio = 50
vm.page-cluster = 3
vm.dirty_background_ratio = 10
vm.dirty_background_bytes = 0
vm.dirty_ratio = 20
vm.dirty_bytes = 0
vm.dirty_writeback_centisecs = 500
vm.dirty_expire_centisecs = 3000
vm.nr_pdflush_threads = 0
vm.swappiness = 0
vm.nr_hugepages = 0
vm.hugetlb_shm_group = 0
vm.hugepages_treat_as_movable = 0
vm.nr_overcommit_hugepages = 0
vm.lowmem_reserve_ratio = 256 256 32
vm.drop_caches = 0
vm.min_free_kbytes = 65536
vm.percpu_pagelist_fraction = 0
vm.max_map_count = 65530
vm.laptop_mode = 0
vm.block_dump = 0
vm.vfs_cache_pressure = 100
vm.legacy_va_layout = 0
vm.zone_reclaim_mode = 0
vm.min_unmapped_ratio = 1
vm.min_slab_ratio = 5
vm.stat_interval = 1
vm.mmap_min_addr = 65536
vm.numa_zonelist_order = default
vm.scan_unevictable_pages = 0
vm.memory_failure_early_kill = 0
vm.memory_failure_recovery = 1

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#13Craig Ringer
craig@2ndquadrant.com
In reply to: Shaun Thomas (#6)
Re: high io BUT huge amount of free memory

On 04/24/2013 09:39 PM, Shaun Thomas wrote:

On 04/24/2013 08:24 AM, Robert Haas wrote:

Are you referring to the fact that vm.zone_reclaim_mode = 1 is an
idiotic default?

Servers are getting shafted in a lot of cases, and it's actually
starting to make me angry.

A significant part of that problem is that desktop users and people
developing for desktops *test* kernels before or shortly after their
release.

Most server operators won't let a new kernel anywhere near their
machines, so reports of problems on big real-world servers lag severely
behind Linux kernel development.

By the time last years' issues are fixed, there's a whole new crop of
issues that make the new kernel problematic in other ways.

There *are* teams testing new kernels on big hardware, but this takes
money and resources not everyone has. They're also limited in what tests
the have available to them. One of the big things that you can do to
help is *produce automated test cases* that demonstrate performance
problems so they can be incorporated into future kernel testing and
benchmarking processes. You can also help test newer kernels to see if
your issues are fixed.

I know full well how frustrating it can be when you feel your use cases
and problems are ignored or dismissed (I've worked on Java EE) ... but
the only way I've ever found to get genuine progress is to put that
aside and help.

--
Craig Ringer http://www.2ndQuadrant.com/
PostgreSQL Development, 24x7 Support, Training & Services

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#14Bruce Momjian
bruce@momjian.us
In reply to: Shaun Thomas (#6)
Re: high io BUT huge amount of free memory

On Wed, Apr 24, 2013 at 08:39:09AM -0500, Shaun Thomas wrote:

On 04/24/2013 08:24 AM, Robert Haas wrote:

Are you referring to the fact that vm.zone_reclaim_mode = 1 is an
idiotic default?

Well... it is. But even on systems where it's not the default or is
explicitly disabled, there's just something hideously wrong with
NUMA in general. Take a look at our numa distribution on a heavily
loaded system:

available: 2 nodes (0-1)
node 0 cpus: 0 2 4 6 8 10 12 14 16 18 20 22
node 0 size: 36853 MB
node 0 free: 14315 MB
node 1 cpus: 1 3 5 7 9 11 13 15 17 19 21 23
node 1 size: 36863 MB
node 1 free: 300 MB
node distances:
node 0 1
0: 10 20
1: 20 10

What the hell? Seriously? Using numactl and starting in interleave
didn't fix this, either. It just... arbitrarily ignores a huge chunk
of memory for no discernible reason.

Sorry to be dense here, but what is the problem with that output? That
there is a lot of memory marked as "free"? Why would it mark any memory
free?

--
Bruce Momjian <bruce@momjian.us> http://momjian.us
EnterpriseDB http://enterprisedb.com

+ It's impossible for everything to be true. +

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#15Shaun Thomas
sthomas@optionshouse.com
In reply to: Bruce Momjian (#14)
Re: high io BUT huge amount of free memory

On 05/01/2013 06:37 PM, Bruce Momjian wrote:

Sorry to be dense here, but what is the problem with that output?
That there is a lot of memory marked as "free"? Why would it mark
any memory free?

That's kind of my point. :) That 14GB isn't allocated to cache, buffers,
any process, or anything else. It's just... free. In the middle of the
day, where 800 PG threads are pulling 7000TPS on average. Based on that
scenario, I'd like to think it would cache pretty aggressively, but
instead, it's just leaving 14GB around to do absolutely nothing.

It makes me sad. :(

--
Shaun Thomas
OptionsHouse | 141 W. Jackson Blvd. | Suite 500 | Chicago IL, 60604
312-676-8870
sthomas@optionshouse.com

______________________________________________

See http://www.peak6.com/email_disclaimer/ for terms and conditions related to this email

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#16Josh Berkus
josh@agliodbs.com
In reply to: Миша Тюрин (#1)
Re: high io BUT huge amount of free memory

That's kind of my point. :) That 14GB isn't allocated to cache, buffers,
any process, or anything else. It's just... free. In the middle of the
day, where 800 PG threads are pulling 7000TPS on average. Based on that
scenario, I'd like to think it would cache pretty aggressively, but
instead, it's just leaving 14GB around to do absolutely nothing.

It makes me sad. :(

Yeah, this is why I want to go to Linux Plumbers this year. The
Kernel.org engineers are increasingly doing things which makes Linux
unsuitable for applications which depend on the filesystem. There is a
good, but sad, reason for this: IBM and Oracle and their partners are
the largest employers of people hacking on core Linux memory/IO
functionality, and both of those companies use DirectIO extensively in
their products.

--
Josh Berkus
PostgreSQL Experts Inc.
http://pgexperts.com

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#17Shaun Thomas
sthomas@optionshouse.com
In reply to: Josh Berkus (#16)
Re: high io BUT huge amount of free memory

On 05/02/2013 12:04 PM, Josh Berkus wrote:

There is a good, but sad, reason for this: IBM and Oracle and their
partners are the largest employers of people hacking on core Linux
memory/IO functionality, and both of those companies use DirectIO
extensively in their products.

I never thought of that. Somehow I figured all the Redhat engineers
would somehow counterbalance that kind of influence.

But that brings up an interesting question. How hard / feasible would it
be to add DIO functionality to PG itself? I've already heard chatter
(Robert Haas?) about converting the shared memory allocation to an
anonymous block, so could we simultaneously open up a DMA relationship?

--
Shaun Thomas
OptionsHouse | 141 W. Jackson Blvd. | Suite 500 | Chicago IL, 60604
312-676-8870
sthomas@optionshouse.com

______________________________________________

See http://www.peak6.com/email_disclaimer/ for terms and conditions related to this email

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#18Andres Freund
andres@2ndquadrant.com
In reply to: Shaun Thomas (#17)
Re: high io BUT huge amount of free memory

On 2013-05-02 16:13:42 -0500, Shaun Thomas wrote:

On 05/02/2013 12:04 PM, Josh Berkus wrote:
Yeah, this is why I want to go to Linux Plumbers this year. The
Kernel.org engineers are increasingly doing things which makes Linux
unsuitable for applications which depend on the filesystem.

Uh. Yea.

There is a good, but sad, reason for this: IBM and Oracle and their
partners are the largest employers of people hacking on core Linux
memory/IO functionality, and both of those companies use DirectIO
extensively in their products.

I never thought of that. Somehow I figured all the Redhat engineers would
somehow counterbalance that kind of influence.

I think the reason you never thought of that is that it doesn't have
much to do with reality. Calling the linux direct io implemention well
maintained and well performing is a rather bad joke. Sorry, I can't find
a friendlier description. And no, thats not my opinion. That's the
opinion of the people maintaining it. Google it if you don't believe me.
Also, IBM and Oracle - which afaik was never really up there - haven't
been at top of the contributing companies list for a while. Like several
years.

I can only repeat myself: The blame game against the linux kernel played
here on the lists is neither an accurate description of reality nor
helpful. The only two recent occasions where I can remember postgres
people reaching out to lkml the reported problems got fixed in an
reasonable amount of time. One was the lseek(2) scalability issue
discovered by Robert which, after some prodding by yours truly, got
solved entirely by Andi Kleen and some major performance regression in
an development (!) kernel that was made visible by pg that got fixed
before the final release was made.
Note well that they *do* regularly test development kernels with various
version of postgres. We don't do the reverse in any way that is remotely
systematic.

Report the problems you find instead of whining! And remember when you
measure the performance of a several year old kernel how we react when
somebody complains too loudly about performance problems in 8.3. Yes it
sucks majorly to update your kernel. But quite often its far easier than
updating the postgres major version. And way easier to roll back.

But that brings up an interesting question. How hard / feasible would it be
to add DIO functionality to PG itself?

I don't think there is too much chance of that - but I also don't really
see the point in trying to do it. We should start by improving postgres
buffer writeout which isn't that great, especially with big shared
buffers. We would have to invest quite a lot of work in how our
buffering and writeout works to make DIO perform nicely.

I've already heard chatter (Robert
Haas?) about converting the shared memory allocation to an anonymous block,
so could we simultaneously open up a DMA relationship?

We've got that in 9.3 which is absolutely fabulous! But that's not
related to doing DMA which you cannot (and should not!) do from
userspace.

I hate to be so harsh, but this topic has been getting on my nerves for
quite a while now and its constantly getting worse.

Greetings,

Andres Freund

--
Andres Freund http://www.2ndQuadrant.com/
PostgreSQL Development, 24x7 Support, Training & Services

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#19Greg Stark
stark@mit.edu
In reply to: Andres Freund (#18)
Re: high io BUT huge amount of free memory

On Fri, May 3, 2013 at 12:09 AM, Andres Freund <andres@2ndquadrant.com> wrote:

But that brings up an interesting question. How hard / feasible would it be
to add DIO functionality to PG itself?

I don't think there is too much chance of that - but I also don't really
see the point in trying to do it. We should start by improving postgres
buffer writeout which isn't that great, especially with big shared
buffers. We would have to invest quite a lot of work in how our
buffering and writeout works to make DIO perform nicely.

I think eventually we'll probably go that route. Double-buffering is
just too expensive not to solve one way or the other. The other is
using mmap and somehow solving the WAL ordering issue which would be
nice but seems even less likely to succeed.

The problem with DIO which has been covered many times in the past
here is that then we need to learn a lot about the hardware. It would
be up to us to schedule i/o efficiently for the hardware layout which
is not an easy problem especially if we're not always the only
consumer of that hardware bandwidth.

I don't think it's worth going through the discussions again unless
someone is actually interested in writing the code and has new ideas
on how to solve these problems.

--
greg

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

#20Craig Ringer
craig@2ndquadrant.com
In reply to: Andres Freund (#18)
Re: high io BUT huge amount of free memory

On 05/03/2013 07:09 AM, Andres Freund wrote:

We've got that in 9.3 which is absolutely fabulous! But that's not
related to doing DMA which you cannot (and should not!) do from
userspace.

You can do zero-copy DMA directly into userspace buffers. It requires
root (or suitable capabilities that land up equivalent to root anyway)
and requires driver support, and it's often a terrible idea, but it's
possible. It's used by a lot of embedded systems, by infiniband, and (if
I vaguely recall correctly) by things like video4linux drivers. You can
use get_user_pages and set the write flag. Linux Device Drivers chapter
15 discusses it.

That said, I think some of the earlier parts of this discussion confused
direct asynchronous I/O with DMA. Within-kernel DMA may be (ok, is) used
to implement DIO, but that doesn't mean you're DMA'ing directly into
userspace buffers.

--
Craig Ringer http://www.2ndQuadrant.com/
PostgreSQL Development, 24x7 Support, Training & Services

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

In reply to: Миша Тюрин (#1)
5 attachment(s)
Re: [HACKERS] high io BUT huge amount of free memory

Hi all hackers again!
Since i had got this topic there many test was done by our team and many papers was seen. And then I noticed that os_page_replacement_algorithm with CLOCK and others features

might * interfere / overlap * with/on postgres_shared_buffers.

I also think there are positive correlation between the write load and the pressure on file cache in case with large shared buffers.

I assumed if i would set smaller size of buffers that cache could work more effective because files pages has more probability to be placed in the right place in memory.

After all we set shared buffers down to 16GB ( instead of 64GB ) and we got new pictures. Now we have alive raid! 16GB shared buffers => and we won 80 GB of server memory! It is good result. But upto 70GB of memory are still unused // instead of 150. In future I think we can set shared buffers more close to zero or to 100% of all available memory.

Many thanks Oleg Bartunov and Fedor Sigaev for their tests and some interesting assumptions.

--
Mikhail

Show quoted text

Hi all
There is something wrong and ugly.

1)
Intel 32 core = 2*8 *2threads

Linux avi-sql09 2.6.32-5-amd64 #1 SMP Sun May 6 04:00:17 UTC 2012 x86_64 GNU/Linux

PostgreSQL 9.2.2 on x86_64-unknown-linux-gnu, compiled by gcc-4.4.real (Debian 4.4.5-8) 4.4.5, 64-bit
shared_buffers 64GB / constant hit rate - 99,18
max_connections 160 / with pgbouncer pools there could not be more than 120 connections at all
work_mem 32M
checkpoint 1h 1.0
swap off
numa off, interleaving on

24*128GB HDD (RAID10) with 2GB bbu (1,5w+0,5r)

2)
free -g
total used free shared buffers cached
Mem: 378 250 128 0 0 229
-/+ buffers/cache: 20 357

and
! disks usage 100% (free 128GB! WHY?)

disk throughput - up-to 30MB/s (24r+6w)
io - up-to 2,5-3K/s (0,5w + 2-2,5r)

typical work load - pk-index-scans

Attachments:

cpu-week123.pngimage/png; name="=?UTF-8?B?Y3B1LXdlZWsxMjMucG5n?="Download
�PNG


IHDR�l����bKGD������� IDATx���y|���?��E����P� E���e��V�T)pQ�.��S��
�\^P����BUJ��W�M��&�\�Zv����ZHK	v����(	I:3���$'����W��93�3gN�<�<y����c�@A�[QQQ�&��AA����@~~>��6t�����!� B$�|�
�'NA�

�A��� NAnJS�&AA8�m��qn<x0�v��	�p���U�����p���c��A��B�'NAQWW�3g������_���/�-y�!���/��"�����j�M�6�?�h4��v��a��Q�z����|��G���/b��}���DLLrss�kO�8A����s2dp��q��z,\������3�0�8~�8���n����.�1A�������gO���m��Ebb"�t��kO�8A�a��y�<y2^y�����F�^�������u��x����k�.�����[n��cbcc���(�^���YAA�{�9�i����x��gq����UUUHMMEpp0"##�x�b�}���a����������G���kZ�x1:t����`�?555�A�5�1�x�"x�\�~�j{LL~����/�����_~�111�4H�x��1t����c'� ���7���>��4�������C�J*����Rm�;v,�M��K�.a��m8x�������C����������<���t��s��AEEN�:���\���OV����������~������3f�p�����Gnn.���p����3��[oa�����7�.X�iii����������o�����#11Q���m��g�}�-BZZ���� ���m�>��P�U���U�V�r�
�6���h40���W�b����v�����F�������]�b��Ix��'��];A�����������;w������}{@~~>|�A������i�&<�����R��o��s��#�F���'��C
K�?�8~��W@���������{�����Gq�=�X��������k����?�����5k�������#F����]
�>�h4X�p!222���={���� �p��-l�����m�E�S�U�I@@�U��������q������4i����Fe�������n����v�B\\�w���[��?�������F���`��%%%V3���V��������YWdd��t�-��}BDDDX������������a����4iR������_�5>��S�Y�p��!����� F��%K��/�N8���:���o�NJ��l�����)�M������'�����������������!44�w�M�6Eee��}YY���={����kQPP���L�8����Q�����3g���������u�������p��E����B�}�i�����Y��hl�6���oV�����iy������3g�Dnn.RRR8�q����}����a���0h� �����������o��i�q��m��q#>��#A]��N
���oc��EX�j���QSS�#G����^���_~:��BMM
jjjp��A�t:�;��\���������J��z���kV�'''��_���7���������������.\��`��aHOO��`��`���S���W_����Q[[�S�Na����5�1u�T\�zW�^��)S0|�p�g>>>x�����Ga��)����x�������t�1������7�0���� Fc�v��m�6�^�.tX?AA���0���������;w�{��		�o��a����������/`���h����k�W_}�F�j40[�d�����F�v����h�&6������^@pp0f���+V�?����1u�Tc��!x�����N�>-Z�@��]��wo����Y�f��_�u��o�O<��� �����'������8���"**
Z���O��������x�����c��������
CII	{�1��jl��-�n����_x����O�H�N��6� 4$�y��g�����z<���6l���N�������6J�J^���S1u�T�������V���K}}=>��s���K�IAx���O�h'/&<<=��������7��v&-[�Dxx8>��s�"�	��������7�K[7o��N��t� �`�#G���{�1�.8s������G+;�N'� ����B^^v��
�j�������A� � ����z�������-<A��B�8AA0�P$:4�����}����sqM� o�k��~bf����p�q��[����w��FAaZph�J\/.���bZ����!� 3|Amy��^\�����X�����}v��LAJSUU���O���j��[74o�����=�]s������������ua�� o�������������h4�8q�����g>�o�:��#���Sx������.���$���K���)C:���S�t�g/�����kqF�<E�TTT 22��5C�f���cGTTT��{�t�%�����|�?���2��Ae����#�R������
#~k�A�F�������7����������Z�����a:���M�c{�p�������������[�v��C�G�CN��]�e�;J��-q��9�o�p��y�l�����s���y�.]���q"��h��Zk���:������/U8}��h���:��7AP�z���N���M���t��n��S���]�^��y���`�=B��P��'�:��T��]����Gmm-�5k��m�:4&UVV��_~��&n���������gc�����CQ�cl�����I��z�<?h�h{�u�SF������s�h��q�p*z�����[{���-���e�n���Et��������!�Z�g�s��R'�eLu4����=Bu�S'G�H���^Wr�����5u�57n���oG�A�� �\�Cl�f	[���G���(��W�e��g�]����{�Q�Z�hW�:Y���*c�\L�2�	��%q����A���l	���d�'To����P�:�)#W��/bt�ybm�����Ts9����u��,m��s#/T� g���\(���s#/T�1�������z��}�i��!�������P�=,�KmS?���^r�m�iy��9�%��=��e�����D�����t��B�Bj���3m��5�$��#�!9:6��I�7M�JA-�_��:��;����t����C���J{i��b��EtQ�m��R�HQ�o�[!=��r��R����|7J 5:����7o���W�^<8�& 4�N�kb���N�����|C����!������F�����UI����!�8��CL��t�������OCx���z�X�����������e���
��^�B:l�/U�.{��=��(QzL:L���W=������g���j�b��y���O�:��\��R:��s�:l��������P������o����7o�����.5��������$��~rPrV��4{�w��b���@I|��Dm-��_j��E1�����~�����G�{m�������[������-j�%���k�����*]'9e��\��JC��d.����:����Q�(}��P�\	�C�(gM\*R���c��C	�����������gO�����������G ..{����z$&&B��"11z�^�v!<e
V)B_�����2��#R�'��S�1,�`�~R�!u�^�1���,�FD�1\�&�t�����c�[S�l>��+���&��!T��M�1��m�6�?>���o��M�6���o��&F�
�6m���P\\���8L�>]�v!X�����uF��=��r��Y��-o�Y�%\�J�:�!�
��`�rK-j�����7����Zf���iW�/_������/BB��={���������N�Cll���B(����n,��C������):�qF���m�m����ZG=X1��N�9.[��Z����pLz���h�	& 3�!b��������]�&k�%uee0fg����B�]�~�� ��O����'C9_�z�s;�~�z�����^I��:L�{�g��s�p�]{��s�hI�7�B%�����=�PV��u��%u���c�q�p�Y�����/Q�=��a����c�����`�1;�>
g�ttzUU�n����8q�"""p��!������(((���%��-���D{�r���V�=�JD;+"���d�s4:��F�/�N���S�L1�n�I�&��������,TWW#++�����]�`���,���[ux�Z2���-��1�Du;�
��a��Z��k���������`@tt4rrrs��ARRBBB��G�^�Z�v!�����������|�x���<e-�t����m�p���3�P
\Q���������ukB������5��'>r�H����0�����o_@hh(v�����2���h�����B8�����*�NQ����K]��������tmI�?`*���HVu8�����7o����������a4�?���A����]����i>Z�N3��Hm��4�Ey�����R�eZHw���=��"���mK��E:�n�t��|CZD1w~Y�a���g�T�U�F�������HHH@���QUU��G���a:���8�<q��X|S;\��|~5�P�^N��W�u��}:�Z�Q/u�����u�~����6�o�ht�3rA����>��R��]� A�/R(:�XY��D�����S��H%�elS�^N�����2�&.9�Ip6�����=q5�VWz����TT���m��(�*y�<����B��`�W�^NO��H�z�r��'�ng���8k���WgGu+}�v{�Kt��r��:<5�tx�gEu{Jt��z)�p?�L�N�
+��&,�����6��+}k;������9�="��S��I[:�N���2.�N�A�6,���]SVk
���	� �Bk����,����S�.I�z�r�x����dO��B�'O�6���+�t/!�'�+P��������a04<F�[�nh����y���
l{p�M������q�m��20,4�Nr@�=���^O�WE��q���\�m��!���G����!��I�PCG�!
7�B�����P2��������������h4�8q���<������{�|�'7���$���Tw�W��q�#O� ���'�}�v$&&�I����;w���A��������������S�4H�
���vI:���S�Stl�%{�%h��%��;��7o����8{�,Z�l�kO��m��w����'.�O.��^9� UP�����/��Bk�r��-���-����M9�y�&X����Y9����P�^n=XO����sz����b������g����N��[ 5I��"�����R�$�RY�=��l�;�p�^N�����2�������J�����gf^��K�N?|8����Q�r��Y�������T��P��):�t�����JF�w����F�5q3���m#�Y��vV��"E���;���A�(�&�c�������������b��VvL��o���{�F@@����g��F���3�������V���D��z��Bp��Z���ke�c���x��8�9k��C={9e<E��Z���P���0����E�n�p��Q�����<�k�� �z�j��z���"99����h4���6m���P\\���8L�>]p�Ey����-�X+���|�p*�k~�tp�ku��xH�z�r�����):��k��HLLDXX���1p�@DDD��39��������������{����YHH���1l�0����N???�t:���[p�b�E��C�xL:N=������C:���[�E�St(��H�G�� n���/��>��
^�^�G^^�t�b�������7u��]�nI]Y����//G��b��������_h1��s���.���5���$��.[����������I��3u��_�z>�jUN�����!���� ��P����:j
������pS0����9r�F���30b��F�WUU�]�v(++CDD:��� ���"66����|����4�������^���~��e]�>;��:�$js�~�z.���r����V�����1�����H�`:�-''��Gff&�^QQ������������jdee������0
�bq�Z���k���N���K�t�g/�����\K����A|����r�
�~�is$��a���q��A�\�0g����!!!8p����+�]���N�Z��m������}Z��P�^n��=E�+`v:�����Y����t��{KX�7\y���R�!��=O�X�C�$V�����S<&�����2��`���J �y�^?���]��-�����m)�>��Hm�$��<_sZQ�v����3����^Y��eo�K��~\��������l��(��.b�^��C������D�f���Y3t����4�~�t����0�����9���<Yo����ty� ��`,���c0�C�����Z�����?eeex�����L��4�����Y��+��A�K��������L��y����� ���)C:���[���dO��R�'N��mf�����{����O)s%���R���>O�<������s���l_�A��W�:�n������M�����):�y��N�8A�
{��6�Zn��<q�u��t�g/��P�^NO�����):\y��!O� ����@!O\�z�N:���S�t�g/������`=E�+ O�6��A���t�����b^I� ������nO��dt�)"��O��oC�8A!Zgo]+#���)C:���S�Stl�%{������
y�A�,hM����t�g/��P�^NO����z�%�Z���~w������I� J��7��nO��d`��m�8������������9���t�Q�t��`�9��)
�����8t�*++��������l�y�6��8A!q����[���#���7���>+;���7n����{#  qqq��g@��#11Z�����������ke�C={9eH�z�r�x����dO��Dpp0x����#**
G���g�5j�N��:�������3QPP���d���#==���������-y;��A�P�?{�l������������'�����[�n���CBB���^��={�������N���w��.���������!���)�):6=XO��g��m���/���39��())�K/��>�P^^n^��j��v��������������r�8�Hmn�l�8����.�d���T�'��t��W���z���Z���l�y�4����2�N�z���5
3f���#����R������@�v.(:�t�e/�� j�a*���c0�C�d/��J��viWsrr0|�pdff�pHHH@VV������������.��F����C���2�C={9eH�z�r�x�@�g��St�&��'���+x�����h��h��`��9��?BBBp����;$o�[��H�z�r��������t-�&�\,��m�q��t����t� B�;�u���I� ��#���s�=E��4h�������<q� B
�]�����3gp����oCnn.�l���[��H�z�r��������k���C	.^��}�����111���EXX�=y��!O� �������C���s�F��m!O�o�C'���)C:���S�Stlz���C	�v"y��!O� ����k�b O�6�N:H������=E����R!O�6��A� O��u��t�g/��P�^NO�����):\y��!O� ��y����w��C={9eH�z�r�x��M�St���m�|p������-%�����S��t��A:�^[D1W/w��� IDAT���m_|������������������I�Z�r����V�����1�����t�A���w�}��}XX���[��O?���Bg��)��8A!������`��5���sZ�X�[��H�z�r��������k�����z�?��3f���+W�`����q��M�X�`^|�E��VE�'� d��'���c���X�`>��C,[�+V����=n��[��I�z�r�����������p���_|���p���+?~<�x�
���#11pfU���I� ��#��VT���`2:=<<7n����9����_|�,X���O;��jB���C-{9eH�P�SQ��),F�E��F�+�F�1��h4rn��L��#))	G�E�=�z�j����n����	� Y��&>o�<<��Sx���0�|��������r������i��!..�������������ke�C={9eH�z�r�x����dO��
�����hy��uuu���/-Z���p�o�DPPJKK�����\�'NA��EO�E�F#�z=�����K$''����j��v���vK���`��F}y9n��9C4n�l���z#/T�=��������t����z������:j
����b�������
���CYY"""p���F7�v.�'� dA��4***�������;���dee���YYY�����v!�u��t�g/��P�^NO�H�Bk�l��'n�4L����������������"$%%���c�(�v���n��<q� B��[c�n�n���+W�e�DFFBCC�k�.�����~0�|����;t�����2�C={9e<E���):\���3��m��t�o��o`+����`2c��A�H�Z�r����V�2�9p�t������5q� B�&���VF:���S�t�g/�����\K���<���'NA��<qv��;t�����2�C={9e<E���):\����N:H������=EE�3E������!�C�2LEu;p�tPt���5q� B�&���VF:���S�t�g/�����\K���<���'NA��<q�a��S��N��d�o��9C�����t����z#/��z��
lc��	� Y�'���VF:���S�t�g/�����\K���<���'NA��<qv��;t�����2�C={9e<E���):\y��!O� ��y�����I� ��#��VT�����t O� ��y��h4��%z�����j�HLL�^���]o]+#���)C:���S�Stl�%{�W��'��h`4��������t��?/^Dvv���\�'NA��<qq���:�~~~��t��{���Bx�:�P�^N�����2��`���������r�Z-�]�&k�%uee0fg���7N�"R��'.1�-��$�@p�5U�I� ����`�^����`�1;�>
g�V��8t����PZZ���XH��=O�t�e/�� j�a�9��)�<qnl���G#""���}�����H����A��5qk,#�-�?g����!!!8p����+k���VF:���S�t�g/�����k�5q�a�w&��A� O����t�g/��P�^NO����z�W����m�U� >-_i�����
Q����jO:H� |�-����������@���C-{9eH�P�SQ��)��zhM� ��������������!���)�):6��=E�+ O�6��A� O�u���I� ��#���s�=E�1y�A�,�go]+#���)C:���S�Stl�%{�W@��m�'� dA�8;x�:�P�^N�����2��`�����<���'NA��<q�A����t�o��o`+��StPt:�'NA��<qv���2�����2�C={9e<E��Z���p����<q� B������������!���)�):6=XO��
�~�����A:X���W���7��nO�A�m@�'j��)C:H�,��[c�T�c��v�L�����Z'�5|�o���`Z�F���3�������V���D��z��Bx�Z�P�^N�����2��`s-�St����5
�Fc�����Gzz:�����/";;�w;������	���'$$���6l
{���N����t:v��-�]o�Cw���[�_VBe�l,��P�^N�!���z�?����):\�[
�F�z�yyy���������h�Z\�vMp�%uee0fg���7N�"R��'.1�-��$�@p�5��>���*��x��E�Y�OW����dgO�+txJ{��t�����!�8�s���u�0fg�����l�j:����*�k�eee�����C����R�������w;��nyG�d��+�om�.=�2bu��=�Lu�C{�Q�t(�?�����Du{B����M�K������$$$ ++������B����a{�������m�����2���u^�����pE{��NXo����t\?����u&G�T-J�_�>���6��}��j7E�w�����+s�������`������0���m(g��u�������UWK,�%�,���C�1����z�r��q�,�����5�wXK�����m�J�v:]i,���Lc9�7|�;
�6���e[O���1K�����`��Z{}�d�J�����!�;���]����n���^������a��[��D���Q}l_���
>�����T0�\��:L�7��������-f=|�a��6-��:���
����J���k���q<�����a��tp]?������^��z]��}����o���.�H��:l��!�
�����]e{�8���HG�]���m?s&�j��8[�I�'.�����s����F?gi��v��v��V:�g��[�M������'u]��K;j��<���%1���h�_������[^�B������k!doO�X��r�8o-YJaY�� n��Q���3�V�n���1l;�:��qF{��a���{)�0�zT��/h�u�`�W(R����-������-�+�G9�%J����P�H��U�m�r���|�*w�������M�Y�!��3
�������n����a��T������J��5�co��������zho���a�����
�!��=
9e��a{��������<q������43�d���Y\��r���q/g�-��m�RR�u"�M�������|��|�)�P.j��8b��m_���Y�E��[o�a��������Ew;CGt�?��#{:L�e���WZ���9����H�,�mu"����!�k�:(:�f�������UV�hKWM�(����KjD�*��+���7����AL�!;g '��t�eG"+���s���JhQ����=A��� u]����9�,&8�k�Oe.�|�Y��A�-\��Z���.T+�����s��Y����kK:-��Z����:\
�6H]��)�|k3J����!�f��5qGu�)��k�w���m0_.i������+�����g�h~�DR��!�W��K�vGt�����9��TL��bg��;�C,,���O�;D�+93by���:�}��G-���}�Y���>"�y�s<q.J��wl�n��.6 �\`�%�,"�y�5���w�^�/��a�?�:��"�y�i�
��������a[o�W�s]�������j{]��r���`�_��t�\�aO��z)���z��!��������}�3�����a�_�� �s�h�IeH���2�:,�Y�	��9�Vu|��$�{{�;:���om��:Lu���T��:�)c���U,^W@c-J�s9�rD���^���-m��.���+��:��n��5q1_�&X]K�M����8�������2&R"����9#�\�/�t�x]�Z,c��8c-�b������r6^?�n��k�b.�V�����:��N:�����2�"WW$>���;����K�Uk�BH��hM�-Q2:�/���;t%��� �!w�7`��{�����X(:�K �O<�C�2��W�Q������
y�n�R����m�9�����:3��Su�^��r�QW�����}uG�r]E�h��V���S/�u����7D��������tp4:]���V���5�I���p_���g��������Z��=H�cu�[�O�R:��KI���t��+���+��=z���HJJ���G��G�^�!!!����N'��?/q'��g
��C�����|,��:MOG�P�����?1�6m����e���?��OGvv�`�� ���?0}��}���!��:��;���M�!yb�2,2k��aSg.T�a:��'���R��>�:l3~��5�9�4�qg��X.o=������+��): �^��3b_~�SR���ORy�x�'��}{<xAAA(--Ell,


8mg�����{_��K�$\�(�����S��<=Wk��q��&W����m=�z�����E�W_S���Q�z/�a���������(���aax4=��9�%^1���eK����I�&����V���k�4"|����US�������?�5k��7���
�._��z��
>�����m�g��e�����]�L:H� ������{w����:��j������?��BC�����b:���W�^EPP�����u��	�f�2��={6f���. ""B�1��	~qq��%�R���!�C�2��-�t-�����<��~~������_V}:��b������,TWW#++�E�
�m�V�1n�9#�^R�!�^N�����2�C={9e<E ]�3��):�C|<Fo��8�N�������"$%%���c���v��q��<q��]�
��@G��rH[�����h�r��5q)�>}��usu5� �.�A�����@8A�n� � 7nD������8���Gp;���w���������01o�<h4�N<|:4����������y���S'�w�}�k�R�\����7#&&������;6o����
��c���x����j���������5�
��q�F�^�z����HNN��*|���};6m����b����=z�k+j��~��Q�Z��������h�c>.�����i�&TTT0��O�e[���/����kj>-���GFFJJJ������4�T!���>�z=^}�UL�>��5�
������[�n���CBB���^����W����#<<M�4���/o*\V��Q]]���4�\���5������`6���.��}�t���`��y���|||\\K�������>�����I�OKxx8����Y>�������s���h
�SRR��^z	|������U_�F���@L�0���.��xlu��9/��������I�V��h�^�G^^�t����	[�����g���������5_�����6m���f����d�$''C��"%%}���k([����<y2BCC�{�ns�0�A�Q�9�G}iii2d�����W_�����R|��Gx��W\XCqp����O���n^{e}
�~Z�n�i�����c.��x�t���#!!/^��E�0a���>B�1w�\�t:�L:\Z^y��Z�
W�^Evv6����Z��K���������(--���>���!
��������#33#F����U��;e�����4i��G�I�O�������Y_��w�TTT ##111.��x�t<����Ly�>�.�@mm-|�A�N|Z�;maz�*Bmr��-�����>}:Sq
�;q���._��9�v��ef���tl���g���`@tt4�����}�},�����h���]W~~~x����x�bDFJ{b�3��q��u��� 77������0h� �PB���!C����'�x�5���;v`���(..Fhh(������z�5��>��M���`��)h���>0%{!� 7���A��C�8AA�)4�A��B�8AA�)4�A��B�8AA�)4���Y��
��d���O�������G��m�����J�m4
�,Y�!�����zBO�����h48}����B��^qh'$3g�����/~��W\�r��U",X�z5n�����W��*�;w�D�&M�z����qB2_�5,X�6m��e���7o��S���5
�y���G��!�!  ����h8���O>Axx8�������m���~�K/��~�����G��={�w�F�>}4<��W�^h��5f����/���_L}�U�V���3��������T���c��oX�q4��)))Ahh��r�[�������wo�6��U�1c�`��9���w��6m��~�
����9s�]{B:���8t�f���C����0r�H�Y��f��9���0~�x\�p:t�����p�����^��E������������x��7QRR���{���+����d:w��;v ""�j��C@jkk��U+�{�F���24k�����&l�"�}yy9�6m��9���m���������<������;8�Gyyyy���G�V������ysTUU!((��E���g�}����������������4�������D�=\Uu��N�g����:u*JJJp��uL�>��j�k�.TWW#''�Q9���4���s�N����0�x��w����Z�����K/!11���n����+TUUa������W���oc����|�2��[�[�n���0a�4&L@uu��kJ�8!�3f ,,��_��sgh�Z��Y�����N�:���N��h}�9X��s����!�a���8p `���V�m�F������S�����%K� <<�����c/�]���7�@rr2x����/�����:�u��u���k��x�������]h:� �Q�������c���8r����C0�i:���� D��������GVV���C0

�AB�l�hM� � ��	� �M�5���[���Eh��5�y�fDEE!  �>�(��?/k?&.\H��/^�c�=�V��{EEE���7oFll,�Z-����jjj0u�Tt�������P�������?bbb�e���������
>� ��O���O5-���&w�������m�
)�����^�)��-'N���Kq��eL�2�����'O�� y�����O�O�>�����a��Y�z�o��F��={6����`����~�:�����ZOKK��E�PRR����?^p?|�������_~	�^�	&������m,�G�����,�}�;)))������O?�QQQ������IHH�������Gbb��=��]��w0x����^�F�A||<�����{w$'';M3�������?����}���`��1�?�R��z����N???�t:���W�>''�;wF}}=jkk��I��]���{�;w�jkB���h��	|||�����������5k� **
~~~���/�_���7o�\{� 44���:t(
e���wVEE��]kN�*���f�BJJ
rssa0�w4:���?���>�����-_-��^y��;�.]BFFt:���O>������_��[�:E/���E�0n�8���b������Ry��w��K<���
��{�v�1p�@h�Z\�v�n�F��� L�4	+W����b���F��]�i�&����,Y�III�j�=z4233������_|������"0�(**��S���kW������U�Va��Ah�����:u_�j~��g<���������sO?�4�=�M�6��������������_~���x��g���o��[�n��?��C%�C��������R$&&"88X�~�.]�
64��!�������;v�`0�=k!�F#JJJ�p�B��4
���p��E|���x������G3f��\�W�^��+�zjB��������?���1g����Q?>� IDATb���8v����B�Y���X�l�����S��������op��Q|�������M�b���HMM�����A|�p�]w5��x����7����+0��=>Byn�����S�L�z�***�f_h��q�����?�555���O/h?~�x\�x��������K�qqqVv4��%%%`�N�|���=��_�f
&M��+V����U�V�>7n���%K#���w���~���P����d/���&M� ,,��jHJJ������s���;v,z�����j������0i�$�9��������3��F����[�����1c�+;�6���<���CRR>��#<��C��'n{�����!C�����:u��+,@JJ
F�������D|�zff&&O����"���a��%Vv���w�M^�����/_������&O��w�}7�����������>p�����X���noS�n}}=V�X����S�AA�����J{E-[�DLL6n���~	� ��a"w:M�A�t(�� � ��	� �Mq���������������|�Rs����;�/���6�6�����brk���3�H�9/5=��W������n��#<���|y�������-5;a����r>KmcoC(��P�n�����?�a���������+�_��;q�����O?��%KP\\���:
�������4=z�������#�<b.;y�d,[�;v�;'���������mJ��*O3�=���������ccc��)����������������	���4���y�&����?����f[�������>����k������;[m�k/��B�l���������Y�f�����O<����w�u��\�&L�SO=����?��t8~���\���q��y��������b�v
���~k�W�f!{[,�yo����������������O���=�r>Kico��o����W�b���HNN��]���Rrks��3��r�:�?>�~�i��|9����:�J����������#](:�7��s/^�������<�|�\���V*;q9���r>KicoD(�9W�n�����?�a������^��+�_�:�k�Z���������?G��\��4���?�/O3�=B�����N�Aj�t�;���6�6��0���-%�����>�����rr�s�%��S��g�����$4i���M3o���N����/6_�f>{�;�0_>o���<��N�s>�1��7��i�q�n�?������g���s^(��s l��������AA�����AAH�2�A��B�8AA�)L
���� � ��T�tZk�L��������>�6l�T��s-�a��-\�P����y3bbb������l����\jv!d{��fq��-R�s��K�aj6Q�]����0B������������4,Z�%%%�������H��.�S��5
>�����#,,��oRm�lN�8�>}���������@@@z�!���8����N�3����w�,{��!�Cm�&J����=88C�Eaa���pjjj0f���?_�}xx8�4i����}����DEE����Q.}�8}M�i�����������3g��s���7#G�DII������
���K�.!##:��)u'�a��[������g/u?�}�m�D�v1�(**��S���kW$'';�������.]�����e�d�$%%A��b����d2&��`���xrr2�7o���DA�_�#G���w�m��^Nu�-������������M�j\��	�,]�6l0��[3fV�\��W�b��;v��3)9��p�'.���;c��5���?�����N�����|�r�|�P���R�b�+7;!���
��r{q%%%`�N�|�2y9����v�/��g�0���s���F;v:��N�B}}����3g0i�$<x�r�����HJJ��'������p�����!j6Q�]L�����������t�w�oL����,Y�~=�y�!,,�g��3�<��Sv����R�t� �p3(w:AA�9Lel#� B<4�A��"k:�Q�l?����	� �1.��.fP�4���/��m{GDD��,��������S��C�2b�{2|���m������a�����}��~�������V�E�~��f�T��y*|�SL{���=l�����e{��so��%w�k���FFFb��M5j


�n��x�
�w�}�����o���������'�|������g�?���n��N�:������������|
�ZY���g&����6��n�}��~��
X�f
��o�;v`��Q8w��q��{�
����^��Kj������rp��8����#G��W/�n�Z��(w�s������k��5g!��H���v�Z���{�����.5o�7c�6w�Bm@9���>���t�����������M������O�9���_q���\w�����k�����Bt����>(w�s����j�*4m����'Xj����R���������+6m�@z�bo��m���^ng[���rt[#���k4a��IX�r�����{�������\J����R"w���m����ol�Z�j�^����������V���k��jkk����R������1r�H<����9s�9=`mm-�w��/��=z����,@||<����i����a����!!!(++�=fXXV�X���8p�G�����eK���[�z�T!W��jK,�@L�Y"�
���'#���@ee%���{|������=�R}���:�B��/[l������������u��	���CUU��]k�Y�6mp��q�m�;�9�����oj�e��'�����qqqV�MS�R�{+\mc��
���-����stK�3|����������___\�tI��J�=O��|J�a.�]��������3�hV�A��%K0n�8��������x���1h� TVV�O�g�}�I�&a����;]E���0o3��]�t)^{�5+���LL�<��'x��%���)����������#F $$���7���p�
_������~%�����>�g��o_2EEE���V�Xa���]��=o��|���6m���[�/�����u"��NAn�N'� 7��5q� � �C�8AA�).��N����	� �����������/w���/^�c�=�V��{EEE����YL4��K�W2��'�w^��#_^u{����>���$�M���{m��s d{�=�����N����h�"��� ##��SAS�`�^�	&`��Q��y�����O�O�>�4����z�o��������c��R��[�;/|���;b����c�"%%��1��qS����Z���)�oj[���D����\����Z�B����p���p��@AA�������U+���a��=��7���'��	_�f�9�����N???�t:�������?|�X�����=	��b��s����/7��H�r��`��J>����:�'N�^��N���	���������h�o�>�����a4q��U,Z�������e��y�:���-6G��k���B�����k����,&�:�r��������{��/��-B����HCj_�����U�9LD��={��G�����s��������x|���������;� ��g�!**
HLL4�$\��1c�r�J\�z+V����:~�8������x��3Gp?���0��c��7a4QRR��"55U5-���9�j/�m�	��"tkkk�l�2s&/!�.]�
6X�0��>"
�}A������r���x����7��s�������?��#���{��_�~�1/^���/c��u�u���c�u�]^�>g���Yj���}����?FMM
>��������?|�X�����=	��"t�����������t��9�o�j[%�!;�*_���V��n�h4�����	p��Yt��YYY��_�
���<�7o�SO=�#G�h���t�R��o��3f�h4������b�
TWW���
�_�����9w������3�p��)G0W����B$%%���x����z�j�����/������9�g����:K�G�w����|�Bm�������{���k�����n�/��+������76H��m���m����m����)�*�N'� 7�r�A��C�XA��� NAn�G�N'� o�#s�l�T�n��!�Cm�&�.l�T�H/�!�_��� lQ*W������aj6Q�]��*�'f|v����Me���M�<��-C��q��<x���Gaa!���?���x7$""�BPPJKK�����R�C����M�]�D�v1!�7�����1�;�D���q��y���0a�L�4	����j��R�������
�P�����P������{���/�9s��
C���1b�����R�������
�P�����P
�q�' u�����3�T'��ruK�aj6�va��EI��&.���km�������QTT���4,Z������ru����
�P������:��e�tG�� �S���A��0�&n�y � �;�� NA���W�Z�6m�HJOG��	� o�%���0o�<����3�4���7oFll,�Z-������^O��C��rt���k}������B@@}�Q�?�����s#��������>������������2%�L����[�JSRR����wL8�
6`��5���x���0j�(A{S^a����c�"%%E�~�P�n6�z�O�8K�.����1e�����?;y�$������G���������_~	�^�	&��.����:�����"**
���Vw ������7Z�j���{#77@����[������u�wg��h��;� 88�<��������'Z�n�w�y��TU"''�;wF}}=jkkEg-������k1v�X��C��o�>�t:���A��a��������F�����c��O?������1c0�|���M�Y�QQQ���C��}q��u��y�n9��2

Epp0����B�ur� >k�,��� 77��|���0q�D��z�t:L�0��iq������qA��]�F�APP&M���+W�*�j�*4m��uh??���]�\��-��q����������w�}]�t���?��*{
�/��"���(�(��eF�EEE8u��v����d�u����o����@�u�Vdgg���3())��	0m�4������Kh��9*++��];�������?��/\�i4���Y��V�ZA����L��*RYY����|��y�����Zt��_|�z��!{?�08|�0Z�n-��L\�R�C�C���o�>�3�����i������G��2�f��d����Ac�d�����a�d���W11��-M��c$s�q"���L�N�6��(
f��Fh���������u��+Yh{�}��{���]�y�\�������ry-�{\������^l��[�l��}�)}.,�^N�����oK2��#�<���\�t	���>�=
������Fz (�-[�%�f_�z�*T*T*���e�9}�4RRR�~�C�C�X�[�B�]w���Z����AII	���q�^�d�1��f�����	��^�155��tC��
�b[�<��###������F@SS�������b��5}	���999p:�^��}�%�Kk2�PQQ���{���!�I���Cqq1���`6��ebWT����{����PhQZZ�#G���=���X{�8�`�f<�w�%%%���[���j�r�'O�GFF�{�'�����x��n
�U��������(�v:Q�S|����'DDN��������~��f�{��g�DD��@1��o�Z�B���������c�LeR���|9�-����s+�F�8.���q	����%��_�~���a2���o�avv����Y�g}�����J\�t	iiix������
�����������#??_����E�����+W��*�����!ye��(���eI*���N�����O������8p���������8x��WQyR��V.��2q\�I����I���c��������C��b�������G��������y3�����������������}
Q||<���������1������ql����LJE�N��B_�v-ZZZ����crrR�����^����122���V���]�_�jz{{g�( ���\e��(��eQ����N��gv�������l���n��`0������t��6�hjj�������9v�������{�
100���R���B]���T��� �^*��c�LeR��x���v:Q�a�t""�0���DDDa�I���(L1��-�F�7/�p�?->&q"�g!�������V�������n�C��.�6���`2�G�]�}9y�$��]���l��]]]���6�6��M����/�Osi������w/V�^�\b�r;_�X��`���@��������\�X�7n���e�-�I��hddd�f�A��A�����'�v�q����}�����{Buu5�z�)��]�������������V2���T�����?��g�bbb"�/I{b��{��Z���;>b���~����X,��/�(�	�8�sV�V��~�z|�����������x�3��?9��m3w�W^y�999�����������F��zc��X�V+


����������(�����twwc��e���BOO222$���_JBB8���D�������s�|�
%c[,dee!::yyy����?������}��W����S���o@��{����?)))HJJ���>�UL�uq���PUU���hTUU���S6�?b�G*�?���^�������L�Tl#��&6oA��"�b��5��`�Q�������100���W��3�y��#G�����
�����u�p��i��z��b��RVV��������oUU,���#��gO@���O>��;w���n����s�N������B��`������>CRR233���{�����I�����������%_�#V�\*���J-���8�\�����N@��'�b/Dtk�
������� \."""011��g���w���f��nGuu5^~�e�Xr�����Z�f:ELL���q�=�`||j�CCC������@RR&''E�)��Z��������:s��x�	�F��n�������(..�/��@����b�;33���������������}���b�����e�����H�s���.������+��������0���������m�6�����q��t"99����>�V��w�}�F#:kX q��G.�������'�|�7�|�|���A�cIf1#��&6oA��"�Y�b>��s8�N?~�kYKK������*�t�t:���bzz�N����X��i�N����Fnn.rss�v��{�b���,�������m���3�`��]�	�b��`0�l6����+���nX�V������$�~�_����\<���`2��������j�G��[���W�^�J��J�����d{)L�D���o�>�����};222��/��k�V�QYY���FaYyy9rrr���������:����^��V+���p��!a����C�!--M��P��b�inn��dBjj��oB"==������Fvv6bcc���._��������RDGG�����SYY������������EEE��q#���$��~/���h4�h4"))	���^��g��������.;��.�������������_���A6N0�G.�����<c��U0�0��������D�x�\����\.��f������__�������DD�|��/Gvv6>�����
�$L�D�x<
�����������8Q�b'""
S�'N������R��i�&�;w���(**
:F �����d[���������]�#�~t��_IDAT��b'R���X�����;���k��^?�dZTT4/���l^�QB��|��N��}}}^�Z�g���������������*�,SSS�l������N�������b'R���D�\�yI\Lrr26l�0����296�
��{�����""33?��S���ha1�)@||<bbb�MI	���?��s^�;��.��o,�er�v�0���ew�I1�hi�/�H"""��C��"==.\��	��{���5���������o�O?��/_FVV�����B���DDDa�S��9&q""�0�$NDD��������8Q���������]C__�R�������NDD���CKF��IEND�B`�
sdb-week123.pngimage/png; name="=?UTF-8?B?c2RiLXdlZWsxMjMucG5n?="Download
memory-week123.pngimage/png; name="=?UTF-8?B?bWVtb3J5LXdlZWsxMjMucG5n?="Download
load-week123.pngimage/png; name="=?UTF-8?B?bG9hZC13ZWVrMTIzLnBuZw==?="Download
diskstats_utilization-week123.pngimage/png; name="=?UTF-8?B?ZGlza3N0YXRzX3V0aWxpemF0aW9uLXdlZWsxMjMucG5n?="Download
�PNG


IHDR�$?��bKGD������� IDATx���{|U��?��.Mi��)�P����Q.E�������W�� 
��KYP
+���x��?W�)
r+�E,AJSK����h
-�t~HB��$s&3���y�^}�I����3g&g�93�����p � BS\�pMAAl\�p���hf��[�n��� � ��[�('� �B�8AAh��	� B�4�nBA�?��m��#G����2qB�]��7�����Ak��9r$F�����������C-?@Bq(�Z���6D�p��U�8q!!!���B��Mm�r:�7�?�!!!�M7��;����MCDD���f�$6�z���+>�:	�6Dpp��i����M�6HLL�����sgA{��	�b�!�t�N�<��>�&�	;w�Dlll��#�,�������uk@��=���t" �l������E�0v�X��7����e����c��AGBBV�^�[^NNz���w�y��{�K����_���\N��8��)((����wt��x��p��y�u���b������Ftt4�y������~��GHHH@xx8n��6���/�1���.]��]�"**
S�L�����_�zs���M7����H�?���.�o��6n��f��;�/_��O?���(���c��e.��QQQ�.]���������]�vEee���������3��K���`����uHEh��u�]X�~��������{wTUU�|�������;���g���?���DQX4z;6u1p�@�������3n�8dff�~7i�$��5g����m����?6���mx�����HIIa��~u�f�1_����l6�X���&��zf����;�����{w��9St������s�p������8s����\l����`��8s����^L�6�c�������q��Q�?������������������P��=�����~����uN�1������������w�^����h��F���?������?����w�m���������������
����C
B����_����������������F?�w�y'���EEEx�����������,J�X������m��!�Ph�UBi����?����(���7�����{�9�5
�:ujT��%K�x�b|���0`S����|�g������gc��m�����KHHH����.��=z`�����������{���'����h�����N�:���Bp9r]�vX,�s�=����			��q#�w�())�_��X,�nn���{={����[u�������<�������G��_~A�f�P__�~��a��m�����������e���-o:��m�
6)))����������h���K9�~�-��]�U�V��������1w�\�7����#�<�����^5�i+���N8��w�}��#Gb��m��R�iW	�p��9�F��������kL&�����[��|�b�
<������������������K~��A�1QQQ0���BYY��rKJJ��K��.]���������Q���{,3..�����b�{������;.����;.���6>W\\�R�s������z�������q�F���������s��f���P���=�z�*������{�QC�u\MZ�f
�{�=|����C�a����4����c�������g���HJJ��n��X�v-


�x�b<��3.�o��
_}�U��Ww�5k�K�.9���~_9�<}�Q���{�n�;v,&O���'O���
V�'~����H�:u���������)^��
�x��C�8q�e�@���QQQ.u8�/�������;��#8<��C~���������w��n�s�����1q�D�2Z�j�.]���/�Dhh(���.�����o��M7�����i�Q��A����Oc��}�t������'��K�p����1�|�	RSSy�&L���~�
uuu�(�����m����Wc��%�������/��K�`�Z�����|��M�<y�Y��?�_|���}WSS���P�x��8u�T�ou>����>}:��?����c���3fs�����+(--Eii)f����z���O<�i�����G}}=~��W�?����z�Q����1c�����q�w�f�a���C�~�x�y��G��K/���.\�+��"�><m�������X�lf���n�A����d��9�<�����}<\�1��������t�����������'���`@�����kWL�27�p���/���{����"**
�g���~���c����u+>��s,\����+V`��-�������-�<���<x0��"���O?�{I��w��+�����(�}���:zou����Ddd$����:�|���d��A�������r���/�/�F����HL�8��{/S����h��z���[o��v�^Lf���Oot�����3��gO��/A�>}#�><m;h��)�������z,��;�@II���l��1(..�w�!Z�X�b�
B]���N7�D� tc!!?�0�����+b�N���F��A�@CC>�������t8�p��==bF�8A��i�������O��	�P���iS����y���x��N'�.�+mWBN�������� //O�\�:q� �P
			8z�(v��
0�HHH��N� � TBhh(���?�|�7c��!� �B�8AA�Ow��A��5~��p��!�� �V�.��#f^��|;�-+8a�f4���GDA��1q�>�UEE�**���>
t8A�@��6�2qT�G�����C$�?Z��]MAJSSS�c��9�-6����7Z�h�k��L\h�_�����d�F$''�j�z���]�����e������k�|e�AG�A���������$9rD�^S������f���dBQQL&�cu!�����;���_��G�����Gw�����g,��'�u�={VQ{)>�C9{)>�C9{)>z��k�G\z�!.\@||<�7o�����[�n�p�����:q!233a6�
�����F�sO3�]�������j/��t(g/��t(g/�G/:v-��K/:��M�6�X,���C]]�����MA{]t�������Aee�����Z^[F**�x���r<��/����#��aaa�O?��������{y+>�Qt<�W��'Yu���O�a�)�=|��O?a���L����w���D��t(�`��el��q*5.O��qR�q�^�[F�;�s������*dff"336�
������z���"������C���DII	
�������7o.\�����x��T���0�g�C&op+G����a�w���5&{���Z���g}'���g|~J�����������3&�>�����Y����v�Z��t�
�u��������o	��i[�C�\:��k�v�]���x��E���}=q]d�IIIHOOGmm-���1l�0��{�uGr���;��:��������c�kS�ruH�g��V������C���~%���Z��tx;���� ����[�g�Il���[�~�|���=�:��V����V�q�JMM
����}�vl����������T'�|g���iii��?����������.����)��k3���Z�=��rl����;�A&���)1I��C{���r2�fJ�a?f��]�x��R�3�Z��}���m�y��o��	���������]�v���;w�D�k�x}�	92q���w�a�S�,��@����lIJLR|��_�]�^t�w��L';R����c���C�vc��G�[1�T�AP��.'j:C�j/��tx��%�p��C9{)>r�������f����[�=q��y�{1��+Ayw����S���L#�:�~��C�:H�x���~���#��8��L\�:�>����zw:u�n�]{)>z���.{%c����������R����S����g��5^Q���-[b��1bF��N�
P'�5���j/��t��~�-�N�@���^��`��v/�/u�f�����%�u�M�/>��m�6�?!�����Caa!JKK����z=�y3��	��j���X,���b/�9��������V�B~~>����vQ�:����-��������[x�Yt��Yu����z�>�u���i�e�g��WJ�'�����Eaa�l���9������E	�������R�����E�'j���2��q�fj�G���&Ru�z<�>w��l�:����X�{[��o��W�&{��m��N���&{��`+#��K�q�!����:�o��C{��_Yo:R�)�!����j%����8�\j�:q7�<V���P�^���:�4��<-�������u�YJ�<�W��J)�M=&.t��1q1Y�3�����3t)>��P��Vj����Xi]����3��e������3�r���^�Ng�:q7�~�.�G��/���r�R|���}���T{�=�u���w��=i	�������{q��1��������|t����w����F#�������V+���a4��������`=C'�	�1X)>�C��\�A���V���t������E�(((�������?���wY��]t�S�L��E�`�Z1m�4���f�������"�L&�������>�C<RV6R����E��r�R}����Xy1P:�^�Wn��&4III���jjjp��aA]t�


�����;���0��

��l��������3t%|H�8���$����,��YJ���W��K��W�2��f��s1�f��!22�{����C�t��/_��?�<bbb�{�nTVV***0�����Z^[F**P�g���Q�g�z
2���N�vy?��$���W9u���`����������������|������\����?��$����G�~%u�
��r���E1��	��������+�������p999��f���������X�f�q�����b�l6g�X8��(�7}�t��8.//�c��w/����Y���O�Rb��#�����s���)1I��U����<Qz����m��Fu������y�������:��b=�X�������l_�`��l�c�rL��	k{H�.����[lr������.##�����t���q��������'�x������t���"==��
�ZN���������kl�y�
==_-�]�z��u�9�J����
Z�n�{��<��{�9@ZZ������hdeea���^�
��2�����p�Wj�R/wur��tB���d;r��������,������111��kSY�z�N:X�������3��h�M�/kj�w�r�}�|w�x��8����m"����Er&J�)��C���h�]N�����u��xjQ�;��Q��!���'���R&~������3t�}H�2���f5��{���1 1u������hB��9�8�Lc���N�
������ �!��{:��L\�:�2&�)�N������(--p}��������~�i���x��>/��Z����W�t����^-���������L���S����X������Ev�������~���7l�Q�K��i�
���B:���J�!T~nn.
q��Y�JMM
����}�vl��������v��s�R������������g��s��<+����t����!�|N�^���,u��{N���`����nL���y��9�����V����/��cw��a����+//�����;v��9q���X�\>����.��>r��\kkE=_���%�w):�2&n��_�|@`t��?"�. >>��7G�����[7\�pA��:q7�4V&��P�^�=_���������{'-u�@�P�6m��b����uuu���C�6m��w�2
�� �!��K�Q��e��E���>{ j�� ������Bff&233a����_?A{�����:�P��!�@��<�5�P��3X�+?v,����CnZ�l�`��1b�-Z�����i��m[����6mX�V$''�h4"99V��kYz9C'���w�2"-���'�:�:7�e�B�E�l����O]t�S�L����Q\\���#%%0k�,�L&�d2!55�kYZ<C���t(g/�'P:�eBj���]{z�ZH�t�j/um{5f�Z�������f����X������dff�l6#44f��w��Z������!��K�	�����g�TJ�s�K{��:����G�6�L��4i����		��f��fC�f�����_�b&L�����'b��e���
DDD�F#*++�^-/�-#
�����iq��}����_�VQ{�u��9�1.�������oc����t�II:������t�L�"Y7�_���]s!���U�'V{��J����_��=��s��X,��#�k��������1�����i�[>����:�����`����c��+�;w������{����������{wa=L��m���+--���_�u�����l\xx8g�X8���Y,�h4z��E.�N��:QC ��4p{�bt{�q��B
����)��W(�r������6��E
�!�\_t(q�;k���%�qi�����&{)++p�r��}RR���Q[[���t6�kYz+��C:�����v93:|��o<�u�R��U���lo�J�:�2�8��_���6]�'�|�r<���(**BLLV�XHKK��q�����c���^�����\>�C���s���!�:��nT��s��[�
g��������G���qn�c�*�!�ndsG�����7����������Gq���bbb�k�.���c������������)�C:�����Vz�����Ie�l�QG �E'.'rf~B�Y)�U��t�o��K��Q�Lgj�!9W��;�P'��\��gT�>���P��Y��f����u���P&.���gLz]�K{)>j�a_�I,j��������[4�C.5f���_�u=q����j������^����U���Z���+
r��1�����y�O5���#G��u��HJJBRR�9"h��x]]
QZZ
��cj����^Kbb<~�p�������x��K�WB�q�Y�eFo�~�	�^C&oq���������oz�:������W��!��p�K�}��H��I��:rssQXX��g��WX���d/r��'{���cz���w/���:�N6��O:���������y��������<��{\��B�'�����m.��xX�������-&�~�2I�R����i����Dn|>��b�`������d/;v��>����s���\vv6�c�}O�"'z����9���CI{@�c�v�7Tq+GQ{0���\�����d�'%�������b]��ZO�G�4+��/:��e�]�R�@����U���C��p��{���]��m��Y���[�k��8������^2
��\�����W��c{�E���V-:��:��\O�z�r��L�t(We~�3?���[{���L�Ru�\
�s�A����`p���'n�Z��������dX�V�e�%�#��A��x��#X�PO�k���$�!�$�S\J�����N�vm�t���]�v��'���5&�	EEE0�LHMM�Z�^2?��\���G�:��=�d���Z���S�3�J��N��E�a��I���L��f����l6c���^���i������no��&�w��w��Lu�I�'%�SPk&�)T}��8_J��:�~����������������F>W��a��@CE�����bA��= ��z�>&{�_�0��$�=K=r���#L���Ch{������>a�ux*OL\����!f��C�����Jm�!t���[��{����}��G��D��-����x�^��b�^����t8�S_V[F�;����@�n��^���{��HKKs<S�C�!22%%%4h


x}������S��-��^<}�6�b�������3$����/7b��U��z�(��M���:<�0 IDAT�������v�z���*F��r���=���j�� x'�{f�n�::�����P__��P|RR���Q[[���t6�k9z�#��!EG��^L�j������1��O���0&��}���O��~G���'t����?f������4�����������������1?_|H�r��>J���\�R�R|��!��B>��F/�4�������P|zgE7����~�Q�\;&&�v�Byy9v���N�:y-G�g�� ���}��U�^���R|��!�����/:������RZ�;�o�tg�����)o��84A�3
9���H�!~�lu�P�^�O��!�gl���nhO?�Z��
��W�o�W+�Cw�_G����d�r��L�W{)>�C9{)>Z�!u���%����E�����#����+R��L��`=C�L\9{)>��`��C�:���|'�3X���C�8#uuu(,,Dii)����/l�f���-Ro�XD-z�l�����t�}�fr���^�]�:�n�@������Ch?��~%u���{����W��O��c���H�(I��.����\�������#Gb���0h��)���?y��u���/��9q-=_
�C�?�����-���b�g�G�s�R��\�/������g�����j������/Y�-���������������+W���o����8p Z�n�b�����"X��H�+�~nV�~��C�������^�O�����C�:���DTT�w���m�"!!��������lcevHGc�:A11�wR�����d��Wr���q����d�����t:t��re�C��������N�`0��L/�:������S�G�b5����t���;�������D�'z������m�6�����o f��O�:��-[���	�3tgH�r�R|H�r�R|��Pg���5�����$O�j0�����A�a��)2��;


X�`z�����[;��Z�HNN��hDrr2�V���(�P��!��R���P�^���V��s�>�u���L��N�f��f���o��P\\��s��+>Q,Y�6l���q��G��f���dBQQL&RSS���g��C9{)>Z���9�����`Cj�2�	���������Y�j,X���{#$$��yff&�f3BCCa6��{�n�e�:�P�^��Vt(9�8|���B'
Zi1�1���9p����^;��7"!!�q���2�Z(**Bff&"##����o��PQQ�����hDeee#�����ed����{� >>�i1��!C���/ju������+�����ct�IU���+l��F��h����!5.��OH��au��v�K�~����y�����^�$K\��;��V��g�1����O}Yl�r�|���6�� 999\NNg��x�"""�O>������	���h���_����r����"""8������s����l��b��F�`��O�8�����8l{�z����.����}�	����x����t��W�']�b������_]��{}�m[;�!�]�jOu����#K�y���~�����{�(�|��7v�Gw����,q�i�q���������5.�����*n��u��fs�:�eddp��L���+������iS��0�b������nMJJBzz:jkk����a��y-+X���E��Q�A�u��hM���X���V�b�����M�4&~��U�8q!!!������z���M��e�����V� �d���X�t):t���_~���. --
���Gtt4���0�|�e�u����Ch�Vn|?��l�w�=���t�"4���3���>��#�5.9��6��������o�>\�t	���8x� :w�,h�u���4��\>W�
o;v���[}�]�v1�E������;���K���%�.b���b�����@��������^]��/�����s�w���������������=!F�{��U��A:�C:�������2q�����'h�t7���o:�����C�:���~��U�hQ��-��U��2q6t���?�����;��|�Il��A��E��������8�a�;-��Ck:�.9K���,gR}�5�{m-q4=c��)S�`��E�80w�\��3G��E0d|������������C�Y���k&~���}���O�:���;��j�
���W4(RWW���B���8����zl�f&���|X,$\;�k�R>���/^��<�����]��{�����1���}��n�@�`��u|x��z�>&�>a����j�������B�={�&$''���~�3��{/y�<����������QSS��>����*��y��p�BE����� �gj�=f��B-���}i1��^�����Ybr/�_x�+����c�S=����'P�9��)V��	����j���c��uDd����>�l���-[��[nAMM
�/_�x��B�c~BH��'�"�A�Vjl�gy���!�M�~.����^t�;&����s�;v�����XT=_-��2��P�,��Z���C���{���x��=&��.����`=C�����V�ux��X��8Zi������|:�]��]�r�iO��������X��U��$X3?��]��-�9����r�{��k{-�B��^t��x��Mq����+W��Iu%��K�:�`X�V$''�h4"99V��kY��i�C��r�|>��{�D��r�R|��Pg���ko<`�,X�������DZZ������v��Y0�L(**��dBjj��r�!���2q��Y}B&o�L\A{)>z��3����@������/���=z�g�����_�j�*?��Ftt4���0f�233a6�
�����w{-'X��)W������S&���������EG ��������/�DII	����a�����#6��l6X�V=z7�|3&L����@DD�h4��������r�22�PQ��={��={@�k��!^�F��D��-��Q�O�._���:��w;o��oq��d��������0p+G��o
ml�-.�������%T�V�+5������u����u�������+�������p999��f��		�N�%%%\���9������s����l��b��F������9�����<������0i�����<���`�I���1�y�Ec���M�vw��[�x�	�67*�E&m�����sO�=�4s�����'-��`��k��+���P�q�q����8Y�+�c�K:���eddp��L�c���)I����x�b$&&���������Z���c��a^���2������?'.t7�\���N~%�+w=j����Q�X�^t���3�<���4\��>��/�w�w��
?��#>��#@ZZ������hdeea���^�
���`w^-LJ�|N�Sg���[�����t�e/�G�c�z����6s�Lpt�v��4B����`��]Le��m��S&��dd�fls�c�����gl�^���s@���:�f��L���-�����?��Y��Uk����O����������K���@��\:<�z���5k�
�W��p�Z3
�f~
�As��G/����3q!�6������n����Ob��
�((��^t���e���K�����-e���L|��)X�h8���;s��Q<0QWW���B��!!!�/_#��y����������g^�^)��Z�ao�����wy�����z{x����R:���������|�
�x��[��u���\:<�*�#77���8{�,������7o����r8���r-[����r���9q->_�q�yN��`�=�+����;!�|���������=!�'���8a-ZzN���C����v�mX�~=����x���q��w*}n0h,Y<z����Kn�(|��Y�:�J��������P�X�^t�������-[��e�����[PSS�����#��@c����5�]R{���^-���^������#x}N�c��������*�V<z��m��gy��Pm{�s�j��uf�z��37(c����M-��k�v���?�������Z��:�����P�~�3����@ ��<xD�v�0p�@:t��qIb��0��V����0�HNN��j�ZFPgL^p�A���U��u8�j��������Vn|�Q]&>m�4L�8EEE�8q"�M�����9|�0>��c��f�������"�L&���z-�2&���|�A��
kj�����=uf�r���t���'��O�e���8q"�g��'���HIIi4�{ff&�f3BCCa6��{�n�eQ�$�����u8w�B:<]fVK&������`����L�������7�x#�^����X�3g{�1qk���
DDD�F#*++�^-/�-#
�����i���}�����e��_����tx�]s��U�:����Q��j�����U�s��������[���}��5��k�{��~.��YuH�KNr�K\�ee�ed���c�7!999t������e>��J���3����l�����C����4�e��7.T,F��u�V��Z�a��+�9�jO��E�{Bq��7����#Zh�8��kI���:���+��u������^��U����\���&%%!==���HOO��a�������!���r�L/c~�C<j���1q��e���I������1q=�������#::YYY�?�W%���$j+�����Zu�qL\/���m��%3�Ac��Cw���U�����������s':u����2&��A]a�2q���=�6�G\��KGw���P�$���+#����L<d������e���N�
���C:����_f:SS&n?��L�
���u�nP�$�����u�:���2q ���)W7���l��!�!�g�v�1�_M�C&����A�w�uuu(,,Dii) $$���/��$&���2�7���a��������g�WRG��!??G�[iN�s���Z������t��d=>��������p�<�T{{8��
"�����������v��w�%���\�����;999\NNg����o����q\^^��m�^&{)u��K���6;������$���L����6kJ�s���I�=N����1}�\�'��1I�����}c�
~'����O��]��q�������^i���222���.�3qw���[�M��2����<���t�L����#����6huL�}�m_C���:�'V��MKj���d�=�n�O���[��b�8f7�3&_|�qL��:=&�7������i��e��Qc��:Xg����gU����$�����y���!u�m5�W@���N�x�@��x��i�5�W��Z�;A5���~�_�b&.WZ��u��o�����Gxx8L&233V����0�HNN��j�Ze����E���n�(Uf�z����%�Q�^������pi=���P&�b���;l��EEEx���0~�x��Y�`2�PTT�����T�ek������K��^��$�'�Ch�X�:��%�Q����j&.Gj�����t���bL����\�|M�6Ett4 33?��#BCCa6�1h� �ek�D:������3����R�O�d�r���L����2q�c0��S�b������
DDD�F#*++�]-/�-#
�����{�����}��� �ZE�I�g��5'5���������6�kN��Z6�j���=���`�G��T���t@�{�y����CJ\J����]��:���`����c��oBrrr8�����+����l�����*�9���8:t���())��A�PPP��;o�<,\���~�~f.���@���-.�jC���]�����Wk�h�q��Z������u���I&>c����M�4ql���$���������6l���hV�:H�x��#��������������@��1�>}��d2���}����U�iii7n������^��kY�:vI:�����4&.gC�:�.2�����(++���{1x�`@LLv�����r����:u�ZV�fL�C9{)>z�!%�{m����=����Qe��CWc��@c��������k-�%�E���1� $X3&�����g`���|?�j�`Yu�m.{g���*��y|�2q�C�xp��L\�Z�3V�f��qkU!��D]]
w�8p��E��m��d�������=��>�Zv�u����B5���u���	��y	aU�������Ouqi]Gnn.
q��Y����A�xp���UO�)\��'���U��*W�O0�P�X���W_��1q6��#P&~
�������^2q��E�P��UeL��A:��:����Ze�l�QG �L�������e�v����e�>��W_a�����dBff&�j�"99F�����Z�^�
�3t�����`���L\�������F�@����c��+��k��X�f
������L�0����9s&�����������-�2���2q���L\����L�>��������HJJB�V,<���	�����P��f����kY�1)W�O��p���L���(gC�:�.:q;���x�����o***0����l�s����4TT�z����3-6d�b�Q�O+jO:<���9�zi�?�\�w;o��-���Auqi]G}Yl�r���..�@vv6�����g��G������C���DII	
���^��t�����\��}�K����j/�'Xt�]���9�P��K�}_\��.yX������=v-��K:u9]���U���k���>�w���|������s���:u����;4&���:�y�	�Cc�>��3�����=z4.^����4���������������Ec���A:��:�<&�K4&��u]d�r@�xp@��:�L��:����`=C'��K�	f��+���V/:e���L<8�L\��
`���L\%�:�P�^�O��p��)W�G��^t���A�xp@��z��-C�x����Caa!JKK����z=�y3�}~~>,����C���kY��u��=�_���}�.j^�Z�#??����..�����Eaa!��=C��5(('B	(W	�:VF:����C:������:����#P&~
�����	�P��UB��������������E��V/:e���L<8�L� %�L�������V+���a4��������`=C'��K�!��K���@��^t]e��6���~��	���u�bv��iddd��R&P&N�P&����0��

��l�������:�P�^��P�^��^t��`��#�����@DD�h4��������r�22�PQ��={��={@�k��!L�u���������������� ��hhP]\Z�Q_V[F�;����qqq8t�"##QRR�A�������~9�b� >>^t����!l��8Y�`���,:�.�kQ�u�����k�G\z������������8����S��j�*^_hL� %�1qp�3�����4����������������ce�C9{)>�C9{)>z��k�1qu��L�(('B	(W	�z�N:����C:������:3X����_�2���2q� ��2q��g��C9{)>�C9{)>z��3����@��x]]
QZZ
		 ~����&���|���+jO:��O��zi��_���2Duqi]Gnn.
q��Y���~
zN<8t�s������u���|��:����04&��8AJ@c�*!X���E�rT�\�:���t�G/:u�%�EG �L���AR�L\%�:�P�^��P�^��^t��`��#�:�Z�7n>����c���������L� ���=��l���3���
J���Y�`2�PTT�����T�>�z�.VGHvB�C$�A:�l:|�CM:���8-������L<����~|��;���e�gE��x�.]���?2-E��n����IDAT��)V�?����!��t����=_�����M��>s&�*{}�L���%����
DDD�F#*++��������7���Q_P����c�����-�_�D��"�����j������������F#�����3��/0^d����xc��u�_����t�IG��"["����tH�K�:zW������/(@��H�q��8��?�u'��m[���"22eeeh�����=z`������������q��)����������LLq���j/��t�%|H��t�Z��^td��BC1p�Dz�	4
e�gE�c�IIIHOOGmm-���1l�0�>;vd����I��X�`���C:����C:���������u�P���&�Y������3g0n�8���8�N�����=g�ji)�^�d�eH�� �B/:�h������n;v�{�tA���x����	� �A��
����0p�@����d2!33���jE(�
6�����ag��0�N<B:����������G�h������m�����M�6!11m��E��}�i��G�!�}�������{��%%%��:�������
�W���j����1a�����x���;l��EEEx���0~����O����������x<���l�?�#�c��%��a6n��.�^������k�x��G�!-S�L����Q\\���#%%%��z���E��j�b��i�&�����O>��{�Fhh(�����U+����x��}����I�&h����T�jAHGmm-RRR��G8Bqx�����1c����0�QzGH��U��`����!!!��;b��E�a��I��
!-����h�_U�������;v,Fw�W1���x�����o��\���k0��S�b����N<�:�����{C�	pdl����l�Z�8z�(n��f�_�������������DBB����G(����~@xx8:t����q��b�
L�0F�'N��e��8�u,_��?�<bbb�{�n���
u�*%;;��GJJ
���n����xm6JJJ�l�2<����P|:�}�]��9�1���1X�����}{��5999�N<|:��m���$�>}o��&�N��(���=�������������O���?Fii)222��SO8J�������p��1���`�����zH��
Y�jz�!,_��<������P�3f�@ii)�I�&~_��!UUU.��j����\�p�/Fbbb��������~�S���=�GVV�����_�E������2����^�xj����o�!55UU�)�s�*�/�;w��e�s���vl\H��_~�y�����}��AZZ��!��y��w������P������K���D#����
'N����7�xw�uW"�������FJJ
F������}�v������111�?>����D(o�H�0q�D��1M�6��^� B��d/A�q�'� �B�8AAh��	� B�P'NA�:q� ��(���N���qA�u�A��+W0s�L�t�M���#�z��@�D`0�b�
����i�}��`���c08v�X�C!<������9iii(((�����~�
���tH�V�^
���z��@�Bx`��h����V�"���1E�x��f����������i�h|i����`�?��ODEE���n��!�!<<�/FDD��������}�]����s��.?R�V��s�N<��c��s����n�
������w���o���������}{��3���F(�1e?���k���h�^x�'OL�4	/����O �N<�)..FLL�_�������c������r��<��SHKKk����o��N�8�����3��=�;�.]��C�0{�l:t�.]<������O�~�)�q��l��)Sp��)t����,j'��;�������7�t���h�"�;w/������p�B�@@s�9={�������������h������`@yy9�7o��x��EV�����@�f�x�'�a��mx������[��#G���}��EVVn��6=zm��E�v�`�Z��E��� 22���OC|��.]�3g����!!!��������C�b�������B����?x�����+����UUUHMM�F������X�jU#?�����'���;��k��f����^s���k�w�y'{�1$''�m���8����/PSS�
62t������K����sX�~=8����`�������0u�T���8R������g�s�����[��gO�F���s1n�8���W�^U����p��q!Bv���#FF��rs���c���?;.�@zz:V�X���X�8q�e�Kj�����/b��	���;�?����^@����~�z���/�����@�]N'�P


���o1g�dgg:B��/���6� �c0�.]� ===���:q� �C7�R�1q� ��(����f� ����N�~������������;`4q�w���3����/��_?������o��}��6m��A�`41d�dee)�%Xam+!{�r~._��W^y]�v�}r��7r��%�fq��ZejC!6m�������c��������������$�Gh
��D�����n��v���ow<?.�7�|�����Z��:u*�����/�����j����_v|N�k[	���C�3o�<��?����[QUU�8���5O���/�nt�R��P
��3�������s�0c���9��)�^N��������m����dgg;�v)4-�<�����lFhh(�f3�������O?EBBBCC1x�`TUU����V�B��=������z��C���	��o_L�0���	k[	���C��v�Z,\�={�DHH��r._����z
����D��1%R�������sL���;w.&N�������qv3e�<���(,,t�;Xh�ZBy*++�#F�h4���R�_YY���O?��cV7�����H<��s��������.��_�5k�`�����X�J�^j�����`�����B�^��q�FI����k����������cJX���7���O?�������1E�?�)�v��1~��<����������'O���1c��E<��#�>��1�������b���m�eee��};����'~��g6C�EZZ��s�����b,Y��������z��E�E	�m%d/�����L&�>}����}�YI��������/]���A��<����>��~�
%%%HNNFTT�S~������b��u8|�0��Y����z���������k��u��_K(������;�����x��w1t�P���~�)�{�9|���x��WSGN�2�O�F��M��iS�={���m%d�Z���dry/����\��i�HiC������3f8���1��N�y�;%%��v��+��[o!66���{��k	��w{����g:v���{��d�|AJJ
���q��w:��x�"����:t�����?��?������T!��_���:���0u�TG��i�{�;����O�!��[�n�#G���!C0{�l�9�$���m��3F� �P��N�N� � �*gl#� �;��A�FQe'��HAA+4wz���vqqq��<j�9�	v��D�y���m[$&&b����k�#B����P{���������:6� =��������Pm6&M���'`��\h>g�9�	v��D�y�SRR���o����/��)S��G��)���!�4�=;�kD�nc��M)�z�t��?����H0����7��p���]���Vh�sV��T'�j������E�&M��M��K�.hNn��S���(<���(,,��/�4��|����\��$=b&��s����_��Q�p�M7��np}��1c����?w����+N�:����#%%�g�A������;vt|f?�
��_�S�|s��������[�n�<���+0z�hTVV�m��.m������[o���1|�p����c��	���b����0av��%�/�R��h�������<6YP�������E�3fN�<��p����z�\�))).��y�����;|m"�<�O=�>��#�����?t� iNn6��)���@jj*rrr<�!�4��|����\�&+��;�cV����_�=z��g�A��_���������\s���N�#�&r�so_`�~����s�
�1|�����j�X�����j��^>�ZG@�cS
~��n����It���e����~/��B��irss���;��>�g�A��o��h����g��A�=\�<7�n���f�92�;������s���U+�u��6Y�`���e����[n����>|m%�&��/���?�3g��s��X�b�T��c�~\�x�����[]���k'�����?B�OB�����rl���NA��N'� �C�A�Q�'� �B�8A�A��>k=~��P'ND#��L��1)O\\JJJ���������`p���|�r��x�W?!!���>|8~��w�q��U~��e���+�����9����g��^hs�x���P�B1��M�	��	� d�{��8y�$z����={:�����W��8EW�W��g���o��s��a���9s��r��*�7o����`������u���|�,���a����*_(>��)<A�8A��g�����dBff&�u�_�dL�6�����h����:
B�.�)Onn.���N�����[nq���f���w��C�p�
7�Y�f���F���=��i�!����x�bDDDx�������w6l����d�e{Z� $$�aw��Q���v�Z,\�={�t)�������>�+GhsO��!�}��k]
��!{fQZZ�7�|�1���s1q�D<xeee������GS�u����B<��s0�����PXX��]�z�S(�'�|�&M���g�x�bG��>����'6m���b���������gO�������z
iiix�����5�����O��-���?/��y��|�M<����������QUU%�wJJJ�c�DEE�W�^��q��wl6��9�_��z�r,�#��P9�s��F��������*�����x���\&�aE�d/A��Y���>���Kq��444 $$UUU��u+222p��Ic����5k�����[__�v���f��`0���-Z�@MM
:u����r�k�V�-Z���K���&�P<���C}}�����X������������0s�L|��������_��q~/�����������4:t�k����?����<�9s�4�*y��}x���p��	���=���;��?DRR���0~�x�:u�k9P[[���h���������8���Oh��=JJJ0h� H��o��/��\�t	�~�-�x�
������P&N���{wi%����@����Pba@��R�(����F���� V�]���W��%�����6�AD�l�{�\7�$��K����3�������2�
������=<??����a�E�����e7M���������-m?�(�7���8E�������///x/�N��v�0x<x<������n���[[[���E���`mm-o�U��0��alll`~~��8���-���
���/�z��v��O��Z/�8e��	���u,--ahhOOO}������Ru`yyccc�-ooo�����v#�LZ��:
~���.��~@��T_Q��x��������OB��rA�$��Y�!IR��h|Q�v���^����XXX�;������-fffRq~~~���---P�������9N�s�kUU��*������j���m��k].B�Pj�Y��h����B!������*U�/W<v�G4�h���{zz����6�]\N'��ggI���uGGG�F����-w8TB�:;���*_kk+dY���Y�C��I��*����y��qO�����������I������'NTf�@555������%��$E�=F!���7�H���sss��Mv�$��b'��$!����	�x����&SEQ2q�H$b9���ED����*@WW4M���w���@ ���G�A����mv|||���5g�`0�P(�X,f{|"*-&q�
���	]�3��H__&&&,�3��O$�����]Q���bxx�����'��b'�mmmhhh�(IX]]�D"����������u=�X��|b�X��E�e���DT�O$�UUU����(��r�pss��	?�\vO���6�����}������������DD����DDD�R�DDD�$NDD�PL�DDD�$NDD�PL�DDDUuwwg��qh�V�X�����j&p"""g�g����3�QIEND�B`�
#22Merlin Moncure
mmoncure@gmail.com
In reply to: Миша Тюрин (#21)
Re: Re: [HACKERS] high io BUT huge amount of free memory

On Mon, Jun 3, 2013 at 11:08 AM, Миша Тюрин <tmihail@bk.ru> wrote:

Hi all hackers again!
Since i had got this topic there many test was done by our team and many papers was seen. And then I noticed that os_page_replacement_algorithm with CLOCK and others features

might * interfere / overlap * with/on postgres_shared_buffers.

I also think there are positive correlation between the write load and the pressure on file cache in case with large shared buffers.

I assumed if i would set smaller size of buffers that cache could work more effective because files pages has more probability to be placed in the right place in memory.

After all we set shared buffers down to 16GB ( instead of 64GB ) and we got new pictures. Now we have alive raid! 16GB shared buffers => and we won 80 GB of server memory! It is good result. But upto 70GB of memory are still unused // instead of 150. In future I think we can set shared buffers more close to zero or to 100% of all available memory.

Many thanks Oleg Bartunov and Fedor Sigaev for their tests and some interesting assumptions.

hm, in that case, wouldn't adding 48gb of physical memory have
approximately the same effect? or is something else going on?

merlin

--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers

In reply to: Миша Тюрин (#1)
Re[2]: [HACKERS] Re: [HACKERS] high io BUT huge amount of free memory

hm, in that case, wouldn't adding 48gb of physical memory have
approximately the same effect? or is something else going on?

imho, adding 48gb would have no effects.

server already has 376GB memory and still has a lot of unused GB.
let me repeat, we added 80GB for files cache by decreasing buffers from 64GB to 16GB.
there are was 150GB of unused, and now unused part is only 70GB.

some of links i read about eviction
http://linux-mm.org/PageReplacementDesign
http://linux-mm.org/PageReplacementRequirements

mikhail
--
Sent via pgsql-hackers mailing list (pgsql-hackers@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-hackers