high io BUT huge amount of free memory
My first message has been banned for too many latters.
Hi all
There is something wrong and ugly.
1)
Intel 32 core = 2*8 *2threads
Linux avi-sql09 2.6.32-5-amd64 #1 SMP Sun May 6 04:00:17 UTC 2012 x86_64 GNU/Linux
PostgreSQL 9.2.2 on x86_64-unknown-linux-gnu, compiled by gcc-4.4.real (Debian 4.4.5-8) 4.4.5, 64-bit
shared_buffers 64GB / constant hit rate - 99,18
max_connections 160 / with pgbouncer pools there could not be more than 120 connections at all
work_mem 32M
checkpoint 1h 1.0
swap off
numa off, interleaving on
24*128GB HDD (RAID10) with 2GB bbu (1,5w+0,5r)
2)
free -g
total used free shared buffers cached
Mem: 378 250 128 0 0 229
-/+ buffers/cache: 20 357
and
! disks usage 100% (free 128GB! WHY?)
disk throughput - up-to 30MB/s (24r+6w)
io - up-to 2,5-3K/s (0,5w + 2-2,5r)
3) so maybe I've got something like this
http://www.databasesoup.com/2012/04/red-hat-kernel-cache-clearing-issue.html
or this
http://comments.gmane.org/gmane.comp.db.sqlite.general/79457
4) now i think
a) upgrade linux core or
b) set buffers to something like 300-320Gb
my warm work set is about 300-400GB
db at all - 700GB
typical work load - pk-index-scans
--
looking forward
thanks
Mikhail
Attachments:
_memory-day.pngimage/png; name="=?UTF-8?B?X21lbW9yeS1kYXkucG5n?="Download
�PNG
IHDR � � V��B bKGD � � ����� IDATx���y|E��?!8���!G�$��Q�5��"����*�.D���* �D����
��"�~7/]]q<QT���%r��� �����������>&==��~���Lu=�T?S�UOU��A�}�]3� �(������� � BUUU8z�(BX��A��Y� � 4�y�f O� � �� � "@�N� � ��Y� ���m����O�0A6�<q�
�����&L�� p��7
�� O� � lDcc#~�����3V�K�8��q89r$���q����q��W�gF�e�<y;v�����1l�0���}��Q�O�8A ���+�m������B����ot�����"��q��i$%%���/ ���S5?y�����U�Di�V���>(Jkll��e�p�%� &&3g����g���6l@bb""##����o�����?p���#""�\s
~��GA�����wz���^�za����������/��K/��_�o������^'O�����q���s��I��>��$''#"" x����c�������=z **
����QRR"���Azz:bcc1p�@<��������(�?�<���X��;uuu ��6uuu���{�������j��WAha���B��� ����QRR���w �������7�|�(���>����;w����G��K���l����m���'q�������=>��c|��G(((��)S0�|!VVN�>�����GAA�/_.*s��}��s'��9�GyO=������O=�������g��3�/Faa!�m��={���N����;vG������h�"�����QUU���w���_��^F��s'v�����\�����k���,���"77�|�
���+�q�����@�{w���A�(v�h�8TWW���^��m����oc��)�<y2f��)���|��<x0 ����F���#G����� 8�<bcc=�z�����
@\\�n��� >��n� �����M��;��������#G����n������kW��SJ:t(x���w�C���Umu��y$$$���c �!C����?F��� G�����5����� @8����>�2[�n�:|�0���
{)��]����f|����0a�m���K�������4����7oFnn.����y\.F�����������5 �f.Mkhh�� �������2��b�lll��O>�x�p�������������.�[�n�������Gll,bccQVV&/**m������l-��a��m&��������"������-����� ���8t��N'=t��s����9s0o�<t���#O�=p��!TWWf�?cbb���/|?~�8���Ue&N��N�:a��e��{7���n��!!!8������\t<)) ����?�g�}V4�?}�t�����_~��3g�r�D��cbbp��I���'De���O
�^'N�@LL��]�m�,�\������� ��ww:u����C����cC��{�����';v
���1s�LS:o��V<���())AII }�Q�v�m�2AAAx��G��/`������b��.��W������r�p�������5?��3���@4KPSS���Pt������ n��6,Z�eee(++���E�[�^ �p�B������,���S�czl3u�T����,X�@t�����EZ`��G���={"55�^z�b~�� B=�F�����w�����w��I�&�*�/�bbb0l�06=z����+88DZZ�j�5k����>B�������1c����t�MHKKCll,�.]�
6���[��"66'N��W_-�]�d .��":#G�Drr2:v�(o
{@JJ
���������H,Y�Dt\�m�,Y���p����������^+:�����"-���N�"@���;p�m���P������������k=���"p�;�ml�`/`455��7����Gq�����:X�p!.\���:<��c>���b�m��;mi����u�`����o��x��7����W������/��������<����J���w ������������Uw��t:AA����t��U����/����#F����t� �� ����_| ���DBB�b~�� � �&�����+���Elc�BAA(��A�MP��.u�-�� p�u���&AD{En��1�BC]>ky���-["3� � �������8s���:�������A����6�<q�9u
{�X�{6l@������{� � ����������+o###�.]�����'����U�a�����TDFF"55.�K5���� +W�DBB"""������lY��?�$����
uu���'}|vA�����/��q�0n�888p@1�-:�������^�-^�)))8u�RRR�P�J�<�V����[�y�f�����W_}%�{��ux��q~�4<���H��3LY�N�9�V��\��C����-�~��"���!���1j?�TUUa������#:v��A����J1��;���Z��7�J���o�������"##C�^����q�F�[�������_��>EEE�����U2F�j���2]v���z]d?s2d?s2F�g���09r�����������������e�p��w�:��]����^���TM�),,��� �C������7�����#G����E]����\bm�%z��u��W�+���+�G�#������B��P�q#~=x�t�8l�0�9s��o����Q]]����+���P.��b477�������_?���111(..Frr2�?���3t�P|��GBG�;���j�zdee������#GDrZ1"g��Q��;v�"���E[����E�3'C�3'��~g���U�Y�P��������3��_?,Z�+V�@~~>6m�����b�
���/��������|>\S'NAz�U'�uw:���>�������s�N����v���-;���y}�Q�5
'NDTT���l��Q��#G���9�d���m�bg�.����g�.��9��9��3�������� y�A�Q|�����HMME�n��� �~�)n��FQ>�{�����C����X���gN��gN��gN�_��������@�8Aa_y�����O?��k�����C����X���gN��gN��gN�_�x��]�������c���HJJR�
�'.@�8Aa_y�J����y���(���(,,Dii)r��_OD�����h"����������V�cT�gA
�a��Xy^F�XY?�����>���;���t��={�4�/���L
y�-dee������j��HZ������N�}��k��iM\��#���Y%cT���e��n��f������l���,�����1]zx��2�2|>jn�����X������<��'�:9A���N9o\���w�Z���H;z�A �����V�W���C����X��j��y��2�3�Q������ Zgb�n���"���v�4�������_s2�������,�^�N_+�T��z(���V=j:�'��W��W_}���hDEE!22����y�W���C����X�������k���e��)���K*������=�?s��~�a������?�/��{����c�T_�E�x����VO�J��ze ck�Z�&+h�5���������%%%3f��8y�
�}tH��9+uYi��������&�$g��g;��:p-k�r��?s��~�'$$111������y�}'^__�'N������ ��:>��E��D�Q�_�+�����2�������� ��0+����P?w���Z>r�u�W��J\�*'������F�,�e�~������~yyy8q�
a54���N/;���������Y%cT��'~���]v����<^~��:��l
r�7���Ll�-cT���h�;z��a���o�.j�t�w���3��[�5q�������z�]�uq�JZ����Fk�
�}������X��*���<��_������5q#�����E�����@�8ag���[r ���_�N��<q��}tH��9+u��~�|�������x�R����r+u��kN�_��� <�� O��� �B^�q�6���5qa��!y��d��e��������C����"��.j�x����9qz�4����h?'��3����qj��_[��/����ANN>��|��'���AMM�b~�No�����35'�+�i]�����R�R��gNW{��/�����[DFF��� �c�����W_}�(='.��� �Bk����� _��N���?Fjj*:tpO�755��O?��7�(�Gk�
�}������X������X��8��N���.�����#GP__���z>|aaa���o�<q���'�[�����N���������O?��� ���xt��E��<q�>:$O������7'�Z�8�����A��z+u�����+���0~�x�?III8y�-�'N������q���F�}tH��9+u�'nN��������E��oa6El�y��]!O�:�'��KO��O>AJJ
v����� ����q�
7���'��4����'���\��DK�����i(�U�eD�������9>�^S>����h(��9#��tY^���u ������~����O|��7���������7�`������o�<q���n=��zi���r�'����ihM�����hM����������Y/c�.��o��M�O ��[ O��#����� ��'n#�>:$O������7'C������kN�No1S�<��'�y���<qB+�����0b�DDD %%��o �\.���"22���p�\��<MMMX�r%���$dggk���G������Ry��d�7'C��9��52g�,Y������u+|�A���c��Y���/-Z�+V������q�b:���>�m��a���<x0�����3�`�ze��<q���'��#'��KO������/��2����: 88�z���}�vddd 44���/T�y6n��u��!>>;v��A�T;p���7'c�.������WHQ��^�J]���8��/������q��p8p����~����p **
��wV�^
���@TT �H���R5�����fr4���z�F4UT���ND�E�/�?��O#r=OVZ�����[���eD�������s���Y��)�9�����f�����mU������������7���a���*8;v����*��~�Ng���`���x���q�����{��ELL����������+��:}���������ZQ?�N/;�������oD�*�r�v8��u����-�e?�����F���cD�J]��.�,��K��.o2rS�����M�J]z�����o��������? ���c(//��W_-�g���!O;t� b��qX�v-jkk�v�Z�;V5�g�������q��466������c�Q��J�����Q]v����g�36"c�.#�Q]Fd��Y/c�.��3��a�p��l����oGuu5������xbb"RRR�t:��s�a��M ����c������v���'�|R5���G��Q�0q�DDEE��;��������ihM�����hM���]���j��X���'`��t����t���9�A�i�:��O�F�}tH��9+u�'nN�N�8�9���g�����}���K��:
�����R����������9]ze���{mJ�_ �?��X��_k�z�N\��G������Ry��d���K��l�0�b�t�%=�_��� �����_�Ak�-��8a'h-<�`k�z�K��i�=ph�����m�5q%���q�� �1��_O �M���G.=h=��&��H�����������[^�]?#z�����I\�=���3������JQ{W'�z>��#��Ogb���f���o��e��I����%'w�K����o^^N�8���BX
y�-��'�����K?���mw,��
\�yq9.��%m��>�;�z����Zhw��PZ;�������1�r�������i��_W3��)w^�t�jMM��W����55��tiM�z99-���ut��v)�&nN�_k�lG:��u��]�r���&������3���T��]�jz4_QNI��[���
3*��;�n�������;�z%9o��]�z���nN�v� �A�E;N�tox{�\FG�r�y�.��rNZG�J;i�x�,]��])me$/�[��<qs��~J�
y��d��;]����t�l���"�M�������_C���k�*u���<o��#e3k�v���mQ���dk��'O\���8�6�7'�/O\��8�<q v]k�Q[���rJ������� $Z���ee]����Z� c�x9=��&n�.�����'nN�Nk�������Ik����f�Y��YV�4=udrZ<
i�c������>�w$��I^�ff��_2V�"O\����7'C�x� }N����F��>����T���t!+q��yV+��U:?��Ll�x�>+q��S�|��~j�Yzz�z��L���OZ��$4�>g����_BtG��k���������'='���O�0�_=���q��W�z���xYYY��o�]
B'jQ��F�����Z 59%���� =H�?=s�z��9�_�{��ELL��������#G���/������:����5I�;��t��%��.�TZ�����}m�-���g�t��g�n����Z��gbcc1x�`t�� ���Q�O�x��Z���3��5y�w����RTE�"�$�r��C������>������_�~�4������<qs2fu���y�i�����9�T�*<�9
d�N*E����*� �'��k�Z��2����� 2����>��s
�������m�����~R�O�x�����]
���0oZ���3o_��Wn&~����O����'L� zs��Lv]�'nN�J]�~z;p5]a%�����N���ZfXI(��9E���y���3'O�������O����6�t�Zz��������@��K����fe���s��dZ�~������I��*v?��g���_�HB��2�kQ]�� �^y ���2V�2j?-�TK#=*3��WrzdX��Yc�j�����uW�g�'.���k����X��*�UE�"1�����G���(���W���g�������y�J�>��UK3R?�z�/�}nF��Y��9?}���x�����^�2�����\An�%z���,�e(��U�eD������������fwGlF���(L>�a%�H������6c?j��,�QV�:<6h�G0gB�p\.��~� Qr��s
{1"��fM�� L�����6��tS�S�6���6�9
M]��J���h����\[���������r6 �����_������"gD�������~r��eG
M������~����lc������&7���m�6mBFF `��Y���������v���\�&nN�J]�m�A9Q�&5��=������!c�.;�O�����8���|Acc#:��� �9s�������?��3X�p!>��3�:u
���>�x� �V�N�}������X��-�On]��g\�J]v�����,
����\W���5��'Ob��8�<�
���w�O�>���N�w��%%%X�`���g#::�s~��'����vk�O�S�v�
�b��ti�C�?�v�[�x�/������!C�x�J��y:�����w/���� &��r�g��>������<qs2V�
d����N*E}��^�;�[{��t���U�{7�L:���2�����'.��5�z����.���?a��Yx��'1�|$%%a���>��] O��3V{�����<t�p����������r����O ��Y��:p����7'c��@����q��E����;o^���ky�/��3� ���/�Q�3����?���'��?<q%�����r�����az��h)� |��=�o��J:~ IDAT#F������?����k��Y�4�������z�1�s&6Z����h��P0����+��K�){������cdK�u�C�����mj�w �U���8���<X~���I���3�7W
��V�V��'{"i� ���Q�|��/��O����^������+��3�`��)���FAA&L���\c����� ;c'O�G�W����2rz���UO�[{�������k����uCIII�����}������X��=�O�n��1ml]�b~%��E�����)M�����F7o���2V�j��5e�����I�0m�4�{��������KQSS����V��!O��3v����nuzG:a���_~�e|��G���+.��r���`����^Aa��!y��d��E�3'c�~�{���U�����f�.j�d��'�^ O��3���Gi��lH�[{��CS�Q��}�9HII���� .�������Djj*\.�j:OSSV�\���DDD )) �����c��!y��d��E�3'c�~�ut�?��[����9�@��u�O<??]�v�Y��}����p�\HOO��Y� �/FJJ
N�:���,Y�D5�g��U��u+6o����"��������4���o&������R�������6�1���/g��P���~v��R�?�b��N��p7���p 99s���Y�x�
���#44���C�n������###�������_|����q�F�[�������#
���������<qs2V�����t.d?���
n9
DS��1����F��e�|-C��9�������Q]]-����EEE����yE���p��w��g� TTT *�}�EFF���R5���������������M��y
����y
t}�Py�=F�:�Y�+���+��+���u�H;w��g�~a%����;�-*V�s�p��`���U��d?�~u�����7���a5^7�
2�G�����g:�U*�������c����6m �_�~��w/bbbP\\���d?~\1�g���������pw�lP"���Ll44�bD�*�r��.CSJm�����Mmd?s�������B�--�������R���zc�?��1c�`��������"�6m���S�z�j��q��a���������k1v�X�t����������#G�����G�j����ihM������~�d���FKT9���2V�
�5qF���1}�t���w�y',X��n�
?���O*0�|�����[n����;����c������v��%�EM)���G��Q�0q�DDEE��;����5����4�&nN�J]d?s2V���fgx['�Y/c��@Y���xSS>��<���G��}1v�X���YR����'�����a%������o�*��Nojj����q�UWa��
X�j�m��_|�^Q�����<qs2V������D��=�-H����������~��X���x�#F�@�=�x�b\s�5�c�6���v�"��#�@'�/���W�^����?8�6����}tH��9+u������~|�7�t���g�����W���n�
������c����0a���0r�H|���V��U�����'PZ�r��
���y#r����1*����n=V��=V���K��H��s��JB��S{W'������>���p�� ^xL�*�����*,]� p�=�`��e�9s&^}�U���{���/-�lkB��{B����1k?=���~�ty���^O�����z��7i>i�W��������~r��~���RW�<'��������iwd���(�K�.���A�^�PQQai�[_�����v�Fa�������r)l'�V�~W��\ohh@�����sg @�.]�����������(�M/��XiW+�������9�&�\*��pR)�'Wx}7�/��55�2F��~c���8���.�2��+ ���������"i�a%�H��(��^��z����J�LlT�O�aG����RW���+z���s�.���+��������y\�l$,7M6('Jvd�4"�3RW+�G��F���c�sj�����E�n�z�7����� ���n��u���{���OO<D-��_�C��TE�
�\|�)MgL.��/;�_��t���I����^$�%�����E,����R��U�c��FT�����vsp%�:��k'+�!%�t���1('��������p��Qt�e��@�OB���Gip���������Y�d2����/��IFZ���z]�4��5I������@�����5����W�{N �������j4Glk�dee�o?����S�N��TL�G��5i�S����/�9��,�L�7^|����4h��I�$��GK�F��U������:����V����"rmD�M[9�F����x{%�s7�i�,~=L���\��K�hPN�����p�|���qPN&����(Qy�'�T����+ ����yX��s�����pr7V�����?�9H� �1�zJ����/J�gGx]�����c:��yP* n��M��9����o�Z�4����c�=���=��~�� kScz�������f?�2�&����mj�������L�Tok�k�yZ����~VA���7[��D���;�9�A���{>����7��9gb�i=ck����������p���%*g������B��|$�$T6?+gl]����;�������z�l�Ia�|�Y�Y�������y��{w�X�{��Q9����a��s� !U�����w���v�Z�����v�l]?;�Oz�|�'����q]�6�QZ������
9
�arE@��l��e���F�z��u��P��@�B�k�����^�����3���~$��m���i(v�93���r{��v�D� �����2V���gNF�~r{NU��B�������>�������c����f?iL������"}���������:�
��[ O��#�i����CQ^g����wu�6���"j������Em6�[>��������#����.4='�����;�����|a���:��/�g������;�
�#l�rIE�-��{�B������:P�����#���U{f^�#������X���d��ai7W��������h���O�3�o�<q��L���QfKfO?�D?�3��vr24�?|�����J��E{��!M�z���������<qs2V�j��S���w�E15�eJ���:chC)��������~���E���qk���,3��o�XF.�_����9�<��'�����#U���:�s���\.���w%]r�a�;�F�m��/d����`s2���Z�e��������B$������d�����Bg�LlDQ�;�ql\���1)��2E�4/#����nge@�xj ]�fe%b[�����^����L��\An�%z���,�e(�U�eD������BBBD������,/�E15 Al\���Dl\BBBP���m�qOi��oOv�p��e��w���Y�K8>ey�������S��:�-�=���jt�Zj?
�b�t����hM�������On�XiSXk��\XG��m
����<0������*N��1)�!!!8u0X��:�?s�����9�N�x�&N�
~
�udV�P��K\nC��r[k���W���'Z�v_��5qs2V�����tv�>'�5n~}{Ov����]LN����S� Dk�l
_�~zh/��N2V�
�5qz�L����rV��32gT��m�^�'����Y���M�K�Emc �?s��~��<q v�'nN�J]�f?�]���KF��<q~���{���>n^�n=�����Ry���G������RW ��H�4�����`����qv.�<��J�����.=�����Ry���G������R�����������s���^�����t �ut�P��^�J]��(v�'nN�J]v��Z�4_�2#���c�=)�
HN+ou;�����!c�.��i����o��L���3��=F�F;]��1Xu^F�XY?_�Ok�-�KN+M �
������u�
JS���;����G���Q�@��v��.C�j1�)������zN�F�}������X��J�������I�Z1��g�� ���v�z����~t����[ O��Z=q��}��0��h��'n#�>:$O�������O-���$lW��hjm�~Fd��[K����2V�
O�������x\.RSS���T�\.�t���&�\� ���@RR���5���;&iw�9+u�_�aU��J�`�}CC�no����h��dG(�[nPE��^�J]�;]#�������H_�x1RRRp��)���`��%��<�V����[�y�f�����W_}��>v�'nN�J]z��"���tz��������������c����O��7N��^�J]����fM��p�:����c��=���Aqq1���q��q�t���x|���������� �%j�&n�9oB��z����om#����PQQ���( @dd$*++U�y
1p��CV��g4���z�F4UT�:�)8q�� �3o?�I���y�!Q:�)'����W�DrZ9����HN+�����0ey�l=��#�S��>�8,W�|�>'_}RS�!wmB�s��� �}����px���� 9��c�]�������_��� ��g�([.��}��5Q~-�Z~_#�KN+��(w'1��Ey��a�{j\�@y�l��5����w��\k����
(/����&�H�O�>W��������=����2To��_������������q+��:}������/E�g#q�s4xzB��k�o!���;x�r�PNv�l��� �����p���bV�4��i�� ��zU�� ����U�����KCl\���R~vl�+����E�z�>