The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Опубликована 61 редакция рейтинга самых высокопроизводительных суперкомпьютеров

22.05.2023 16:50

Опубликован 61-й выпуск рейтинга 500 самых высокопроизводительных компьютеров мира. В новой редакции в десятке лидеров отсутствуют изменения.

Тройка лидеров:

  • Frontier - размещён в Ок-Риджской национальной лаборатории Министерства энергетики США. Кластер насчитывает почти 9 миллионов процессорных ядер (CPU AMD EPYC 64C 2GHz, ускоритель AMD Instinct MI250X) и обеспечивает производительность 1.102 экзафлопс, что почти в три раза больше, чем в кластере, занимающем второе место (при этом энергопотребление Frontier на 30% ниже).
  • Fugaku - размещён в Институте физико-химических исследований RIKEN (Япония). Кластер построен с использованием процессоров ARM (158976 узлов на базе SoC Fujitsu A64FX, оснащённых 48-ядерным CPU Armv8.2-A SVE 2.2GHz). Fugaku обеспечивает производительность 442 петафлопс.
  • LUMI - размещён в Европейском суперкомпьютерном центре (EuroHPC) в Финляндии и обеспечивающий производительность 151 петафлопс. Кластер построен на той же платформе HPE Cray EX235a, что и лидер рейтинга, но включает 1.1 млн процессорных ядер (AMD EPYC 64C 2GHz, ускоритель AMD Instinct MI250X, сеть Slingshot-11).

Что касается отечественных суперкомпьютеров, то созданные компанией Яндекс кластеры Chervonenkis, Galushkin и Lyapunov опустились с 25, 44 и 47 мест на 27, 46 и 52 места. Данные кластеры созданы для решения задач машинного обучения и обеспечивают производительность 21.5, 16 и 12.8 петафлопс соответственно. Кластеры работают под управлением Ubuntu 16.04 и оснащены процессорами AMD EPYC 7xxx и GPU NVIDIA A100: кластер Chervonenkis насчитывает 199 узлов (193 тысячи ядер AMD EPYC 7702 64C 2GH и 1592 GPU NVIDIA A100 80G), Galushkin - 136 узлов (134 тысячи ядер AMD EPYC 7702 64C 2GH и 1088 GPU NVIDIA A100 80G), Lyapunov - 137 узлов (130 тысяч ядер AMD EPYC 7662 64C 2GHz и 1096 GPU NVIDIA A100 40G).

Развёрнутый Сбербанком кластер Christofari Neo опустился с 50 на 55 место. Christofari Neo работает под управлением NVIDIA DGX OS 5 (редакция Ubuntu) и демонстрирует производительность 11.95 петафлопс. Кластер насчитывает более 98 тысяч вычислительных ядер на базе CPU AMD EPYC 7742 64C 2.25GHz и поставляется с GPU NVIDIA A100 80GB. Второй кластер Сбербанка (Christofari) за полгода сместился с 87 на 96 место в рейтинге.

В рейтинге также остаются ещё два отечественных кластера: Lomonosov 2 - сместился с 290 на 329 место (в 2015 году кластер Lomonosov 2 занимал 31 место, а его предшественник Lomonosov в 2011 году - 13 место) и MTS GROM - сместился с 352 на 395 место. Таким образом число отечественных кластеров в рейтинге не изменилось и как шесть месяцев назад составляет 7 систем (для сравнения в 2020 году в рейтинге было 2 отечественные системы, в 2017 году - 5, а в 2012 году - 12).

Наиболее интересные тенденции:

  • Распределение по количеству суперкомпьютеров в разных странах:
    • США: 150 (127 - полгода назад). Суммарная производительность оценивается в 45.8% всей производительности рейтинга (полгода назад - 43.6%);
    • Китай: 134 (162). В сумме китайские кластеры генерируют 8.9% от всей производительности (полгода назад - 10%);
    • Германия: 36 (34). Суммарная производительность - 7.2%;
    • Япония: 33 (31). Суммарная производительность - 14.8%;
    • Франция: 24 (24). Суммарная производительность - 4.8%;
    • Великобритания: 14 (15);
    • Канада 10 (10);
    • Бразилия 9 (8);
    • Нидерланды: 8 (8);
    • Южная Корея 8 (8)
    • Россия 7 (7);
    • Италия: 7 (7);
    • Саудовская Аравия 6 (6);
    • Швеция 6 (6);
    • Австралия 5 (5);
    • Ирландия 5 (5);
    • Швейцария 4 (4);
    • Индия: 4 (3);
    • Норвегия: 4 (3).
    • Финляндия: 3 (3).
    • Сингапур: 3 (3);
    • Польша: 3 (3);
  • В рейтинге операционных систем, используемых в суперкомпьютерах, c ноября 2017 года остаётся только Linux;
  • Распределение по дистрибутивам Linux (в скобках - 6 месяцев назад):
    • 47% (47.8%) не детализируют дистрибутив;
    • 16% (17.2%) используют CentOS;
    • 10.8% (9.6%) - RHEL;
    • 9.2% (9%) - Cray Linux;
    • 6.4% (5.4%) - Ubuntu;
    • 4.6% (3.8%) - SUSE;
    • 1.6% (0.8%) - Rocky Linux;
    • 1.2% (0.8%) - Alma Linux;
    • 0.2% (0%) - Amazon Linux;
    • 0.2% (0.2%) - Scientific Linux.
  • Минимальный порог производительности для вхождения в Top500 за 6 месяцев составил 1.87 петафлопс (полгода назад - 1.73 петафлопс). Четыре года назад лишь 272 кластера показывали производительность более петафлопса, пять лет назад - 138, шесть лет назад - 94). Для Top100 порог вхождения вырос с 5.38 до 6.32 петафлопс;
  • Суммарная производительность всех систем в рейтинге за 6 месяцев возросла с 4.8 до 5.2 экзафлопсов (три года назад было 1.650 экзафлопсов, а пять лет назад - 749 петафлопсов). Система, замыкающая нынешний рейтинг, в прошлом выпуске находилась на 445 месте;
  • Общее распределение по количеству суперкомпьютеров в разных частях света выглядит следующим образом: 192 суперкомпьютера находится в Азии (218 - полгода назад), 160 в Северной Америке (137) и 133 в Европе (131), 9 в Южной Америке (8), 5 в Океании (5) и 1 в Африке (1);
  • В качестве процессорной основы лидируют CPU Intel - 69.8% (полгода назад было 75.6%), на втором месте AMD 24.2% (20.2%), на третьем IBM Power - 1.4% (было 1.4%).
  • 21.6% (полгода назад 22.2%) всех используемых процессоров имеют 24 ядра, 18.8% (15.8%) - 64 ядра, 12% (14.2%) - 20 ядер, 7.2% (8.4%) - 16 ядер, 7.2% - 32 ядра, 7% (7.6%) - 18 ядер, 5.8% (6%) - 28 ядер, 4.2% (5%) - 12 ядер.
  • 185 из 500 систем (полгода назад - 177) дополнительно используют ускорители или сопроцессоры, при этом в 168 (161) системе задействованы чипы NVIDIA, в 11 (9) - AMD, в 2 (2) - Intel Xeon Phi, 1 (1) - PEZY, в 1 (1) - MN-Core, 1 (1) - Matrix-2000;
  • Среди производителей кластеров на первом месте закрепилась компания Lenovo - 33.6% (полгода назад 32%), на втором месте компания Hewlett-Packard Enterprise - 20% (20.2%), на третьем месте компания Inspur - 8.6% (10%), далее следуют Atos - 8.6% (8.6%), Dell EMC 4.8% (3.6%), Sugon 4.6% (6.8%), NVIDIA 3.2% (2.8%) Fujitsu 2.4% (2%), NEC 2% (2.4%), MEGWARE 1.6% (1.2%), Microsoft Azure - 1.25 (0%), IBM 1.2% (1.2%), Penguin Computing - 1% (1.2%), Huawei 0.4% (0.4%).
  • Для связи узлов в 45.4% (полгода назад 46.6%) кластеров используется Ethernet, InfiniBand применяется на 40% (38.8%) кластеров, Omnipath - 7% (7.2%). Если рассматривать суммарную производительность, то системы на базе InfiniBand охватывают 35.3% (33.6%) всей производительности Top500, а Ethernet - 45.5% (46.2%).

В ближайшее время ожидается публикация нового выпуска альтернативного рейтинга кластерных систем Graph 500, ориентированного на оценку производительности суперкомпьютерных платформ, связанных с симулированием физических процессов и задач по обработке больших массивов данных, свойственных для таких систем. Рейтинги Green500, HPCG (High-Performance Conjugate Gradient) и HPL-AI объединены с Top500 и отражаются в основном рейтинге Top500.



  1. Главная ссылка к новости (https://www.top500.org/news/fr...)
  2. OpenNews: Опубликована 60 редакция рейтинга самых высокопроизводительных суперкомпьютеров
  3. OpenNews: Ядру Linux исполнился 31 год
  4. OpenNews: Выпуск кластерной ФС Lustre 2.15
  5. OpenNews: Опубликована 59 редакция рейтинга самых высокопроизводительных суперкомпьютеров
  6. OpenNews: Опубликована 58 редакция рейтинга самых высокопроизводительных суперкомпьютеров
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/59172-top500
Ключевые слова: top500, cluster
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (129) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 17:19, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Кластеры работают под управлением Ubuntu 16.04

    То есть обновлять не нужно?

     
     
  • 2.2, Аноним (2), 17:26, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Зачем?
     
  • 2.6, Аноним (6), 17:35, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не хотят люди GNOME. Unity лучше устраивало.
     
     
  • 3.73, Аноним (73), 20:41, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Используйте Ubuntu Unity
     
  • 3.119, Вы забыли заполнить поле Name (?), 23:20, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +16 +/
    Просто Gnome тормозит на суперкомпьютере.
     
  • 2.12, th3m3 (ok), 17:43, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +5 +/
    >То есть обновлять не нужно?

    Если обновлять, придётся snap выпиливать, Firefox на .deb переносить. Зачем им лишняя возня? :)

     
     
  • 3.232, EULA (?), 06:27, 25/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    OMG! Для запуска броузера нужен суперкомпьютер!!! Куда мир катится?
    (Замечу, что "Firefox" специально заменено на "броузер", так как разницы в прожорливости краснопадны и хромогоподобных уже нет.)
     
  • 2.105, Аноним (105), 21:23, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Можно, но геморно.
     
  • 2.207, Аноним (207), 18:15, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Кластеры работают под управлением Ubuntu 16.04
    > То есть обновлять не нужно?

    Конечно, не нужно.

    С тех пор не появилось чего-то очень важного и революционного.

    Ну сделали Снэпы, намертво прибитые к Системде, но это не нужно по большому счёту. По делу чего-то заметного, нужного не случалось пока с тех пор.

     
     
  • 3.236, Олег (??), 09:28, 31/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Изменились задачи, которые требуют адаптации под 16
    То же машинное обучение
     
     
  • 4.237, Annnno (?), 20:30, 31/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    мне вот на своем CryLocalhost не все ли равно в чем workload гонять, днище виндузячье, бегите с опеннета
     

  • 1.3, Аноним (2), 17:27, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    АМД рулит, разруливает АМД!
     
  • 1.4, Аноним (4), 17:27, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    Fugaku до сих пор впечатляет.
    p.s.:
    https://www.r-ccs.riken.jp/en/fugaku/3d-models/
     
     
  • 2.7, Аноним (2), 17:36, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –9 +/
    Тем что работает на жручем ARM? Ну прямо скажем такое.
     
     
  • 3.33, Dmitry22333 (ok), 19:03, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    фигак-фигак и напряжение (U) в сети упало
     
  • 3.41, bnmbnm bnm (?), 19:54, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Так производительность без гпу у него, а у первого с гпу, а так они экономнее
     
  • 3.210, Аноним (-), 20:19, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Тем что работает на жручем ARM? Ну прямо скажем такое.

    Если ARM такой жручий то почему у Intel никак не получилось даже на самом урезаном x86 делать мобилки? Батарейку быстро сажали, пользователи бесились от жизни в обнимку с зарядником.

    В общем не надо ставить интеловские маркетинговые ватты в один ряд с остальным. Это еще хуже чем китайские ватты. Да и CPU вон там надо только чтоб GPU грузить данными, если успевает то и нет проблем. Основную работу GPU делает.

     
     
  • 4.220, n00by (ok), 06:54, 24/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> Тем что работает на жручем ARM? Ну прямо скажем такое.
    > Если ARM такой жручий то почему у Intel никак не получилось даже
    > на самом урезаном x86 делать мобилки? Батарейку быстро сажали, пользователи бесились
    > от жизни в обнимку с зарядником.

    "Бразильская компания Qbex Computadores, занимающаяся продажей смартфонов, подала в суд на Intel. Процессорный гигант обвиняется в том, что его однокристальные системы семейства SoFIA, а также некоторые другие мобильные решения, виновны в тысячах случаев возгорания из-за перегрева и дефектов в дизайне."

    Дефектов в дизайне - это не про батарейку. Baytrail и последователи довольно долго держали батарейку в своей нише (планшеты и субноутбуки), но там деградировали порты USB.

     
     
  • 5.229, Аноним (-), 22:58, 24/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну как сказать не про батарейку Современные девайсы используют огромный heat sp... большой текст свёрнут, показать
     
     
  • 6.233, n00by (ok), 06:57, 25/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В общем-то про батарейки верно, но есть и другие интересные детали. SoFIA основаны на Silvermont и Airmont. И как бы Интелам на руку сместить акценты с собственных design flaws на радиаторы и АКБ. Полагаю, если бы дело было только в толщине корпуса телефона - это бы решили.

    The LPC, USB and SD Card buses circuitry degradation issues also apply to other Bay Trail processors such as Intel Celeron J1900 and N2800/N2900 series;[21] also to Pentium N3500, J2850, J2900 series; and Celeron J1800 and J1750 series—as those are based on the same affected silicon.

    14 nm Airmont architecture processors are also affected by the design flaws as noted in the Braswell Specification Update under CHP49 errata.

     
     
  • 7.238, Аноним (-), 01:00, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Насколько я знаю, термальные дела там достаточно напряженные даже для современны... большой текст свёрнут, показать
     
     
  • 8.247, n00by (ok), 08:20, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вопрос с толщиной не обязательно решать технически Можно наоборот сделать толще... текст свёрнут, показать
     

  • 1.5, DEF (?), 17:35, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +11 +/
    >47% (47.8%) не детализируют дистрибутив;

    Стестняются признаться, что используют Ubuntu.

     
     
  • 2.8, Аноним (2), 17:37, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Они все LFS собирают (нет)
     
     
  • 3.23, Аноним (6), 18:01, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Хотя, у них-то со сборкой проблем быть не должно.
     
     
  • 4.47, Аноним (-), 20:25, 22/05/2023 Скрыто ботом-модератором     [к модератору]
  • –3 +/
     

  • 1.9, Beta Version (ok), 17:39, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Чот начинка отечественных совсем не отечественная.
     
     
  • 2.11, Аноним (4), 17:42, 22/05/2023 Скрыто ботом-модератором     [к модератору]
  • +7 +/
     
     
  • 3.28, Аноним (28), 18:29, 22/05/2023 Скрыто ботом-модератором     [к модератору]
  • –5 +/
     
     
  • 4.35, Аноним (4), 19:20, 22/05/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 2.36, Массоны Рептилоиды (?), 19:22, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Чот начинка отечественных совсем не отечественная.

    Чот у Fugaku начинка совсем не японская, а у LUMI совсем не финская

     
     
  • 3.42, bnmbnm bnm (?), 19:56, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    В смысле, процы фужитсу японские, и архитектура арм в собственности софтбанка японского
     
     
  • 4.211, Аноним (-), 20:20, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > В смысле, процы фужитсу японские, и архитектура арм в собственности софтбанка японского

    При том еще и не орали про импортозамещение. Просто случайно сделали его. До кучи.

     
  • 3.44, Beta Version (ok), 20:05, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Чот у Fugaku начинка совсем не японская, а у LUMI совсем не
    > финская

    Ты просто не уловил суть. Если бы в статье было написано "российские", то свой коммент я бы не написал. Но когда пишут "отечественные", требования резко возрастают.

     
  • 3.151, Аноним (151), 23:42, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –3 +/
    LUMI не использует Linux, начатый финном? В топе ВСЕ кластеры используют творение Линуса и корпораций.
     
     
  • 4.194, Аноним (2), 12:29, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А почему они скрывают дистр? Может не хотят чтобы все знали что у них Арч?
     
     
  • 5.234, Юра (??), 09:29, 26/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Потому, что собирают сами под свое железо.
     

  • 1.10, Аноним (10), 17:42, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А почему ARM так сильно отстал?
     
     
  • 2.43, bnmbnm bnm (?), 19:57, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Потому-что без гпу они, а так они лучше
     
     
  • 3.113, Аноним (2), 22:15, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Тест посмотрим они хуже. Именно тем что без ГПУ на помойку их.
     
     
  • 4.163, YetAnotherOnanym (ok), 00:51, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Как только Алисо дрова напишет - будут и гпу.
     
     
  • 5.193, Аноним (2), 12:28, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Т.е. никогда ясно понятно, да и переоборудовать такую кучу шкафов никто не будет.
     

  • 1.16, Аноним (16), 17:52, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > В рейтинге операционных систем, используемых в суперкомпьютерах, c ноября 2017 года остаётся только Linux

    А до 2017 что ещё было? Не винда же, наверное.

     
     
  • 2.21, Аноним (4), 17:57, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Когда-то и на винде делали:
    https://www.opennet.me/opennews/art.shtml?num=30965
     
     
  • 3.26, Аноним (16), 18:06, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    1%
    Пряио как линукс на десктопе.
     
     
  • 4.152, Аноним (151), 23:45, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    System76 и им подобные компании имеют все шансы поменять расклад. Мусор от Valve не учитываем.
     
     
  • 5.180, Минона (ok), 09:02, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Не имеют.
     
  • 5.201, Admino (ok), 16:58, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вряд ли System76 начнёт продвигать винду на суперкомпьютеры. Очень вряд ли.
     
  • 4.212, Аноним (-), 20:21, 23/05/2023 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     

  • 1.24, Аноним (6), 18:04, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Швейцария 4 (4);

    Как там, Piz Daint ещё входит в эти 4?

     
  • 1.29, Аноним (29), 18:29, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Frontier - размещён в Ок-Риджской национальной лаборатории Министерства энергетики США. Кластер насчитывает почти 9 миллионов процессорных ядер

    Интересно для чего энергетикам такой суперкомпьютер, что они там такого считают?

     
     
  • 2.30, Аноним (4), 18:36, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    https://www.olcf.ornl.gov/caar/frontier-caar/
     
  • 2.32, D (?), 18:49, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Окридж же (https://www.ornl.gov/, https://en.wikipedia.org/wiki/Oak_Ridge_National_Laboratory). Много чем занимаются, но в данном приложении - расчеты для нужд ядерных и термоядерных исследований. Для ИТЭРа того же в том числе.
     

  • 1.31, Аноним (31), 18:43, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +16 +/
    А где же суперкомпьютеры под управлением FreeBSD, про уникальную производительность которой тут рассказывают легенды?
     
     
  • 2.46, Аноним (46), 20:23, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Большинство научных прог пишется на Питоне. Дальше нужно объяснять?
     
     
  • 3.50, Аноним (50), 20:31, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Питон нельзя собрать под фрибздень?
     
     
  • 4.54, Аноним (46), 20:34, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Питон - тормозное г. Но, зато привычное.
     
     
  • 5.94, Аноним (50), 20:46, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну вот, шанс бзд показать какая она быстрая и насколько лучше под ней работает медленный питон
     
     
  • 6.95, Аноним (46), 20:51, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    "Учёные юзают тормозной Питон, потому что им привычней."

    s/Питон/Линукс/

     
     
  • 7.153, Аноним (151), 23:47, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    При этом факты привязки Питона к Сишным библиотекам и обходам GLI через запуск нескольких процессов или патчинг VM упускаются.
     
     
  • 8.159, Аноним (31), 00:12, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Видимо, Сишные либы оборачивать в FreeBSD тоже нельзя, слишком хорошо спроектиро... текст свёрнут, показать
     
  • 5.114, Аноним (2), 22:16, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    ФриБСД не осилил простейший питон, всё на свалку.
     
  • 3.55, Аноним (31), 20:36, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нужно, объясняй. Я как раз самую малость знаком с тем, как именно Питон используется для научных вычислений, поэтому недоумеваю, как это влияет на отсутствие FreeBSD в рейтингах.
     
     
  • 4.90, Аноним (46), 20:44, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    как и Линуксы
     
  • 3.164, Аноним (164), 01:17, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Большинство научных прог пишется на Питоне. Дальше нужно объяснять?

    Ну это совсем несерьёзно. Julia, Fortran, R - это научное ПО. А питон - так, офисная дребедень. Иногда с наукообразием в виде типовых нейросетей. И на суперкомпьютере питону совсем делать нечего.

     
     
  • 4.202, Аноним (31), 17:02, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты явно не видишь полной картины Мой кузен руководит группой исследователей-био... большой текст свёрнут, показать
     
     
  • 5.209, Аноним (-), 19:25, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Если у них даже R не используется, это какая шарага, а не компания. R в отличии от питона допущен для выполнения официальных работ по био-медицинским тематикам. Питон нигде не допущен. Они ни один официальный отчёт не смогут с питоном сделать.
     
     
  • 6.218, Аноним (31), 00:48, 24/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я не могу судить шарага или нет, но продукцию их компании видел в аптеках на трёх континентах. Как «официальные исследования» относятся к вычислениям на суперкомпьютере частной коммерческой компании представить себе не могу. Полагаю, что никак.
     
  • 3.178, bOOster (ok), 08:36, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Множество суперкомпьютеров работают на Java. Какие-либо поделки на питоне из-за абсолютно невнятной реализации многопоточности я не видел..
     
     
  • 4.203, Аноним (31), 17:03, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сколько суперкомпьютеров ты видел, со сколькими работал, в какой области применения?
     
  • 2.103, Аноним (103), 21:12, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Нет такой и никогда не было. Хотели затроллить FreeBSD, а затроллили себя, признавшись в том что повелись на сказочки для ламерков?
     
     
  • 3.107, Аноним (105), 21:34, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Так а в чём ламерки-то? Если ламерский пингвин занял все позиции рейтинга, а сверх-высоко-ультра-профессиональная бздэ - чуть менее чем ни одной.

    Или это намёк на то, что лучше быть ламером линукса, нежели профессионалом бзды? Хотя даже по ЗП видно что лучше.

     
     
  • 4.109, Аноним (109), 21:41, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Так а в чём ламерки-то?

    Ну, наверное в том что ни в матчасть, ни в логику - "ни в зуб ногой".
    > Если ламерская венда заняла все позиции рейтинга десктопов, а сверх-высоко-ультра-профессиональная пингвин - чуть менее чем ни одной.
    > Или это намёк на то, что лучше быть ламером венды, нежели профессионалом пингвина? Хотя даже по ЗП видно что лучше.
    >

     
     
  • 5.111, Аноним (31), 22:01, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А те суперкомпьютеры тоже ламерки построили, которые ни в логику, ни в матчасть, да? Знаешь как говорят, если от всех вокруг несёт дерьмом, скорее всего обделался именно ты.
     
     
  • 6.117, Аноним (117), 22:33, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > А те суперкомпьютеры тоже ламерки построили, которые ни в логику, ни в

    Вот только ты - не они. Даже если наденешь три маечки с пингвинчиком. Увы.
    > <дальнейшая порча воздуха поскипана>

     
     
  • 7.118, Аноним (31), 22:56, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Иронично, что единственная моя «тематичекая» майка — оригинальный опенбсдэшный «stop the blob» с какого-то там древнего релиза. Таких уже и не делают, поди. Если её надеть, как думаешь, смогу суперкомпьютер из россыпи Core Duo?
     
     
  • 8.155, Аноним (117), 23:56, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну вот видишь - даже маечки нет, а все туда же - в строители суперкомуктеров мет... текст свёрнут, показать
     
  • 2.104, швондер (?), 21:21, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    bsd в numa/smp очень долго не умела, пока линукс шишки набивал.
     
     
  • 3.179, bOOster (ok), 08:46, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Давай дальше - в 1990 года...
    А на самом деле
    https://www.usenix.org/system/files/conference/atc18/atc18-bouron.pdf

    В кратце, на примере стоимости владения чего-нибудь на срок 10 лет:
    Linux - потратим 5 копеек на приобретение и будем платить по 1000 рублей в месяц использования
    FreeBSD - потратим 1000 рублей и  будем платить по 5 копеек в месяц использования.

    Поэтому долговременное, более эффективное управление многопоточностью делает выбор FreeBSD более разумным выбором для суперкомпа.

     
     
  • 4.187, Аноним (187), 10:12, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >Поэтому долговременное, более эффективное управление многопоточностью делает выбор FreeBSD более разумным выбором для суперкомпа.

    Так и запишем: freebsd нет ни на одном суперкомпе из top500 вследствии ее грандиозной исключительной эффективности и производительности.

     
  • 4.230, швондер (?), 01:12, 25/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Читал статью по ссылке? Я - да. откуда эти твои пассажи про рублемесяцы - нет понимания от слова "совсем".  Загуглил описываемый в статье шедулер бсд, что сравнивается с одним из линуксовых. В первом же абзаце на вики увидел "планировщик был долгое время отключен в пользу предыдущего, который не поддерживал многоядерность". К чему эта статья? что именно она тебе дала? раскрой, пожалуйста?
     
  • 2.115, Аноним (2), 22:26, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    У Фряхи только сетевой стек быстрый и то потому примитивный и умеет обрабатывать маленькое количество форматов. В линуксе можно поставить левые быстрые дрова на сеть и тоже будет быстро.
     
     
  • 3.172, bOOster (ok), 08:24, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Оголтелые линуксоидиы раз за разом показывают свою тупость?
    То-то пытаются netgraph тащить на Linux, видимо потому-что примитивный.
     
     
  • 4.243, Аноним (-), 02:12, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > То-то пытаются netgraph тащить на Linux, видимо потому-что примитивный.

    Кто и что пытается? Пруфлинки? И да, вас помнится макнули в линку где забенчили _современное_ ядро линуха относительно фрибзды и чего-то линух выиграл. Даже если забыть о том что в фре были большие проблемы с драйверами, что с реальным железом, что с virtio.

     
  • 3.182, Аноним (182), 09:16, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> Кластеры работают под управлением Ubuntu 16.04
    > У Фряхи только сетевой стек быстрый

    То ли дело древняя шешнацатая бубунта - сразу видно, что важны даже доли процента производительности, ога ...

     
     
  • 4.188, Аноним (187), 10:16, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >сразу видно, что важны даже доли процента производительности, ога ...

    Таки да. Есть даже видосы на ютубах от авторов тех кластеров из яши, как они борются за каждый грамм производительности. Если бы фрибсд давала хоть какой-то им прирост в чем-то, на кластере была бы она. А так, из соседнего отдела в яше ее уже выкинули незадолго до этих событий, и заменили опять же убунтой.

     
     
  • 5.217, Аноним (182), 22:30, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Ubuntu 16.04
    >> сразу видно, что важны даже доли процента производительности, ога ...
    > Таки да. Есть даже видосы на ютубах от авторов тех кластеров из

    Т.е. все те регулярные вопли пингвинят об очередном "ускорении на порядок" и прочих улучшениях - лишь вопли, а бубунта достигла сингулярности еще 8 лет назад ...

     
  • 2.176, bOOster (ok), 08:34, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Серое вещество оголтелых линуксоидов то не научили хоть как-то использовать?

    Для начала - 47% участников - используемый дистрибутив не объявлен. GPL лицензия это запрещает. А вот BSD разрешает. Так что в 47% Linux тупо исключается. И это, не стоит щас "теории заговора" формировать в стиле - "Они используют, но публикуют" не стоит, не позорьтесь.
    Так что весьма высок процент, даже исключая Windows какой-нибудь где вполне может появиться и BSD ОС.

     
     
  • 3.183, тоже Аноним (ok), 09:19, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > дистрибутив не объявлен. GPL лицензия это запрещает

    Запрещает что? Не объявлять публично, что ты у себя на своем железе поставил?
    Это если я у себя в конторе наставил Убунты - я должен везде об этом уведомить и на крыше логотип нарисовать, чтоб из космоса видно было? Даже два логотипа - гну еще непременно...

     
     
  • 4.185, bOOster (ok), 10:05, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> дистрибутив не объявлен. GPL лицензия это запрещает
    > Запрещает что? Не объявлять публично, что ты у себя на своем железе
    > поставил?
    > Это если я у себя в конторе наставил Убунты - я должен
    > везде об этом уведомить и на крыше логотип нарисовать, чтоб из
    > космоса видно было? Даже два логотипа - гну еще непременно...

    Вот это класс. Оголтелые даже лицензии своей не знают... О чем дальше говорить...

     
     
  • 5.239, Аноним (-), 02:04, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот это класс. Оголтелые даже лицензии своей не знают...

    Если вы такие умные то процитируйте где GPL требует указывать дистр. Хочу это увидеть. А то я его еще и читал и не помню таких требований. Блин я даже сорц могу вам не давать пока у вас нету бинаря из него - и все как бы честно. Если это кому не нравилось, они AGPL так то хотели..

    В общем большой вопрос кому лицензии надо читать, имхо.

     
  • 3.189, Аноним (187), 10:19, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >где вполне может появиться и BSD ОС

    О, новый тренд у бздишнеков: фряха шредингера.

     
  • 3.190, Аноним (190), 10:34, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вот у тебя как раз с серым веществом проблемы. 100% используют Линукс смирись с этим.
     
  • 3.206, Аноним (31), 17:19, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > GPL лицензия это запрещает

    Нет, не запрещает. В отличие от правил рейтинга, запрещающих подавать заведомо неверные данные. Так что если 47% сказали «Линукс» — там действительно Линукс. Windows и, тем более BSD, на суперкомпьютерах в Top500 нет. Windows когда-то была. HP-UX даже был. А вот FreeBSD не припомню.

     
  • 2.197, BorichL (ok), 14:47, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Потому что для BSD нужны квалифицированные специалисты, а для Линукса достаточно 100500 обезьян с пишущими машинками, там же массовостью берут.
     
     
  • 3.204, Аноним (187), 17:12, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Потому что для BSD нужны квалифицированные специалисты, а для Линукса достаточно 100500 обезьян с пишущими машинками, там же массовостью берут.

    Если же не смотртеь в сторону BSD, то не нужны будут ни они, ни их наимедрейшие квалифицированнейшие специализды. Линукса c безьянами хватит за глаза.

     
  • 3.205, Аноним (31), 17:14, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Учитывая, сколько стоит построить суперкомпьютер и сколько стоит час его работы, ну хоть для одного нашлось бы достаточно квалифицированных специалистов. Или квалифицированные бздуны *настолько* редки и дороги, что экономически нецелесообразно пользоваться FreeBSD?
     
  • 3.240, Аноним (-), 02:05, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Потому что для BSD нужны квалифицированные специалисты, а для Линукса достаточно 100500
    > обезьян с пишущими машинками, там же массовостью берут.

    Так и запишем: суперкомпьютеры собирают и эксплуатируют обезьяны с пишушищими машинками. Правда, не понятно зачем им суперкомпьютеры...


     
     
  • 4.248, BorichL (ok), 15:45, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> Потому что для BSD нужны квалифицированные специалисты, а для Линукса достаточно 100500
    >> обезьян с пишущими машинками, там же массовостью берут.
    > Так и запишем: суперкомпьютеры собирают и эксплуатируют обезьяны с пишушищими машинками.
    > Правда, не понятно зачем им суперкомпьютеры...

    Да чтобы прогнозы погоды выдавать!

     

     ....большая нить свёрнута, показать (45)

  • 1.45, Аноним (-), 20:23, 22/05/2023 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +/
     
  • 1.106, Аноним (106), 21:26, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Распределение по дистрибутивам пропорционально %% суммарной производительности всех суперкомпьютеров под управлением этого дистрибутива ещё интереснее.
    Типа:
    25% от всей производительности - Linux1
    22% от всей производительности - Linux2
    ....

     
     
  • 2.116, Аноним (2), 22:28, 22/05/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вот это поворот.
     

  • 1.165, Аноним (165), 01:55, 23/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А почему министерство энергетики США? Это способ диверсификация лишней энергии?
     
     
  • 2.171, n00by (ok), 08:21, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потому что в момент открытия США стало понятно, что земной шарик закончился. С тех пор все войны по сути за энергию. В США ресурсов не так много как им хотелось бы, вот и просчитывают комбинации.
     
  • 2.173, Tron is Whistling (?), 08:27, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Потому что они там не только торговлей нефтью занимаются, а всякие ветряки и солнечные панели надо всерьёз просчитывать под географию.
     
     
  • 3.200, Admino (ok), 16:57, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Потому что они там не только торговлей нефтью занимаются, а всякие ветряки и солнечные панели надо всерьёз просчитывать под географию.

    Этим должны заниматься коммерческие компании. Государство неэффективно.

     
  • 2.174, Tron is Whistling (?), 08:28, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну и да, расчёты по физике, циклам ядерных реакций и т.п. - тоже штука не слабая.
     

  • 1.175, Tron is Whistling (?), 08:31, 23/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Frontier - почти 9 миллионов процессорных ядер (CPU AMD EPYC 64C 2GHz, ускоритель AMD Instinct MI250X) и обеспечивает производительность 1.102 экзафлопс, что почти в три раза больше, чем в кластере, занимающем второе место (при этом энергопотребление Frontier на 30% ниже).
    > Fugaku - построен с использованием процессоров ARM (158976 узлов на базе SoC Fujitsu A64FX, оснащённых 48-ядерным CPU Armv8.2-A SVE 2.2GHz). Fugaku обеспечивает производительность 442 петафлопс

    158976 * 48 = ~7.5 миллионов процессорных ядер
    Это всё, что вы хотели знать про ARM в серьёзных задачах, но боялись спросить.
    Производительность в два с половиной раза ниже, потребление на треть выше.

     
     
  • 2.177, Tron is Whistling (?), 08:34, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    (и это блин кастомные чипы vs просто "бытовое комбо" из CPU/GPU)
     
     
  • 3.242, Аноним (-), 02:10, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > (и это блин кастомные чипы vs просто "бытовое комбо" из CPU/GPU)

    И конечно у вас есть данные на все чипы и вы покажете нам это все? А то сравнить абстрактных попугаев, для систем в сборе с GPU и прочим и сделать далеко идущие выводы, при том почему-то про ARM - как-то хиловато. Я подозреваю что основную энергию там GPU вообще жрут.

     
     
  • 4.244, Tron is Whistling (?), 08:00, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну то есть возражений по тому, что в конкретном случае по итогам сумма интегрированного арма+something - говно, у вас нет.

    Я же вывод делаю на основании своего опыта столкновений с армом, в здравом уме это брать можно либо для эмбедовки с низким потреблением (смартфоны, мелкие сохошные роутеры, какие-то приблуды типа выключателей для лампочек, etc.), либо потому что руки чешутся, а почесать не обо что. В большом проде держать арм - разве что амазон себе позволить может, там вот эти вот чешущие руки покупают.

     
  • 2.186, G0Dzilla (??), 10:10, 23/05/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 2.191, Аноним (190), 10:38, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Фигаки фигаки и в продакшн.
     

  • 1.184, Аноним (184), 09:37, 23/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    видимо Windows годиться только для настольных компов с ргб-подсветкой
     
     
  • 2.196, xsignal (ok), 13:47, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Windows - бытовая ОС, Linux - промышленная.
     

  • 1.195, xsignal (ok), 13:47, 23/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > 47% (47.8%) не детализируют дистрибутив

    Slackware

     
     
  • 2.198, Аноним (-), 16:31, 23/05/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 2.235, Аноним (235), 11:42, 26/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Не.. Linux Mint
     

  • 1.208, Аноним (207), 18:21, 23/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Кластеры работают под управлением Ubuntu 16.04

    Вот и авторитетная оценка новшеств от Каноникл. Не нужные новшества.

     
     
  • 2.214, тоже Аноним (ok), 21:15, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот и авторитетная оценка новшеств от Каноникл. Не нужные новшества.

    Как все-таки наполнен этот тред экспертными мнениями глубоко(пробел)мысленных людей!
    Вот и лето...

     
     
  • 3.221, Аноним (207), 10:32, 24/05/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Обычно мы видим, именно то что видим.
    А видно, что после 16.04 для кластера чего-либо очень нужного не было.

    Вполне себе толковая оценка Каноникл.

     
     
  • 4.223, тоже Аноним (ok), 11:33, 24/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Обычно мы видим, именно то что видим.

    Не счесть жемчужин...

     
  • 2.216, Аноним (2), 21:47, 23/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Поддержка у Убунты 10 лет имеют право.
     
     
  • 3.222, Аноним (207), 10:33, 24/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    А самое главное, пользуются. А это признак.
     

  • 1.224, Аноним (-), 17:16, 24/05/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >обеспечивает производительность 1.102 экзафлопс, что почти в три раза больше, чем в кластере, занимающем второе место (при этом энергопотребление Frontier на 30% ниже).

    Кластер Frontier работающий на обычных AMD-ешных CPU, энергоэфективней чем японский Fugaku, который работает на ARM?

    Архитектура ARM по идее должна потреблять меньше энергии. Не?

     
     
  • 2.231, Аноним (231), 01:40, 25/05/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > энергоэфективней

    Это уже флопс/Вт. Чтобы быть энергоэффективней нужно либо меньше потреблять при той же производительности, либо выдавать более высокую производительность при той же потребляемой мощности.

    У AMD производительность раза в 2-2.5 выше (при сопоставимом количестве ядер - 9млнAMD/7млнARM). У ARM ещё какие-то SIMD-подобные 512-битные блоки используют и ядро вряд ли A53. В итоге - не так и мало ARM кушает и не такую высокую производительность выдает.

     
     
  • 3.241, Аноним (-), 02:08, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Однако энергии на операцию может и меньше жрать - за счет меньшего числа транзисторов на ядро. Ну и топовая производительность от тех ядер не особо и требуется. Во первых если их накопипастили миллионами то отдельному ядру быть суперкрутым и не надо. Во вторых, вопрос в том успевает оно прогружать свой GPU или нет - и только. Основной счет оно ж делает.
     
     
  • 4.246, Tron is Whistling (?), 08:03, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Энергии на операцию да, вопрос с упрощением всегда в том, сколько этих операций потребуется на один и тот же алгоритм...
     
  • 2.245, Tron is Whistling (?), 08:02, 01/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Это только в вариантах смартфончиков, которые спят или ждут тыка в экран большую часть времени.
    Ну и прочей аналогичной эмбедовки, где арм обмазан^Wобвязан специфичными контроллерами, которые иногда дёргает.
    В случае, когда на это вычислительная нагрузка легла - сразу сказывается примитивность.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру