https://www.opennet.dev/openforum/vsluhforumID3/116419.html Организация Apache Software Foundation опубликовала (https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces45) релиз Apache Hadoop 3.2 (http://hadoop.apache.org), свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce (http://ru.wikipedia.org/wiki/MapReduce), при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и содержать эксабайты данных.<br><br><br><br><br>В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платфор https://www.opennet.dev/openforum/vsluhforumID3/116419.html#27 Tue, 29 Jan 2019 10:07:45 GMT Я не про CentOS 6, а про QuickStart VM.<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#26 Tue, 29 Jan 2019 08:31:37 GMT &gt; 300ПБ всего vs 4ПБ прироста это действительно на ошибку в статье похоже, скорее всего в месяц. <br><br>Скорее всего ошибка, но может именно в хадупе в кластере на 4тыс узлов растет какая-то вспомогательная новая, свеженькая база, не основное хранилище.<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#25 Tue, 29 Jan 2019 08:26:51 GMT &gt;В корпоративном мире чем больше ты потратил тем ты круче.<br><br>В корпоративном мире бюджет формируют за год, а то и два. Знаешь ты сколько тебе через 2 года надо ресурсов, не знаешь, никого не ебстит. Поэтому пишешь от балды x4. Половину зарежут на совете директоров, зато оставшихся x2 хватит на жабу и даже на помайнить.<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#24 Tue, 29 Jan 2019 08:26:15 GMT &gt;&gt; Facebook (кластер из 4 тысяч узлов хранит более 300 петабайт и ежедневно увеличивается на 4 Пб в день).<br>&gt; А тут не опечатка - "ежедневно увеличивается на 4 Пб в день"?<br>&gt; Это что, сегодня 4 добавилось, завтра 8, послезавтра 12?<br><br>Очевидно же из фразы - увеличивается не ежедневная порция добавляемых данных, а сама база данных.<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#23 Tue, 29 Jan 2019 08:22:16 GMT &gt;ява в голове - это диагноз навсегда ;)<br><br>сишникам лишь бы пюкнуть против жабы и в кусты, пилить могучее ненужно.<br><br>300ПБ всего vs 4ПБ прироста это действительно на ошибку в статье похоже, скорее всего в месяц. <br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#22 Tue, 29 Jan 2019 08:03:52 GMT &gt; Глючишь? "ежедневно увеличивается на 4 Пб в день" означает линейное увеличение на 4 в день. А не какую-то прогрессию.<br><br>1) "ежедневно увеличивается на 4 Пб в день" = арифметическая прогрессия.<br>2) 300 + 4*365 = 1760<br><br>ява в голове - это диагноз навсегда ;)<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#21 Tue, 29 Jan 2019 05:01:14 GMT Глючишь? "ежедневно увеличивается на 4 Пб в день" означает линейное увеличение на 4 в день. А не какую-то прогрессию.<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#20 Tue, 29 Jan 2019 04:58:34 GMT &gt;свою учебную виртуальную машину для курсов по Hadoop: это CentOS 6. 6, Карл! Там даже нет Java 8, только 1.7 от Oracle. <br><br>Не болтай ерундой.<br><br>java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64.rpm<br><br>Cloudera who?<br> https://www.opennet.dev/openforum/vsluhforumID3/116419.html#19 Mon, 28 Jan 2019 21:16:33 GMT &gt; Facebook (кластер из 4 тысяч узлов хранит более 300 петабайт и ежедневно увеличивается на 4 Пб в день).<br><br>А тут не опечатка - "ежедневно увеличивается на 4 Пб в день"?<br>Это что, сегодня 4 добавилось, завтра 8, послезавтра 12?<br><br>И на какую дату данные?<br>Ведь по 4 Пб в день (а сейчас уже 300) это через год 1760 петабайт будет.<br>