Группа американских ученых из самых разных областей академической науки, совместно составили проект (http://phys.org/news/2012-04-academic-group-source-code.html) регламентирующего документа, который был опубликован в последнем номере авторитетного международного журнала Science (http://www.sciencemag.org/). Этот документ, названный как "Shining Light into Black Boxes (http://www.sciencemag.org/content/336/6078/159)", рекомендует переход всем остальным научным журналам на свободную модель предоставления всех исходных кодов для описываемых программ, как необходимое условие для возможности публикации материала. В настоящий момент, как утверждает этот документ, этого условия придерживаются только три журнала из двадцати ведущих научных журналов мира.Данный документ подробно обосновывает, почему такое решение в интересах всех сторон сразу: авторов, их читателей и даже издателей. Сегодня компьютерные программы – это неотъемлемая, интегральная часть практически любых научных исследований, всё чаще программные технологии становятся критической частью для проведения (или проверки) практически любых экспериментов. Исходя из этого, авторы документа взывают к здравому смыслу: сегодня сложилась довольно странная ситуация, когда ученый с одной стороны полностью и публично открывает свои исследования, описывая все детали проведения и результаты эксперимента или теории, и при этом, постоянно ссылаясь не некие программные составляющие – не предоставляет их.
Обычная практика в таком случае: если исследования как-то пересекаются с интересами других заинтересованных лиц – самостоятельная проверка всех утверждений и результатов эксперимента, как минимум самых важных из них. При этом возникает абсурдная ситуация: в этом случае приходится заново создавать всё программное обеспечение для управления составляющими исследования. Именно так и поступали до последних пор, но стремительное распространение компьютеров делает такой подход всё более и более абсурдным. В некоторых современных исследований доля компьютерной составляющей всего эксперимента может уже содержать значительную часть самого эксперимента (например, математическое моделирование), и сама компьютерная реализация является существенной частью полученного результата.Один из учёных объясняет, что за такой скрытностью далеко не всегда стоит консервативность или недоверие к другим. Чаще всего, для ученых, которые создают подобные программные разработки, программирование не является их профессией, а лишь любительским увлечением, способом автоматизировать какие-то внешние процессы, часто на достаточно примитивном уровне. Поэтому иногда они стесняются, что кто-то посторонний увидит их не всегда эффективные или "грязные" решения, обсуждая это публично. Второй момент – часто подобные программные решения, – ключевая или важная часть общего исследования, и ученые опасаются, что кто-то другой сможет воспользоваться уже готовыми решениями; то есть существует страх, что OpenSource-решения могут скрытно внедряться и использоваться в проприетарных решениях конкурентов. Этот учёный сразу задаёт встречный вопрос: как это можно контролировать?
В документе также подчеркивается, что если компьютер становится принципиальной составляющей экспериментов, то как можно проверить, а иногда даже просто оценить результат, если не видны исходные коды программной составляющей? Открытие кода приведёт также к тому, что такие программы будут "причесываться" и вычищаться подобно тому, как скрупулезно выверяется сама научная публикация, которая порой проходит многоуровневую и независимую систему рецензирования. Такой код станет более чистым и выверенным, кроме того он станет доступным под открытой лицензией всем заинтересованным лицам, а сам журнал приобретет ещё большую ценность, поставляя на самом деле полностью завершенные и самодостаточные научные публикации.
URL: http://phys.org/news/2012-04-academic-group-source-code.html
Новость: http://www.opennet.me/opennews/art.shtml?num=33652
Давно пора!
Ниже по тексту идет замер пиписек, на тему - "Как я занимался научными исследованиями".
> Ниже по тексту идет замер пиписек, на тему - "Как я занимался
> научными исследованиями".Грамотно набросил, малацца, получаешь +1 к всем известному скиллу :)
> Грамотно набросил, малацца, получаешь +1 к всем известному скиллу :)Наброшу и я немного
Фраза
>ситуация, когда ученый с одной стороны полностью и публично открывает свои исследования, описывая все детали проведения и результаты эксперимента или теории
говорит о том, что писавший вообще научных статей не читал
правда в оригинале http://www.sciencemag.org/content/336/6078/159.full(просмотрел по диагонали) такого бреда вроде бы и нет
> правда в оригинале http://www.sciencemag.org/content/336/6078/159.full(просмотрел
> по диагонали) такого бреда вроде бы и нетSubscribe/Join AAAS or Buy Access to This Article to View Full Text.
The content you requested requires a AAAS member subscription to this site or Science Pay per Article purchase.
If you already have a user name and password, please sign in below.Отличная статья)
У вас там оплаченный аккаунт, если не секрет?
Shining Light into Black Boxes
A. Morin1, J. Urban2, P. D. Adams3, I. Foster4, A. Sali5, D. Baker6, P. Sliz1,*
1Harvard Medical School, Boston, MA 02115, USA.
2School of Law, University of California, Berkeley, Berkeley, CA 94720, USA.
3Lawrence Berkeley National Laboratory, Berkeley, CA 94720, USA.
4Argonne National Laboratory and University of Chicago, Argonne, IL 60439, USA.
5University of California, San Francisco, San Francisco, CA 94158, USA.
6University of Washington and Howard Hughes Medical Institute, Seattle, WA 98195, USA.
↵*Author for correspondence. E-mail: piotr_sliz{at}hms.harvard.eduThe publication and open exchange of knowledge and material form the backbone of scientific progress and reproducibility and are obligatory for publicly funded research. Despite increasing reliance on computing in every domain of scientific endeavor, the computer source code critical to understanding and evaluating computer programs is commonly withheld, effectively rendering these programs “black boxes” in the research work flow. Exempting from basic publication and disclosure standards such a ubiquitous category of research tool carries substantial negative consequences. Eliminating this disparity will require concerted policy action by funding agencies and journal publishers, as well as changes in the way research institutions receiving public funds manage their intellectual property (IP).
Disparity Without a CauseIn publicly funded research outside of computational science, the creation and dissemination of new tools, techniques, and methods requires detailed publication and disclosure of information necessary to satisfy peer review, experimental reproduction, and the ability to build upon another's work. Research tools created using public funds, such as animal models or cell lines, even those intended for commercialization, must fulfill disclosure and publication requirements (1).
Disclosure practices among scientist-programmers often do not meet these standards. Computer programs created in the course of research can range from single-command line scripts to multigigabyte code repositories. Many scientist-created programs are ad hoc efforts never intended for distribution or release, but all can be equally critical to research outcomes. Although it is typical to publish general conceptual and functional descriptions of new, major pieces of scientist-created software, it is not uncommon to withhold the program source code and instead release only the binary (executable) version of a program. Source code is the human readable form of a programming language and contains the complete set of instructions for how a computer processes input data. In the absence of source code, the inner workings of a program cannot be examined, adapted, or modified.
View larger version:
In this window
Download PowerPoint Slide for TeachingThe consequences of relying on these black boxes in research computation can be far-reaching. Common implementation errors in programs, such as failing to convert units correctly or assigning missing values as zero, can be difficult to detect without access to source code (2). Recent retractions, resignations, and canceled clinical drug trials at Duke University involved unreleased and unreproducible code (3). Calls for greater focus on reproducibility in scientific research have mounted in recent years (4, 5), and the inability to reproduce many published computational results or to perform credible peer review in the absence of program source code has contributed to a perceived “credibility crisis” for research computation (6, 7). Source code withholding causes duplication of efforts by preventing sharing and reuse of validated computer code (8) and is incompatible with the stated goals of science funding agencies and policy advisory bodies (9).
How and why this unique disparity in disclosure practices persists within research computation is complex and goes beyond simple protectionism. Contributing factors may include the informal means by which most scientist-programmers attain their programming skills (10, 11). It is not uncommon for self-taught programmers to be insecure about publishing “ugly” code: programs that work but do not conform to accepted best practices, are inefficient, or are aesthetically lacking (12). Lack of awareness and education around issues of code dissemination among scientist-programmers may also contribute. Among the small number of programming courses geared toward scientists, issues of code publishing or software licensing are seldom addressed.
Systems of attribution and citation, frequently relied on as metrics for career evaluation and achievement, which have evolved to accommodate publication of traditional scientific methods and techniques, may not adequately assure authorship credit when source code is adapted by other researchers. Tendencies toward traditional IP protection regimes at institutional technology transfer offices (TTOs) can result in proprietary licensing and distribution schemes that discourage release of source code (13).
Public-funding and policy-setting agencies have yet to enumerate clear, comprehensive, and universal policies promoting the publishing and dissemination of computer source code. Some specific funding initiatives evaluate applicants, in part, on software sharing and dissemination plans [e.g., (14)]. Such grants are typically for, or specifically include, large software development projects, however, and thus fail to address the large majority of scientist-created code.
Most significant may be the absence of a universal disclosure requirement by the gatekeepers of scientific publishing. Of the 20 most-cited journals in 2010 from all fields of science (15), only three (16–18) (including Science) have editorial policies requiring availability of computer source code upon publication. This stands in stark contrast to near-universal agreement among the 20 on policies regarding availability of data and other enabling materials.
Mechanisms of Code DisseminationSource code can be made available through a variety of mechanisms. Posting code for download on laboratory Web sites, deposition in public code repositories, or making use of publisher facilities for supplemental materials are just a few existing options (6). Because of the complexity and unique characteristics of computer source code, however, preserving the systems of attribution and citation that have evolved to accommodate traditional channels of scientific publishing (e.g., data sets, journal articles, and lecture materials) requires additional measures. Fortunately, a variety of software licensing tools exist to help scientist-programmers retain the benefits of authorship, as well as protect IP rights, when disseminating their code.
Beyond allowing others to inspect and understand the inner workings of a computer program, open source software (OSS) licenses encourage the free adoption, reuse, and adaptation of computer source code while also assuring the attribution and citations customary in scientific research. For the scientist-programmer, disseminating software under an OSS license can be a simple method for enabling community participation in development, use, and adoption of a program and can lead to enhanced influence, reputation, and increased rates of citation for the author (19). Numerous types of OSS licenses exist to meet the diverse needs of academic environments, many of which were developed by and for academics working at research institutions [e.g., Berkeley Software Distribution (20), MIT (21), and Educational Community License (22)]. OSS licenses are also fully compatible with commercialization of scientist-created software (23) and Bayh-Dole requirements that allow the patenting of inventions created using public funds (24).
Although OSS licensing options are well suited to the open access and dissemination goals of publically funded research (25–28), not every research software development effort will find OSS licensing an appropriate vehicle for source code dissemination. Many large, publicly funded research software development projects (29, 30) have found a mixture of standard OSS and custom licensing to be appropriate means of achieving source code disclosure while also generating commercial licensing revenue.
Eliminating the Disclosure DisparityAs reliance on scientist-created software grows across scientific fields, the common practice of source code withholding carries significant costs, yields few benefits, and is inconsistent with accepted norms in other scientific domains. Changing this practice will require concrete and unambiguous policy action (see the table). Less definitive disclosure policies are unlikely to achieve desired results. For example, a recent article (31) makes a persuasive case for the necessity of source code release in reproducing scientific results, but fails to lay out efficacious policy recommendations likely to achieve significant and timely change in withholding practices.
Calls for change in disclosure practices from within the scientific community are not new. Similar actions, initiated by the research community and with the cooperation of publishers, have proven successful in the past. In the late 1980s, a group of structural biologists petitioned journal editors to help end then-common data-withholding practices by making the deposition of protein structure data into public databases a condition of publication (32). As a result, today, the Worldwide Protein Data Bank (33) is a vital enabling resource for the biomedical research community that has helped fuel the emergence of multiple fields.
More recently, the field of genomics underwent a community-driven consensus process on data publication and availability. The resulting “Bermuda principles” (34) state that data should be publicly released prior to publication, within 24 hours of generation. Similar principles have since been adopted by other publicly funded 'omics initiatives, including structural genomics (35).
The parallels between past and current debates over data withholding and the agreed solutions in favor of disclosure and publication are striking. Requiring that source code be made available upon publication would also be expected to yield substantial benefits—including improved code quality, reduced errors, increased reproducibility, and greater efficiency through code reuse and sharing. Achieving this would bring disclosure and publication requirements for computer codes in line with other types of scientific data and materials.
References and Notes
↵ D. Weitz , High Tech L. J. (1993); http://heinonlinebackup.com/hol-cgi-bin/get_pdf.cgi?handle=h....
↵ G. Wilson , Am. Sci. 94(1), 5 (2006). Web of Science
↵ R. S. Tuma , Oncology Times, 7 January 2011 [blog]; http://journals.lww.com/oncology-times/blog/FRESHSCIENCEforC....
↵ J. P. Mesirov , Science 327, 415 (2010). Abstract/FREE Full Text
↵ J. P. A. Ioannidis, M. J. Khoury , Science 334, 1230 (2011). Abstract/FREE Full Text
↵ R. D. Peng , Science 334, 1226 (2011). Abstract/FREE Full Text
↵ V. Stodden , Comput. Sci. Eng. 11, 35 (2009). CrossRef
↵ V. Stodden , MIT Sloan School Working Paper 4773-10 (2010); http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1550193.
↵ NSF, National Science Foundation; www.nsf.gov/pubs/2011/oise11003/.
↵ S. M. Baxter et al ., PLOS Comput. Biol. 2, e87 (2006). CrossRef
Medline
↵ Z. Merali , Nature 467, 775 (2010). CrossRef
Medline
Web of Science
↵ N. Barnes , Nature 467, 753 (2010). CrossRef
Medline
Web of Science
↵ R. Litan et al ., Yale Law Econ. Res. Paper no. 426; CrossRef
↵ PAR-10-266, http://grants.nih.gov/grants/guide/pa-files/PAR-10-266.html.
↵ Thomson Reuters , 2010 Journal Citation Reports, Science Edition (Thomson Reuters, Philadelphia, 2012).
↵ B. Hanson, A. Sugden, B. Alberts , Science 331, 649 (2011). Abstract/FREE Full TextEditors, J. Biol. Chem.; www.jbc.org/site/misc/edpolicy.xhtml.
↵ Editors, Proc. Natl. Acad. Sci. USA; www.pnas.org/site/misc/iforc.shtml.
↵ H. A. Piwowar, R. S. Day, D. B. Fridsma , PLoS ONE 2, e308 (2007). CrossRef
Medline
↵ The BSD License, www.opensource.org/licenses/bsd-license.php.
↵ The MIT License, www.opensource.org/licenses/MIT.
↵ D. Greenstein, B. Wheeler , Open Source Collaboration in Higher Education (Indiana Univ., Indianapolis, IN, 2007).
↵ F. Hecker , IEEE Softw. 16, 45 (1999).
↵ B. N. Sampat , Nature 468, 755 (2010). CrossRef
Medline
Web of Science
↵ 32006R1906–Regulation (EC) Official Journal L 391, 30/12/2006 P. 0001i; http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=CELEX:....National Science Foundation, www.nsf.gov/pubs/policydocs/pappguide/nsf11001/aag_6.jsp#VID4.
National Institutes of Health, Fed. Regist. 64(246), 72090 (1999).
↵ T. R. Cech et al ., Plant Physiol. 132, 19 (2003). FREE Full Text
↵ Phenix, www.phenix-online.org/.
↵ RosettaCommons, www.rosettacommons.org/.
↵ D. C. Ince et al ., Nature 482, 485 (2012). CrossRef
Medline
Web of Science
↵ F. M. Richards et al ., http://hkl.hms.harvard.edu/si/disclosure_letter.pdf.
↵ H. Berman, K. Henrick, H. Nakamura , Nat. Struct. Biol. 10, 980 (2003). CrossRef
Medline
Web of Science
↵ E. Birney et al ., Nature 461, 168 (2009). CrossRef
Medline
Web of Science
↵ A. Edwards , Nat. Struct. Mol. Biol. 15, 116 (2008). CrossRef
MedlineEditors, PLoS Comput. Biol. (2008); www.ploscompbiol.org/static/policies.action.
We thank K. Keating and P. Suber for discussions, and S. K. Burley for providing the document in (32).
> Поэтому иногда они стесняются, что кто-то посторонний увидит их не всегда эффективные или "грязные" решения, обсуждая это публично.Именно так. Код пишется для себя, выкладывать такое в открытый доступ - ну, я даже не знаю, это как дырявые трусы с носками напоказ выставить.
Если ты проводил эксперимент, в нем приняли участие трусы и носки и ты хочешь поделиться результатом с общественностью - придется тебе выставить напоказ трусы и носки на благо науки. Ну или как ты предлагаешь воспроизводить эксперимент если ты не указал какие именно трусы и носки, а другие не вписались в требования эксперимента? :)
Если бы вы занимались научной работой, то знали бы, что от такого кода толку для стороннего человека почти ноль. Обычно перед запуском программы в 20 различных местах меняются константы, все перекомпиливается и запускается.
>Если бы вы занимались научной работой, то знали бы, что от такого кода толку для стороннего человека почти ноль. Обычно перед запуском программы в 20 различных местах меняются константы, все перекомпиливается и запускается.Вот именно, большая часть т.н. учёных занимаются бесполезной фигнёй, которая вряд ли вообще кого-то заинтересует. За эту фигню они получают огромные деньги от тупых и неграмотных политиков, чиновников и менеджеров. Естественно они не хотят показывать код, ведь любой мало-мальский программер в два счёта выявит всю бутафорию, которой они занимаются
М.. спорное утверждение. Раз ты мало мальски продвинутый программер напиши мне софтину которая например поля считает которая плазма в ТОКАМАК создает. И систему стабилизации таких полей рассчитай. А потом посмотрим как мало мальски продвинутый программер сядет в лужу с физикой например таких процессов
> программер сядет в лужу с физикой например таких процессовДа, физика там о-го-го какая. У типичного быдлокодера мозг вспухнет.
> М.. спорное утверждение. Раз ты мало мальски продвинутый программерЯ, будучи "мало мальски" (вообще-то, это пишется через дефис, г-н. "учёный") "продвинутым программером" только выпустившемся из института, как-то имел дело с одной программой для рассчёта кристаллических решёток. Сразу скажу что ни черта в этих решётках не понимаю, и понимать не хочу, на факт в том, что только благодаря исходникам мы собрали и запустили ту программу на нашем кластере, (на спарках, кстати), причём почти без модификаций. Уже этого было бы достаточно чтобы требовать исходников безоговорочно, но всё ещё веселее - при содействии авторов программы и наших физиков мы с коллегами-программистами составили набор тестов для этой программы (продолжая ни черта не понимать), после чего оптимизировали узкие места. Барабанная дробь - код стал быстрее в 120 с копейками раз и его стало возможным запускать на обычном PC (а сейчас, небось, он будет работать даже на мобильнике).
Так что мифы о том, что исходники не нужны или их сложно использовать, засуньте, подалуйста куда поглубже. Исходники - это всё, и софта без публично доступных исходников в мире быть вообще не должно. Не только в науке.
Речь то как раз о том что исходники нужны. Что облегчит жизнь многим кто занимается схожими проблемами.
Один такой умник, продолжая ничего не понимать в предметной области, "исправил ошибку инициализации" в коде OpenSSL. Над дебианом потом всем миром смеялись больше года, а все уязвимые ключи не заменены до сих пор.
Подумайте над этим.
> Один такой умник, продолжая ничего не понимать в предметной области, "исправил ошибку
> инициализации" в коде OpenSSL. Над дебианом потом всем миром смеялись больше
> года, а все уязвимые ключи не заменены до сих пор.
> Подумайте над этим.кстати, неплохо бы подумать и над таким вопросом:
разработчик openssl использовал в качестве источника случайной информации содержимое непроинициализированной ячейки памяти·
а представим на секунду, что я крипто-параноик, и в моей системе память перед использованием всегда заполняется нулями·
ведь я получу в результате те же грабли — предсказуемую псевдо-случайность·
и над чем тогда следует смеяться «всему миру» — над моей параноей, приведшей openssl к факапу, или всё-таки над «глубоким специалистом в предметной области, не очень хорошо разбирающимся в программировании»?
клёво вещать, не разбираясь, правда? сразу ощущаешь себя умным.
> клёво вещать, не разбираясь, правда? сразу ощущаешь себя умным.если я не прав — поправьте меня, пожалуйста·
предлагаю сходить и лично посмотреть, что именно делалось в openssl и что «поправил» недомаинтайнер. исходники есть.хинт: *один из источников*. и правка была далеко не так безобидна, как казалось.
> предлагаю сходить и лично посмотреть, что именно делалось в openssl и что
> «поправил» недомаинтайнер. исходники есть.вы хотите сказать, что я не прав, и в оригинальном openssl не использовалось содержимое неинициализированных ячеек памяти для инициализации pseudo-random number generator?
ок, я вам верю на слово·
мда…
> а все уязвимые ключи не заменены до сих пор.Только у дебилов которые игнорируют апдейты. Остальным даже блеклист ключей приехал.
> Один такой умник, продолжая ничего не понимать в предметной области, "исправил ошибку
> инициализации" в коде OpenSSL. Над дебианом потом всем миром смеялись больше
> года, а все уязвимые ключи не заменены до сих пор.
> Подумайте над этим.Неистово плюсую.
>ТОКАМАКЭх, доживем ли мы до того случая когда торжественно запустят первый токомак или так и будут экспериментальные установки да одни статьи с программами расчета:( Этому открытый код явно не поможет
Вроде ИТЭР должен по энергии в плюс выходить...
Ну так ведь тем более открытый код - шанс решение проблемы !
>напиши мне софтину которая например поля считает которая плазма в ТОКАМАК создает. И >систему стабилизации таких полей рассчитай.Нет проблем.
ТЗ в студию, пожалуйста.
>>Если бы вы занимались научной работой, то знали бы, что от такого кода толку для стороннего человека почти ноль. Обычно перед запуском программы в 20 различных местах меняются константы, все перекомпиливается и запускается.
> Вот именно, большая часть т.н. учёных занимаются бесполезной фигнёй, которая вряд ли
> вообще кого-то заинтересует. За эту фигню они получают огромные деньги от
> тупых и неграмотных политиков, чиновников и менеджеров. Естественно они не хотят
> показывать код, ведь любой мало-мальский программер в два счёта выявит всю
> бутафорию, которой они занимаютсяВ том то и проблема, что, по крайней мере, в Российской Федерации, чиновники не хотят вкладывать большие деньги в развитие фундаментальной науки как таковой, положительная результативность исследований в которой довольно низкая (она во всём мире низкая). Более того, министерства зачастую сами не знают чем должны заниматься научные организации, считая, что научно-исследовательские центры сами должны искать себе заработок посредством грантов - вот и получается, что разрабатываемый отдельными людьми внутри организации софт имеет часто слишком узкую направленность под конкретные задачи, где по мере надобности дописываются необходимые функции, большая часть кода может быть просто сильно модифицирована, и всё это для того, чтобы можно было отчитаться результатом в рамках выигранного гранта, текущей работы.
Сидеть и писать полноценное приложение обобщённое на несколько стандартных задач в сотрудникам просто некогда, если первоначально сотрудник сам не захотел написать общую оболочку (в этом случае он единственный разработчик) - либо ты занят исключительно разработкой софтины, которой смогут пользоваться другие без твоей помощи, и живёшь на оклад 10-15 тыс. рублей в месяц - "шоб ты так жил!" :), либо работаешь над текущим заданием в рамках гранта/договора/контракта.
К тому же, все нормальные европейские, да и не только в Европе, организации (ONERA, Airbus, Safran и др. - ну и Boing туда же, хоть и не европейский) используют внутренние наработки, коммерческим расчётным пакетам по качеству используемых методов, до которых в большинстве случаев ещё пахать и пахать. Вполне понятно, что они не намеряны выкладывать свои разработки в открытый доступ - так как иначе к ним не будут обращаться другие организации за счёт контрактых работ с которыми они в том числе и существуют.
> В том то и проблема, что, по крайней мере, в Российской Федерации,
> чиновники не хотят вкладывать большие деньги в развитие фундаментальной наукиНу вот мы и превратились в ресурсный придаток который нифига не может кроме как нефть гнать.
> Ну вот мы и превратились в ресурсный придаток который нифига не может кроме как нефть гнать.А что вы раньше умели?
> А что вы раньше умели?А раньше много чего умели. СССР был огроменной империей. Они летали в космос, осваивали энергию атома (и мирного и не очень). Они лидировали в куче отраслей промышленности (правда не в потребительском секторе).
В чем они НЕ лидировали так это в электронике. И пробакланили момент который я называю промышленной революцией #2. А именно, когда "просто машины" стали заменяться "умными машинами". В результате слили направление в котором СССР в принципе был достаточно силен.
> В чем они НЕ лидировали так это в электронике.Интересно, что бы выросло, если бы вместо клонирования продолжили развивать своё (возможно, и машины с троичной логикой)...
> За эту фигню они получают огромные деньги от тупых и неграмотных политиков, чиновников и менеджеров.Г-н ученый, а можно вот про громадные деньги немного поподробнее. Ну очень интересно, правда. Вот про умных программеров с опеннета это неинтересно, про политиков тож не очень, а вот про громадные деньги ученым ну просто очень интересно.
Удивительный вы человек. Ну так выгоните тогда всех "дармоедов".А про код. Его открытие ни кому не поможет. Например, в моём случае. Ну опубликую, а дальше? Ни когда не слышали о граничных и начальных условиях? Без них всё равно нифига не запустится. А при некоррктных - так и вовсе развалится.
Открытие кода может помочь только в одном случае - найти явный факап. Но он заметен и по "ниткам", что лезут со всех сторон в результатах (и тут прячь-не-прячь...).
Ах, да. Китайцы. Вот те с удовольствием сдуют, слепят - и будут все твои результаты у них. А ты будешь сидеть с носом.
Ну, и "повторение программных схем" - это очень хорошая штука. Решая одну задачу (одну или схожую систему PDE) разными коллективами и разными методами можно судить о достоверности результата. Если рядом - то хорошо. А вот если и рядом не лежало... Именно такуя проверку уничтожит механизм. Зачем я что-то буду выдумывать - я лучше "запущу его чёрный ящик"
> Ах, да. Китайцы. Вот те с удовольствием сдуют, слепят - и будут все твои результаты у них. А ты будешь сидеть с носом.На сегодняшний день во многих областях китайцы передовики. Я бы очень хотел увидеть исходники ряда китайских ученных. В настоящий момент пытаюсь реализовать их решения, чтобы использовать в своей работе, это очень не просто. Обеими руками "ЗА". В моей области нет ни одной русской публикацией, так что пора становиться реалистами. Скажем честно большинство российских статей приличные журналы не примут и это отнють не из идеалогических соображений. В общем, пример с китайцами ИМХО не удачен
> Если бы вы занимались научной работой, то знали бы, что от такого кода толку для стороннего человека почти ноль.О посторонних речи и не идет.
> Обычно перед запуском программы в 20 различных местах меняются константы, все перекомпиливается и запускается.
Да чем-бы дитя не тешилось... Главное, чтобы потом это могли воспроизвести и другие, а не только тот студент-третьекурсник, который написал научруку эту хрень...
Как минимум, хуже от этого не будет. Если, конечно, в процессе не используются компоненты с копирастическими ограничениями, запрещающими публикацию вашей программы с константами... Тады ой.
Хуже от этого будет, когда армия китайцев, которая итак плагиатит наши научные статьи начнёт ещё и плагиатить наш код.
> Если бы вы занимались научной работойЕсли бы вы занимались научной работой, то знали бы, что публикация результатов не интересует "стороннего" человека.
А для не"сторонних" необходимы не только математические выкладки, но и их программные решения, пусть даже сырые и неэффективные. Эффективные программные решения сделают профессиональные прогеры, но без взаимодействия с научным работником это тоже практически не возможно.
> А для не"сторонних" необходимы не только математические выкладки,
> но и их программные решения, пусть даже сырые и неэффективные.Мало того, научный софт видывал или жутко уродливый, или весьма красивый -- с "середнячками" как-то совсем туго. Уродливый, вероятнее всего -- продукт низкой квалификации (и уровня культуры) авторов как программистов, острой нехватки времени и переписываний по полдерева за ночь. Красивый вылизывают подчас всем миром.
Свои расчётные поделки публиковал, через лет десять даже дёргали...
Инициатива хорошая.
что значит «уродливый»? в большинстве случаев это фронтэнды, полагаю.
Какие к черту фронт-энды у научного кода?
> Какие к черту фронт-энды у научного кода?прибитые гвоздями к бэкэндам обычно.
Скорее отсутсвующие. Что-то более-менее приличное (человечный формат входных файлов или даже GUI) обычно появляется, только когда за проект берутся программисты
Ога и примерно же в этот момент частенько из программ исчезает физсмысл.
> Если бы вы занимались научной работой, то знали бы, что от такого
> кода толку для стороннего человека почти ноль.Внезапно, я прекрасно в курсе техник проведения экспериментов - в нормальных ВУЗах такому обучают, ну или по крайней мере, в свое время обучали, вы прикиньте? Более того, я иногда балуюсь измерениями и прекрасно представляю себе что например схема некоей приблуды меряющей нечто без фирмвари управляющего всем процессом uC в комплекте - ничего из себя не представляет вообще, т.к. 99% работы фирмваре и делает как раз :)
> Обычно перед запуском программы в 20 различных местах меняются константы,
> все перекомпиливается и запускается.И что дальше? Коллегам придется с нуля корябать такое же, с риском накосячить. Не факт что они сделают лучше. А вот геморроя им - добавится. Чтобы просто воспроизвести ваш эксперимент. А вот это - форменное свинство. Вы добавляете людям много работы на ровном месте только из-за какого-то там стыда. Маразм. Если кому качество кода не нравится - почему бы не объяснить что они в своем праве написать лучше? Дареному коню в зубы не смотрят.
> Если бы вы занимались научной работой, то знали бы, что от такого
> кода толку для стороннего человека почти ноль. Обычно перед запуском программы
> в 20 различных местах меняются константы, все перекомпиливается и запускается.Сторонние человеки разные бывают. В НИИ, где я делал диплом, человек, писавший программы за весь отдел, исходники держал зашифрованными, а коллегам давал только бинарники. И что хорошего? Когда появились всякие CUDA, возможности использовать их не было, потому что у автора было дофига нагрузки, а молодняк, у которого было и время, и желание прикрутить использование GPU для обсчёта данных, оказывался перед необходимостью писать всё с нуля самим, т.е. выполнить в одиночку всю работу, которую когда-то делали несколько человек.
>Код пишется для себя, выкладывать такое в открытый доступ - ну, я даже не знаю, это как дырявые трусы с носками напоказ выставить.Делайте на совесть!
Так думают только имбецилы. Начнём с того, что компилятору положить на "грязноту" кода, а одно из главных преимуществ опенсорса - возможность собрать бинарник под свою платформу. А вообще, с такими требованиями, может "учёные" и начнут свой код в порядок приводить.
"Умные" получается думают что закрытый код - это возможность собрать бинарь под свою платформу?
Ты негодный аноним, рано тебе фиксить.
Ну наконец-то. Очевидные вещи познали.
«..помимо разоружения, следует продумать возможность действительного сотрудничества между народами всего мира, не считаясь с национальными и иными различиями. Это означает, что весь мир должен стать открытым. Практически это равносильно объявлению незаконным любого секрета..
…Сообщество науки и знаний… — залог прекрасного будущего для всего человечества, фундамент международных организаций, которые возникнут в будущем. Именно в них, на мой взгляд, заключается надежда на то, что мы переживём наш странный период истории человечества..» Роберт Оппенгеймер ("папа" ядерной бомбы). Статья в газете «Монд» от 31 мая 1958.
Я уж думал наши журнал. Подумал нифига себе выросли со времен моей аспирантуры. А оказывается американские. А наши как были так и еще долго останутся убожествами. Я про 95% из ваковского списка.
99% всех научных статей это шлак. Если завтра полностью отменят т.н. фундаментальную науку и заставят псевдо-учёных делать работу нормально, человечество только выиграет. Сейчас же наука это модное словечко, служащее для выбивания денег из лохов
Ты не прав.
Ты не прав
Распределение ума по ученым сродни распределению Больцмана - для существования 1-го гения требуется 99 бездарей. Обычно думают, что если заставить эти 99 бездаря заниматься физическим трудом, а в науке оставить одного гения то будет все зашибись. Не будет. Во-первых, пока нету 100 человек занимающимся каким-то одним делом, не появится среди них того единственного гения, выделяющегося из толпы бездарей. Во-вторых, гении тщеславны. Если гения оставить без аудитории - без тех бездарей, которые тем не менее способны оценить гения - то у него пропадет всяческая мотивация - нафига делать то, что никто не способен оценить или чем никто не способен восхищаться. То есть куча восхищенных бездарей, подпитываемая немного финансами, и есть тот грунт на котором произрастают настоящие ученые. Убрали питательный грунт - завял цветок, может и не сразу. Нету грунта - цветок и не появится. Понятно, что из каждого правила есть исключения, есть ученые абсолютно не тщеславные, бессеребренники и тд, но они все-таки в меньшинстве.
>для существования 1-го гения требуется 99 бездарейСовременная наука не представляет уже той среды в которой могут получиться гении. Гении, если даже они где-то зарождаются, мгновенно изничтожаются, поскольку не способны понять важной истины. Наука - не для прогресса. Наука для того, чтобы заниматься перераспределением бабла, взамен которого глупым но богатым отдают куски напечатанной бумаги и левый код.
> Наука - не для прогресса.А она и так не для "прогресса" (который как раз по большей части и заключается в перераспределении повидла да фантиков).
> без тех бездарей, которые тем не менее способны оценить генияЧтобы оценить гения - надо как минимум разбираться в вопросе и хорошо. Конечно гением можно и не быть, но кроме всего прочего - если на гения сгрузить вообще все, он от перегруза с катушек слетит. Ну не сможет гений лично рулить всеми системами ускорителя чтобы свою же теорию проверять. Упухнет.
Вы просто уточнили и расширили часть высказывания на которое ответили.
> Вы просто уточнили и расширили часть высказывания на которое ответили.А вы вообще выступили Капитаном :)
Так точно.
> 99% всех научных статей это шлак.Скорее информационный шум, из которого некоторым все-таки удается извлечь сигнал.
> Если завтра полностью отменят т.н. фундаментальную наукуДа уже отменили, так что не переживайте так.
>и заставят псевдо-учёных делать работу нормально, человечество только выиграет.
Ну да. Вы ведь уже решили кто, что, как и вместо чего на самом деле должен делать, верно? Это же так очевидно.
Ни чего постыдного в научных решениях нет, даже если они написаны не совсем "эффективно", вопрос чего стыдиться? Стыдится, как раз таки, надо закрытости информации, это - регресс. ИМХО, конечно.
> Ни чего постыдного в научных решениях нет, даже если они написаны не
> совсем "эффективно", вопрос чего стыдиться? Стыдится, как раз таки, надо закрытости
> информации, это - регресс. ИМХО, конечно.Стыдится надо того, что прогресс свёлся к написанию никому не нужных статей и разъезжанию по конференциям.
А подумать? Очень просто и легко всё свести к одному знаменателю: ни ума ни знаний не надо
> прогресс свёлся к написанию никому не нужных статей и разъезжанию по конференциям.Гораздо сложней разобраться и отделить зёрна от плевел: это же надо "быть в теме".
> Стыдится надо того, что прогресс свёлся к написанию никому не нужных статей
> и разъезжанию по конференциям."Прогресс" -- да (ещё к кидалову вроде зверских гриппов и больших коллайдеров), наука -- нет.
Люди, которые изучают матушку-природу не за бабло и не под степень, а по зову сердца и честно -- были и есть. Просто их мало, подчас вовсе не видать и не слыхать.
> "Прогресс" -- да (ещё к кидалову вроде зверских гриппов и больших коллайдеров),Эй, а коллайдеру то за что? Вполне себе научная машина, способная разгонять пучки до нее...ческих энергий. Что позволяет глубже засунуть лапы в понимание того как вещество устроено и почему оно - именно вот такое, как оно вообще возникает и какие процессы обусловили все это, как они происходят и почему - именно вот так (например, откуда взялся).
Не знать столь базовые вещи о мире в котором живешь для существ снабженным мозгом просто непростительно. Поэтому снимаю шляпу перед теми кто умудряется вышибать деньги на такие масштабные машины. Если вы готовы предложить более простые и дешевые решения по разгону пучков до тех же энергий чтобы изучать вещество в тех же состояниях - велкам :)
> Эй, а коллайдеру то за что?За пиар пшика.
Не думаю, что тут стоит винить ученых, пиар не их специализация. Собственно, никто из них и не обещал быстрых результатов и мегатехнологий вот прямо завтра
> Ни чего постыдного в научных решениях нет, даже если они написаны не
> совсем "эффективно", вопрос чего стыдиться? Стыдится, как раз таки, надо закрытости
> информации, это - регресс. ИМХО, конечно.Потому что прибежит Вася Пупкин и расскажет астроному что тот (мат), поскольку крутые ученые не пишут SpSS, а всегда на C. Ученому часто стыдно показывать установку, потому что это на столе - куча трубок и проводов, но в ней хоть элемент новизны, а в программе - 95% что это нечто подсовывает данные и что-то измеряет, причем собрано из кусков старых программ, 50% из которых вообще не известно под какой лицензией было создано ( да и кем)
> Потому что прибежит Вася Пупкин и расскажет астроному что тот (мат),
> поскольку крутые ученые не пишут SpSS,Ну так пусть покажет класс и напишет лучше. Можно сверяясь с астрономом и с его помощью. Или идет нафиг. Хреновая программа лучше чем никакой вообще.
Да. Вроде. Какбы. Если ты что-то делаешь впервые, то ты это почти всегда делаешь неидеальным способом. Если ты получил результат, то ты этот результат публикуешь. После этого сразу выстраивается очередь желающих повторить (с тайной надеждой улучшить) твою работу. Когда эти желающие узнают, какими кривыми путями ты добирался до результата, они радуются. Многие научные работы начинаются именно с перемыва косточек (в том или ином смысле) предыдущим исследователям.Занимается себе человек какой-нибудь биохимией жидких кристаллов, толкает науку, но отвратительно программирует. Он вообще программирование осилил лишь в той мере, в которой оно ему надо для исследования. И не претендует на звание гуру. И вообще не нравится оно ему. А тут набегает великий кодер, который едва втыкает эту биохимию жидких кристаллов, но зато знает массу способов улучшить алгоритм. И сразу начинает критиковать предыдущего за криворукость. И ещё претендует на научное звание в этой самой биохимии жидких кристаллов!
>И сразу начинает критиковать предыдущего за криворукость.Покритиковал, исправил - все довольны.
>И ещё претендует на научное звание в этой самой биохимии жидких кристаллов!
С какой стати, если он кодер, а не химик?
В соавторы хочет
Внезапно! - Ричард Баркер, отец CASE - метода - химик! :)
а Коливас ваще дантист. и что?
Только выкладывания одних исходников мало. Нужно выкладывать не только тексты программ, но и экспериментальные данные в оцифрованном виде, с полным описанием того, как эти данные были получены (методика, пост-обработка и т.п.), и все входные данные для используемого программного обеспечения для того, чтобы результат действительно можно было повторить.
> как эти данные были получены (методика, пост-обработка и т.п.),Ну так вот это вот и может быть зарыто в дебрях сорца который не выдали... вот чтобы этой ситуации избежать и предлагается публиковать ВСЕ материалы.
Да мы рады выложить все наши экспериментальные данные. Лишний бэкап нам не помешает. Только вы в них утоните.
> Только вы в них утоните.Это Ваше условие? ;)
Да не — это предсказание ☺
> Да не — это предсказание ☺неа, не получается предсказания с таким глаголом в повелительном наклонении.
> утоните.это приказ?
>> утоните.
> это приказ?неизбежность
>> это приказ?
> неизбежностьНе, в указанной форме слова - это приказ или пожелание :)
Замечательно! Осталось только выложить сорсы программного обеспечения Большого Адронного Коллайдераю
> Замечательно! Осталось только выложить сорсы программного обеспечения Большого Адронного
> КоллайдераюДа пусть выдают. А можно еще и коллайдер заодно? :)
http://www.scientificlinux.org/ ?
> http://www.scientificlinux.org/ ?Это немного не то. Хотя код никто специально не скрывает. Он просто не применим фактически нигде, кроме как по месту.
Но они ведь именно на этом свой код создают и запускают? А значит для вхождения в тему, для заинтересовавшихся кодом коллайдера, это одна из первых ступеней. Или я не прав?
> Или я не прав?Угу. Очень сильно. Там просто обычный дистрибутив GNU/Linux общего применения.
а зачем? вот именно в данном случае: зачем?
> Замечательно! Осталось только выложить сорсы программного обеспечения
> Большого Адронного КоллайдераюСлишком много людей узнает, сколько там было лажи. Особенно если с историей, чтоб можно было сопоставлять по дедлайнам...
> Слишком много людей узнает, сколько там было лажи.Тем не менее, другой такой же по масштабам машины просто нет.
> Слишком много людей узнает, сколько там было лажи. Особенно если с
> историей, чтоб можно было сопоставлять по дедлайнам...Не лезли бы вы в те места, в которых не понимаете. А ошибки безусловно есть везде, причём самые поганые отнюдь не софтверные, но можно даже с ними работать, если предварительно оценить вносимые ими систематические неопределённости.
>> Слишком много людей узнает, сколько там было лажи.
> Не лезли бы вы в те места, в которых не понимаете.Евгений, по HPC новости немного долетают. Вылет из бюджета и сроков по этой части на той установке был некислый.
И, что это означает? Они делают то, что никто никогда не делал. Или вы сторонник составления плана по открытиям? Да, в компьютинге там очень много людей. Да, люди далеко не всегда такие квалифицированные как хотелось бы. Но следует отметить, что компьютинг не является тормозом в том эксперименте -- он на удивление (инфраструктура не оптимальна и диктуется в основном политическими решениями -- вида кто и на что даст денег) работает более-менее без сбоев (в том числе из-за временами героической работы обслуживающего персонала из России).
> Они делают то, что никто никогда не делал.Нуу во-первых, одной из публично заявленных целей было как раз _воспроизведение_ определённых условий. :)
А во-вторых, я бухтел про кластерное хозяйство и там они делали то, что до них делали и после них тоже будут (да, с вылетами по времени и деньгам, как и по многим другим ИТ-проектам -- это тоже понятно).
Если позволять себе покрывать "новизной" ляпы, то можно очень далеко зайти. Не стоит.
> А во-вторых, я бухтел про кластерное хозяйство и там они делали то, что до них делали и после них тоже будут (да, с вылетами по времени и деньгам, как и по многим другим ИТ-проектам -- это тоже понятно).LCG GRID вообще-то _реальная_ новизна в большом объёме. Так что не надо ля-ля. Другое дело я сейчас бы ни в коем случае на такую инфраструктуру не закладывался. Слишком дорогая, но похоже изначально выбора просто не было. И сейчас это всё _работает_ чтобы там не говорили про сроки и прочее, а это и есть основная цель.
Осталось понять куда это выкладывать и зачем это редактору, рецензентам и тд. Статьи и так режут как только можно, так что нынешние статьи это скорее абстракты к сопутствующему материалу, тому самому, что без ограничений на количество страниц рисунков таблиц и тд. Все это нужно разве что читателю, но и то не всякому, а геморою добавится всем, в первую очередь авторам. Ну ладно скрипты там, бинарники и тд - речь о мегабайтах, но ведь есть еще и сами данные. У меня например файлы ежедневно генерируются по несколько сотен гигабайт - куда прикажете их положить - на сайт редакции? На свой сайт? Я их вообще долго не храню - винтов не напасешься, собрал, обработал и стер.Вот если бы обязать автора предоставлять читателям полный (в разумных пределах) исходный материал по статье - это другое дело. Сейчас это скорее на усмотрение автора - захочет ответит, захочет чем то поможет, захочет все разжует и софт поможет запустить, а не захочет то и спросить не с кого.
> Осталось понять куда это выкладывать и зачем это редактору, рецензентам и тд.Затем что без исходников они могут отправляться в РАЕН к Чудинову искать буковки на какашках. Без открытости нет никакой науки.
> У меня например файлы ежедневно генерируются по несколько сотен гигабайт
Был у меня бывший однокурсник из физтеха "с несколькими сотнями гигабайт в день"... Как-то научил его сначала не спользовать XML, потом fixed point форматам, префиксной и delta- компрессии и zlib. И внезапно вдруг стало "гигабайты в день", полгода экспериментов храняться на обычном винте. Хотя и сотни гигабайт в день нынче копейки, у меня одних торрентов в день сравнимо качается (25-50ГБ bdrip фильмец вечером посмотреть), данные стирать давно отвык.
> Вот если бы обязать автора предоставлять читателям полный (в разумных пределах) исходный
> материал по статье - это другое дело.Это и есть весь код и данные.
Грамотное сочетание XML и zlib позволяет сохранить высокий уровень абстракции (с возможностью расширения и легким чтением из любых языков на любых платформах), при этом дает не такой уж большой оверхед по объему хранимой информации. Так что отказ от XML первым делом - не лучшая практика.
> Грамотное сочетание XML и zlib позволяет…затормозить даже хорошие алгоритмы. отказ от xml — это очень хорошая практика. потому что xml — это double fail: машиной он читается с трудом, человеком тоже. тот же yaml, например, и глазами читается проще, и парзер для него проще.
xml — это такой модный buzzword. технологически эта штука применима весьма в малом количестве случаев. зато пихают её везде, потому что «xml — это круто, бакланы!»
Нет, просто XML - это самое простое и легко поддерживаемое, что можно сделать.
Отказ от него должен быть обоснованным, как и любая оптимизация.
В качестве первого шага отказываться от широко поддерживаемых форматов и переходить на велосипедные блобы - порочный метод, и применяться он должен только по необходимости.
Вы - вряд ли. Но те мои программы, которые используют XML, потребляют считанные килобайты, и утаптывать их в блобы - значит либо потерять обратную совместимость между версиями, либо поддерживать ее с куда большими усилиями, чем сейчас. Смысл?
я про блобы, заметь, ничего не говорил. я говорил только про человекочитаемые форматы. xml таковым не является.
> Нет, просто XML - это самое простое и легко поддерживаемое, что можно
> сделать.Для гигабайт бинарных данных?
> Грамотное сочетание XML и zlib позволяетМужик, OSMщики уже вкурили как это "удобно" когда 250Gb данных - в XML :) Эти сраные абстракции в таком виде в жизни не сожрет ни 1 текстовый редактор, ибо не заточены текстовые редакторы на чушки в полтора терабайта. Распарсить сие займет адово количество времени. Сжатие - еще и сверху добавит.
Плюнули чуваки и сделали иной формат выгрузки - бинарный и даже слегка задрюченный. Стало 16 гигз вместо 250... это меньше чем если ту 250Гб XML в непрерывном виде bzip2 пожать.
Так что да. Гнать ссаными тряпками и сраной метлой из мест где более сотен кило данных ожидается.
Речь про поток данных с сисиди камеры, 320 мбит/с, изображение динамичное, пикселизация очень важна. Я, конечно, не такой умный как вы, но эффективно упаковывать 12бит данные, рассчитывать ключевые кадры и дельта-кадры и записывать в таком виде все таки умудрился. В результате получилось около 15 мбайт/с. Дальнейшее сжатие всеми известными архиваторами дает эффект максимум порядка 20-30%, а занимает времени в разы больше чем сами эксперименты (по несколько часов в день). После обработки получается данных в десятки мегабайт, которые и хранятся. Хранить сами исходные файлы за сколь нибудь обозримый период времени не вижу смысла. Но раз редакция даст мне место под это - почему бы и нет, я с радостью закачаю и вам пару сотен гигабайт. Адресок только не забудьте предоставить.
> Дальнейшее сжатие всеми известными архиваторами дает эффект максимум порядка 20-30%, а
> занимает времени в разы больше чем сами экспериментыСэр, алгоритмы тивы LZ4/LZO/Snappy - могут все еще ать некое сжатие, а поток 15Мб/сек для них ну вообще не проблема. Они при сжатии в 10 раз больше на современном проце класса core2 прожуют спокойно, так что если данные хорошо шмутся - вариант.
> Адресок только не забудьте предоставить.
А вы как торенты раздвайте. Договориться с парой челов что они будут "бэкапы сервировать" наврядли большая проблема. При современных объемах HDD сотни гиг может простой Пупкин прихранить. А что такое сотня гб при майнстрим винчах на 1-2Tb? А адресом может быть вообще magnet link например - абстрактный идентификатор набора данных :).
Просто пока вы снимки с CCD камер изучаете, другие парни двигали вперед другие области знаний, в том числе и о том как раздать сотни Гб тысячам людей без затрат ресурсов.
Как-то так оказалось что в XXI веке ну совсем не проблема раздать 1000 людей файл в 100Гб. Для этого надо просто привлечь к раздаче их самих. Они же и бэкапом выступить могут, в принципе. Как видите, проблема в принципе решаема, если захотеть. На самом деле даже очень злые копирасы нынче под внутренние цели эти технологии юзают. Публично чертыхаясь, но внутри себя кантуя многогиговые чушки на кучи машин при помощи торентов :)
Я пробовал и эти в том числе на своих данных. Скорость там в ущерб сжатию - что толку что они прокачивают сотни мегабайт в секунду если неспособны их сжать хотя бы еще на 10%. После того как я сделал предварительное сжатие - отбросив незначащие биты, плюс примитивная дельта по кадрам, ни один из доступных под линукс алгоритмов не дал более 20% сжатия. Что, в принципе, неудивительно: изображения динамичные и шумные - без потерь хорошо не сжать. А чтобы хранить разумное время разумное количество данных требуется сжатие хотя бы в несколько раз.Просто у каждого своя специфика, кому то обязательно хранить огроменные массивы данных, кому-то после обработки они уже не нужны. Ну, например, какие нибудь спецы по крипто могут генерировать сумасшедшие по размерам таблицы нужные всего один раз. Или там результаты по молекулярной динамике - сохранил всю симуляцию, обработал и все, дальше саму симуляцию хранить без толку.
Хотя спор по большому счету ни о чем - речь, как оказалось, все-таки идет про предоставление доступа к использованным сырцам, а не к обрабатываемым данным программами из этих сырцов. В этом плане все выглядит гораздо разумней, речь пойдет в среднем про несколько мегабайт. Правда, непонятно, что делать с проприетарным софтом типа Comsol.
> Я пробовал и эти в том числе на своих данных. Скорость там
> в ущерб сжатию - что толку что они прокачивают сотни мегабайт
> в секунду если неспособны их сжать хотя бы еще на 10%.Да, они ловят только откровенную рыхлость данных. В принципе может помочь какой-то тривиальный препроцессинг, типа дельта кодировария между сэмплами и/или расщепление разрядов отсчетов, так что хотя сами отсчеты не совпадают, после препроцессинга рыхлость сильно возрастет и простой лемпел-зив на ура скостит обнаруженную избыточность. Но это от природы данных зависит. В этом плане умные парни обитают в районе compression.ru - они могут дельно подсказать.
> После того как я сделал предварительное сжатие - отбросив незначащие биты,
> плюс примитивная дельта по кадрам, ни один из доступных под линукс
> алгоритмов не дал более 20% сжатия.То что с камер обычно валится - имеет некий шум и прочая, что делает такой материалец не подарком для обычных lossless алгоритмов сжатия. Им надо точные совпадения, а с этим получается небогато. Однако есть ряд трюков с препроцессингом. При том ряд методов препроцессинга прост и быстр а результат куда удобнее для LZ-образных чем сразу влобешник с "датчика" с кучей шума.
> Что, в принципе, неудивительно: изображения динамичные и шумные - без потерь
> хорошо не сжать. А чтобы хранить разумное время разумное количество данных
> требуется сжатие хотя бы в несколько раз.Может быть, вас устроят какие-то lossy данные или специфичные штуки типа huffYUV, ориентированные на нечто подобное? Особенно если после постпроцессинга.
> Просто у каждого своя специфика, кому то обязательно хранить огроменные массивы данных,
> кому-то после обработки они уже не нужны.А тут имхо есть риск нарваться на ситуацию когда осознаешь что обработка была кривая, а пересчитать уже опаньки - исходного материала то нет. Впрочем вам наверное виднее.
> Ну, например, какие нибудь спецы по крипто могут генерировать сумасшедшие
> по размерам таблицы нужные всего один раз.Ой, вон в торентах радужные таблицы на десятки и сотни гигз есть. Они нужны не 1 человеку и не 1 раз. А некоторые особо шустрые не только понасчитали но и продают даже.
> Или там результаты по молекулярной динамике - сохранил всю
> симуляцию, обработал и все, дальше саму симуляцию хранить без толку.А что будет если обнаружится что в обработке был баг?
> Хотя спор по большому счету ни о чем - речь, как оказалось,
> все-таки идет про предоставление доступа к использованным сырцам, а не к
> обрабатываемым данным программами из этих сырцов.Ну да, сами данные по идее те кто воспроизводить эксперименты будут и сами добыть смогут.
> В этом плане все выглядит гораздо разумней, речь пойдет в среднем про
> несколько мегабайт.В современном мире нет никаких проблем раздать кусок в 100Гб данных толпе в 1000 человек, если уж такая задача есть. При том не требуется ни супер-серверов, ни архидорогих датацентров.
> Правда, непонятно, что делать с проприетарным софтом типа Comsol.
По уму - закaпывать. Потому что бред это собачий, когда бабло побеждает здравый смысл в ущерб всему остальному. Когда вы получаете выводы прогнав некие данные через некий черный ящик делающий "хзчто, но мамой клянусь что там все замечательно" - достоверность таких результатов под большим вопросом. В силу невозможности полноценной верификации: все упирается в неизвестность содержимого черного ящика и насколько он реально делал именно то что заявлено.
Ну, собственно, вот наглядный пример как далее будут развиваться события.Достаточно было заикнуться что у меня сотни гигабайт в день - как меня начали учить что не надо использовать xml, а надо в бинарном виде, с плавающей точкой, дельта компрессия и все такое на каком-то совершенно левом примере. Я пояснил что все это уже пройденный этап и даже объяснил откуда берется такой объем и почему его трудно сжать. Мне начали объяснять про новые алгоритмы сжатия, которые должны решить мою проблему. Которые, как я объяснил, не применимы в моем случае. Мне начали давать новые указания куда дальше копать, несмотря на то что текущая ситуация меня удовлетворяет почти полностью. Да и вносить изменения в программную часть уже после начала серии экспериментов нежелательно, неизменность условий эксперимента может нарушиться совершенно неочевидным или неожиданным способом. А после серии экспериментов и написания статьи я может быть переключусь совсем на другое и все эти оптимизации просто окажутся растратой времени. Например, полгода назад эта же установка генерировала килобайты в секунду потому что обходилась фотодиодом и возможно я еще вернусь к тому варианту. Или отброшу временное разрешение и разные входные условия как ненужное и начну интегрировать по 20-30 однотипных кадров в один, не теряя в пикселизации. Хотя и тут найдутся люди которые начнут учить как надо делать, хотя ни слова про что я делаю, как измеряю и зачем ещё не было произнесено.
То есть, обратите внимание: про предметную часть ни слова еще не было произнесено! У кого нибудь еще есть сомнения почему авторам может не понравиться идея публикации исходных кодов?
Дорогой мой анонимный брат! Ты очень умен с своей области. Не обижайся. Но не имея представления "зачем" не стоит лезть к незнакомым людям с советами "что" надо делать. Какими бы тупыми они не выглядели на первый взгляд.
И, все-таки, спасибо за дискуссию - по крайне мере я понял, что шел в правильном направлении и ничего существенного не упустил. То есть смысл публикации кода все-таки есть, если его обсуждение сведется не к тому какой же автор лошара, а к тому как этот код можно было бы быстро и эффективно улучшить.Аноним с сотней гигабайт
>А что такое сотня гб при майнстрим
> винчах на 1-2Tb?5...10% объёма.
?> Как-то научил его сначала не спользовать XML, потом fixed point форматам, префиксной и delta- компрессии и zlib.Я что-то упустил, он вроде до всего этого гуано был физиком, или все таки и тогда не уже был?
проблема в том что код не всегда можно показать - часто используются куски чужого кода прав на который как бы и нет у исследователя (попросил, подсмотрел, взял стянул у коллег, с книги итд). Или например если код разрабатывался многими людьми и не все согласны с публикацией. Или используются коммерческие библиотеки, тот же NAG например. Ну и как тут уже заметили, да немного стыдно за рабочий код - он почти всегда неоптимален и некрасив.
И таки что в этом случае должны делать остальные - кто хочет повторить исследование самостоятельно?
> И таки что в этом случае должны делать остальные - кто хочет
> повторить исследование самостоятельно?Обычно это решается в частном порядке. В своё время даже из китайцев удалось вытрясти программу подгонки массы тау-лептона и их генератор многоадронных.
С одной стороны доступ к данным вещь временами полезная, а с другой стороны на это придётся отвлекать лишние ресурсы.
>используются коммерческие библиотекиПостановить считать результаты обработки научных данных проприетарным ПО недостоверными (нелигитимными). И тогда желание у исследователей использовать проприетарщину отпадёт само собой. Это, как раз, могла бы быть хоть одна полезная инициатива знаменитой Комиссии по борьбе с лженаукой Эдурда Круглякова.
> Постановить считать результаты обработки научных данных проприетарным ПО недостоверными (нелигитимными). И тогда желание у исследователей использовать проприетарщину отпадёт само собой.А кто деньги на дополнительные процессоры и/или GPU даст?
Печальная практика говорит, что альтернативные опенсорсные аналоги для некоторых вычислительных библиотек медленнее проприетарных либо в разы, либо на порядки. Примеры: Intel MKL, Nvidia CUDA, у которых с опенсорсными аналогами напряженка.Да и кто будет писать и отлаживать универсальные библиотечные решения? У многих на это нет и никогда не будет ресурсов.
Ну вот враки. Пример GROMACS (пакет молекулярной динамики)
Собранный с intel-12/mkl он примерно на 5-7% медленнее чем если собрать с
gcc-4.6/atlas/fftw. Это на практике и на реальных задачах использующих более 128 ядер
> Ну вот враки. Пример GROMACS (пакет молекулярной динамики)
> Собранный с intel-12/mkl он примерно на 5-7% медленнее чем если собрать с
> gcc-4.6/atlas/fftw. Это на практике и на реальных задачах использующих более 128 ядерОчевидно, что зависит от задачи, железа, и флагов компилятора, которые не все удосуживаются хорошенько изучить перед применением.
> MKL, Nvidia CUDA, у которых с опенсорсными аналогами напряженка.Во первых, нормальные люди пользуются OpenCL, потому что CUDA нвидия подогнала чисто под себя а opencl реализуется уже кучей разных вендоров. И да, мы как раз на пороге появления открытых реализаций. Хотя прямо здесь и сейчас - да, пока еще напряженка.
Нормальные люди использую CUDA, потому что с OpenCL придется городить кучу велосипедов.
> Постановить считать результаты обработки научных данных проприетарным ПО недостовернымиИдите к черту, товарищ. Практически весь научный софт, результаты которого считаются научным сообществом достоверными, является нештольманоугодным. При этом речь редко идет об огороженной проприетарщине с бинарями и дикой еулой - просто у ученых представления о свободе ПО несколько отличаются от столлмановских.
Пояснение для минусующих: у ученых считается нормальным требовать денег за коммерческое (а не научное) использование их разработок. Еще считается нормальным запрещать публикацию модифицированного кода, так как ошибки третьих лиц могут ударить по авторитету изначальных авторов.Требования вполне резонные, но автоматически делают код проприетарным.
> у ученых считается нормальнымВообще-то не надо говорить за всех учёных. Они разные бывают.
Всё новое - хорошо забытое старое.
Моё мнение - учёный мир наконец-то начинает выбираться из-под гнёта продавальцев.
"Смерть проприетарщикам"- воскликнул ОН!
И поднялись за ним толпы!Где то, это уже было!
Симптоматично, что призыв к открытию кода публикуют в журнале с платной подпиской)
Бесплатный и открытый слова имеющие совершенно разное значение.
Никто и не спорит. Вот только в отличие от софт команий, электронные издательства практически никакой полезной функции не выполняют (кроме сбора денег).
В отличии от софт компаний они занимаются совсем другим видом деятельности. Если для вас результаты их труда бесполезны это не значит, что другие не хотят заплатить за их продукт.
И какие же у них результаты труда? По пунктам пожалуйста.
>По пунктам пожалуйста.А Вы оплатите работу по анализу результативности работы научных журналов и систематизацию данных?
> И какие же у них результаты труда? По пунктам пожалуйста.Хотя-бы агрегирование разрозненных наборов данных в 1 тематический поток. Самому по гуглу выгребать все по теме - затраты времени и сил, как бы. Не вижу чему противоречит предоставление платного сервиса "мы поищем и заагрегируем вместо вас, принеся результат на тарелочке с голубой каемочкой".
Просто удивительно, почему вам, делая то же самое (не выполняя никаких полезных функций), не удается собирать деньги?
> Симптоматично, что призыв к открытию кода публикуют в журнале с платной подпискойКажется, я начинаю понимать откуда ветер дует. Все данные, говорите, надо публиковать. Ну платный журнал чуть поднимет цену и изыщет техническую возможность онлайн хранения и публикации сопутствующих данных. За счет чего и как такую возможность будут предоставлять набирающие в последнее время популярность журналы с открытым доступом, у которых и так денег кот наплакал и с техникой и персоналом туговато? Не послужит ли требование полной публикации данных изживанию действительно открытых журналов?
> Все данные, говорите, надо публиковать. Ну платный журнал чуть поднимет цену и изыщет техническую возможность онлайн хранения и публикации сопутствующих данных.Кто вам сказал, что журнал обязан публиковать абсолютно все данные? Это безумие, цена поднимется не чуть-чуть, а в разы или даже на порядки...
Речь о публикации кода. Да и тут, думаю, все переживут простую ссылку на сайт лабы, где все это выложено. Зачем из журналов делать еще недо-sourceforge/github/googlecode...
> Кто вам сказал, что журнал обязан публиковать абсолютно все данные?У статей есть supplementary materials, которые обычно можно скачать с сайта журнала отдельно. Думаю, что коду там самое место.
А я ничего плохого не вижу в том, чтобы он был просто в references статьи. Тыц - ссылка на раздел сайта лабы. И кто прав?
Ссылки не постоянны: файлы могут быть перемещены или удалены. А актуальность ссылок в references статей никто отслеживать не будет. Хранение копии кода на ресурсах журнала дает больше гарантий, что он будет доступен читателям.
>они стесняются, что кто-то посторонний увидит их ... решенияЕсли биолог или физик выложит свой код, профессиональные программисты отнесутся к этому с пониманием. А троллить можно по любому поводу (стиль вождения, умение смешивать коктейли).
>существует страх, что OpenSource-решения могут скрытно внедряться и использоваться в проприетарных решениях конкурентов
Для таких придуман SaaS. Вместо исходников можно опубликовать алгоритм (для желающих воспроизвести программу) и само приложение в виде сервиса (для желающих проверить результаты исследований).
> само приложение в виде сервиса (для желающих проверить результаты исследований).Секретное приложение может содержать не менее серьезный косяк или даже специально завирать, чтобы по быстрому срубить бабла в стиле академика Петрика. Такая псевдонаука, извините, не нyжна и ведет лишь к пролезанию всякого жулья и аферистов.
Большая часть комментаторов пытается рассуждать о том, о чем имеют слабое представление. Во-первых, обмен расчетными программами он был и 20 лет назад и сейчас есть, кто желает, пишет автору статьи, еще никто не отказался выслать свою программу, вместе с кодом. Это и новый контакт с коллегой, и возможность испытать программу на новом материале. Так что не надо ломиться в открытую дверь. Во-вторых, научное исследование предполагает самостоятельно получение результатов независимыми исследователями и разными способами. Поэтому, например, не пишут полные теоретические выкладки, а указывают основные моменты в расчете и алгоритмы. Кому надо, повторит и подтвердит или обнаружит ошибку в расчетах. То же самое касается расчетной процедуры, рассказывается про алгоритм и про основные готовые компоненты, которые использовались в расчетах. Поэтому требование публиковать код - просто бессмысленное, и ни один ученый не будет заморачиваться по этому поводу, кроме тех, кто может поиметь на этом свой профит.
Хотел написать о том же, поддерживаю автора на все 100%.
По сути предлагают вместо независимого исследования и верификации результатов - тупо клонировать чужие ошибки. Допустим у одного не заметили ошибки - код напрямую использовали еще в 10 проектах и получается что все 10 вместо верификации данных и методов оригинала - подставляют себя.
Получаем пирамиду ошибок!
Идиотизм.
> Идиотизм.Идиотизм это когда Вася Пупкин заявляет, что с помощью программы "ВПСуперПупер v.999.1" вычислил время конца света, но программу предъявлять отказался.
> еще никто не отказался выслать свою программу, вместе с кодомЗуб дадите?
Многие старые статьи сопровождались исходным кодом программы. Восновном ФОРТРАН. Вот пример, интегратор орбит спутников, разработанный в середине 80х был переписан на CUDA. Опубликованные исходники здорово помогли, только авторы нового интегратора свой код почему-то не опубликовали...
Вроде бы данное требование это один из критериев «научности» — верифицируемость.
>Ничего, что верификации подлежит и гипотеза/теория, и методика экспериментаНичего, что вы никогда не сможете проверить методику эксперимента, пока сами не увидите работу установки? Описать-то методику можно, но насколько полно? А если есть неучтенный фактор?
>я когда-то чуть было не пошёл переизобретать подмножество последней библиотеки
Какое отношение это имеет к теме обсуждения? Всегда, когда расчетная часть критична для оценки результата, публикуют какими сторонними программами пользовались при расчете. Кстати, в свое время было достаточно много шума, когда выяснилось, что реализация генератора случайных чисел, которым пользовались все, выдает повторяемую последовательность. А обнаружено это было как раз при сопоставлении результатов полученных стандартным образом и с использованием самописного генератора.
> Ничего, что вы никогда не сможете проверить методику эксперимента,
> пока сами не увидите работу установки?Повторял (тем проверял) и не раз -- правда, относительно простые. Сложный можно не повторить и попялившись в установку, конечно.
> Описать-то методику можно, но насколько полно? А если есть неучтенный фактор?
Или не описанный, ага... (know how при надежде на коммерциализацию)
>>я когда-то чуть было не пошёл переизобретать подмножество последней библиотеки
> Какое отношение это имеет к теме обсуждения?Велостроительное -- посмотрите, что реализует GNU Multi Precision Library. Причём сложение-вычитание и умножение ещё осилил бы, задел научрука под руками был -- а вот с делением пришлось бы уже сложнее, притом с той полиномиальной арифметикой оно как раз и понадобилось.
> Всегда, когда расчетная часть критична для оценки результата,
> публикуют какими сторонними программами пользовались при расчете.Что-то сходу не соображу, когда расчётная есть и при этом некритична (верю, что такое бывает, но не припоминается)... ну и речь как раз не о сторонних, а о "своих", которые не смогли стать сторонними для других.
> [...] когда выяснилось, что реализация генератора случайных чисел,
> которым пользовались все, выдает повторяемую последовательность.Так про PRNG это априори известно, а для честного залог неповторяемости находится вне алгоритмической части, как ни крути.
> В документе также подчеркивается, что если компьютер становится принципиальной составляющей экспериментов, то как можно проверить, а иногда даже просто оценить результат, если не видны исходные коды программной составляющей?Чудесно.
То есть, если я хочу сравнить свою поделку с проприетарным аналогом, я должен буду опубликовать код чужой программы?
Если программа написана напрямую на машинном коде, то опубликовать статью о ней будет невозможно.
Зато будет возможно опубликовать статью об открытой, но напрочь заобфускированной программе написанной на языке, лицензия на компилятор которого стоит миллион долларов. Воспроизводите на здоровье.
> Если программа написана напрямую на машинном коде, то опубликовать статью о ней
> будет невозможно.Конечно! Если фамилия не Бэбидж. Хотя б девичья.
В нормальных публикациях описывается методология вычислений, что делает для любого нормального программиста, который даже не разбирается в области знания, задачу написания собственной программы вполне посильной. Когда другой человек пишет свою реализацию, заодно происходит проверка первоначальной реализации. Иногда вычисления опровергаются) Да и основной темой для споров является методология вычислений, а не программная реализация.
И вообще, с какой стати научная группа должна выкладывать свои программы, если между группами в разных странах идёт борьба за право считаться первооткрывателями? И как защищать права на опубликованный код? Да, было бы здорово, если бы все научные проблемы решались совместно всеми научными группами во всех странах, но до тех пор пока этого не происходит, никто ни с кем ничем делиться не будет. А внутри одной нашей страны не так уж часто несколько групп занимается одной проблематикой. Да и внутри страны есть определённая борьба между группами, т.к. нормального финансирования нет (где там товарищи, писавшие выше увидели большие деньги, выделяемые политиками, я не знаю) и все вынуждены бороться за гранты.
Некоторые группы учёных продают свои программы, причём как бинарники, так и исходники.
Вобщем-то идея хорошая, но воплотимой в ближайшем будущем она не выглядит. Хотя я могу с уверенностью говорить только о некоторых проблемах теоретической физики. Возможно где-то дела и обстоят иначе.
> Данный документ подробно обосновывает, почему такое решение в интересах всех сторон сразу:Почему-то никто не вспомнил о том, что это тупо может помочь найти ошибку в расчетах ученого, если она там есть.
Нехилое количество доказательств теоремы Ферма было "открыто" просто из-за невнимательности и ошибки в расчетах.
Вдруг прямо сейчас какой-то ученый думает, что нашел лекарство от всех болезней.
А все дело в том, что его самописная программа для моделирования где-то глючит.
Публикация исходников даст возможность понять, в каком месте человек ошибся.