есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно найти одинаковые суммы, как это сделать есть ещё mySQL серве, может его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с таким?

• вычисление одинаковых строк,pheonix, 09:42 , 15-Сен-05
  • вычисление одинаковых строк,allez, 10:19 , 15-Сен-05
• вычисление одинаковых строк,mthawk, 10:52 , 15-Сен-05
• вычисление одинаковых строк,madskull, 11:57 , 15-Сен-05

>есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно
>найти одинаковые суммы, как это сделать есть ещё mySQL серве, может
>его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с
>таким?

:)))))
sort | uniq

>sort | uniq

Или "sort -u file".

>есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно
>найти одинаковые суммы, как это сделать есть ещё mySQL серве, может
>его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с
>таким?

%md5s;
open (F,'filename')||die;
while (<F>)
{
chomp;
$md5s{$_}++;
}
close(F);
foreach (sort(keys(%md5s)))
{
print "$_ -> $md5s{$_}\n" if ($md5s{$_} > 1);
}

>есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно
>найти одинаковые суммы, как это сделать есть ещё mySQL серве, может
>его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с
>таким?

ну и я выскажусь :)
comm -23 <(sort file) <(sort -u file) | sort -u