>open возвращает -1.

Есть такая штука, которая называется errno и она обычно отвечает на многие вопросы. В частности, в моём мане open(2) написано:

EFBIG  pathname refers to a regular file, too large to be opened; see  O_LARGEFILE  above.
              (POSIX.1-2001 specifies the error EOVERFLOW for this case.)

вероятно именно это у вас происходит (вы можете убедиться в этом, вызвав, например, perror(3)), а above написано:

 O_LARGEFILE
              (LFS)  Allow files whose sizes cannot be represented in an off_t (but can be repre‐
              sented in an off64_t) to be opened.  The _LARGEFILE64_SOURCE macro must be  defined
              in  order  to  obtain  this definition.  Setting the _FILE_OFFSET_BITS feature test
              macro to 64 (rather than using O_LARGEFILE) is the preferred  method  of  obtaining
              method of accessing large files on 32-bit systems (see feature_test_macros(7)).

что отвечает на все ваши вопросы. Всё это можно проделать самостоятельно.