read-cache.c

   1 /*
   2  * GIT - The information manager from hell
   3  *
   4  * Copyright (C) Linus Torvalds, 2005
   5  */
   6 #define NO_THE_INDEX_COMPATIBILITY_MACROS
   7 #include "cache.h"
   8 #include "cache-tree.h"
   9 #include "refs.h"
  10 #include "dir.h"
  11
  12 /* Index extensions.
  13  *
  14  * The first letter should be 'A'..'Z' for extensions that are not
  15  * necessary for a correct operation (i.e. optimization data).
  16  * When new extensions are added that _needs_ to be understood in
  17  * order to correctly interpret the index file, pick character that
  18  * is outside the range, to cause the reader to abort.
  19  */
  20
  21 #define CACHE_EXT(s) ( (s[0]<<24)|(s[1]<<16)|(s[2]<<8)|(s[3]) )
  22 #define CACHE_EXT_TREE 0x54524545       /* "TREE" */
  23
  24 struct index_state the_index;
  25
  26 static unsigned int hash_name(const char *name, int namelen)
  27 {
  28         unsigned int hash = 0x123;
  29
  30         do {
  31                 unsigned char c = *name++;
  32                 hash = hash*101 + c;
  33         } while (--namelen);
  34         return hash;
  35 }
  36
  37 static void hash_index_entry(struct index_state *istate, struct cache_entry *ce)
  38 {
  39         void **pos;
  40         unsigned int hash;
  41
  42         if (ce->ce_flags & CE_HASHED)
  43                 return;
  44         ce->ce_flags |= CE_HASHED;
  45         ce->next = NULL;
  46         hash = hash_name(ce->name, ce_namelen(ce));
  47         pos = insert_hash(hash, ce, &istate->name_hash);
  48         if (pos) {
  49                 ce->next = *pos;
  50                 *pos = ce;
  51         }
  52 }
  53
  54 static void lazy_init_name_hash(struct index_state *istate)
  55 {
  56         int nr;
  57
  58         if (istate->name_hash_initialized)
  59                 return;
  60         for (nr = 0; nr < istate->cache_nr; nr++)
  61                 hash_index_entry(istate, istate->cache[nr]);
  62         istate->name_hash_initialized = 1;
  63 }
  64
  65 static void set_index_entry(struct index_state *istate, int nr, struct cache_entry *ce)
  66 {
  67         ce->ce_flags &= ~CE_UNHASHED;
  68         istate->cache[nr] = ce;
  69         if (istate->name_hash_initialized)
  70                 hash_index_entry(istate, ce);
  71 }
  72
  73 static void replace_index_entry(struct index_state *istate, int nr, struct cache_entry *ce)
  74 {
  75         struct cache_entry *old = istate->cache[nr];
  76
  77         remove_index_entry(old);
  78         set_index_entry(istate, nr, ce);
  79         istate->cache_changed = 1;
  80 }
  81
  82 int index_name_exists(struct index_state *istate, const char *name, int namelen)
  83 {
  84         unsigned int hash = hash_name(name, namelen);
  85         struct cache_entry *ce;
  86
  87         lazy_init_name_hash(istate);
  88         ce = lookup_hash(hash, &istate->name_hash);
  89
  90         while (ce) {
  91                 if (!(ce->ce_flags & CE_UNHASHED)) {
  92                         if (!cache_name_compare(name, namelen, ce->name, ce->ce_flags))
  93                                 return 1;
  94                 }
  95                 ce = ce->next;
  96         }
  97         return 0;
  98 }
  99
 100 /*
 101  * This only updates the "non-critical" parts of the directory
 102  * cache, ie the parts that aren't tracked by GIT, and only used
 103  * to validate the cache.
 104  */
 105 void fill_stat_cache_info(struct cache_entry *ce, struct stat *st)
 106 {
 107         ce->ce_ctime = st->st_ctime;
 108         ce->ce_mtime = st->st_mtime;
 109         ce->ce_dev = st->st_dev;
 110         ce->ce_ino = st->st_ino;
 111         ce->ce_uid = st->st_uid;
 112         ce->ce_gid = st->st_gid;
 113         ce->ce_size = st->st_size;
 114
 115         if (assume_unchanged)
 116                 ce->ce_flags |= CE_VALID;
 117
 118         if (S_ISREG(st->st_mode))
 119                 ce_mark_uptodate(ce);
 120 }
 121
 122 static int ce_compare_data(struct cache_entry *ce, struct stat *st)
 123 {
 124         int match = -1;
 125         int fd = open(ce->name, O_RDONLY);
 126
 127         if (fd >= 0) {
 128                 unsigned char sha1[20];
 129                 if (!index_fd(sha1, fd, st, 0, OBJ_BLOB, ce->name))
 130                         match = hashcmp(sha1, ce->sha1);
 131                 /* index_fd() closed the file descriptor already */
 132         }
 133         return match;
 134 }
 135
 136 static int ce_compare_link(struct cache_entry *ce, size_t expected_size)
 137 {
 138         int match = -1;
 139         char *target;
 140         void *buffer;
 141         unsigned long size;
 142         enum object_type type;
 143         int len;
 144
 145         target = xmalloc(expected_size);
 146         len = readlink(ce->name, target, expected_size);
 147         if (len != expected_size) {
 148                 free(target);
 149                 return -1;
 150         }
 151         buffer = read_sha1_file(ce->sha1, &type, &size);
 152         if (!buffer) {
 153                 free(target);
 154                 return -1;
 155         }
 156         if (size == expected_size)
 157                 match = memcmp(buffer, target, size);
 158         free(buffer);
 159         free(target);
 160         return match;
 161 }
 162
 163 static int ce_compare_gitlink(struct cache_entry *ce)
 164 {
 165         unsigned char sha1[20];
 166
 167         /*
 168          * We don't actually require that the .git directory
 169          * under GITLINK directory be a valid git directory. It
 170          * might even be missing (in case nobody populated that
 171          * sub-project).
 172          *
 173          * If so, we consider it always to match.
 174          */
 175         if (resolve_gitlink_ref(ce->name, "HEAD", sha1) < 0)
 176                 return 0;
 177         return hashcmp(sha1, ce->sha1);
 178 }
 179
 180 static int ce_modified_check_fs(struct cache_entry *ce, struct stat *st)
 181 {
 182         switch (st->st_mode & S_IFMT) {
 183         case S_IFREG:
 184                 if (ce_compare_data(ce, st))
 185                         return DATA_CHANGED;
 186                 break;
 187         case S_IFLNK:
 188                 if (ce_compare_link(ce, xsize_t(st->st_size)))
 189                         return DATA_CHANGED;
 190                 break;
 191         case S_IFDIR:
 192                 if (S_ISGITLINK(ce->ce_mode))
 193                         return 0;
 194         default:
 195                 return TYPE_CHANGED;
 196         }
 197         return 0;
 198 }
 199
 200 static int ce_match_stat_basic(struct cache_entry *ce, struct stat *st)
 201 {
 202         unsigned int changed = 0;
 203
 204         if (ce->ce_flags & CE_REMOVE)
 205                 return MODE_CHANGED | DATA_CHANGED | TYPE_CHANGED;
 206
 207         switch (ce->ce_mode & S_IFMT) {
 208         case S_IFREG:
 209                 changed |= !S_ISREG(st->st_mode) ? TYPE_CHANGED : 0;
 210                 /* We consider only the owner x bit to be relevant for
 211                  * "mode changes"
 212                  */
 213                 if (trust_executable_bit &&
 214                     (0100 & (ce->ce_mode ^ st->st_mode)))
 215                         changed |= MODE_CHANGED;
 216                 break;
 217         case S_IFLNK:
 218                 if (!S_ISLNK(st->st_mode) &&
 219                     (has_symlinks || !S_ISREG(st->st_mode)))
 220                         changed |= TYPE_CHANGED;
 221                 break;
 222         case S_IFGITLINK:
 223                 if (!S_ISDIR(st->st_mode))
 224                         changed |= TYPE_CHANGED;
 225                 else if (ce_compare_gitlink(ce))
 226                         changed |= DATA_CHANGED;
 227                 return changed;
 228         default:
 229                 die("internal error: ce_mode is %o", ce->ce_mode);
 230         }
 231         if (ce->ce_mtime != (unsigned int) st->st_mtime)
 232                 changed |= MTIME_CHANGED;
 233         if (ce->ce_ctime != (unsigned int) st->st_ctime)
 234                 changed |= CTIME_CHANGED;
 235
 236         if (ce->ce_uid != (unsigned int) st->st_uid ||
 237             ce->ce_gid != (unsigned int) st->st_gid)
 238                 changed |= OWNER_CHANGED;
 239         if (ce->ce_ino != (unsigned int) st->st_ino)
 240                 changed |= INODE_CHANGED;
 241
 242 #ifdef USE_STDEV
 243         /*
 244          * st_dev breaks on network filesystems where different
 245          * clients will have different views of what "device"
 246          * the filesystem is on
 247          */
 248         if (ce->ce_dev != (unsigned int) st->st_dev)
 249                 changed |= INODE_CHANGED;
 250 #endif
 251
 252         if (ce->ce_size != (unsigned int) st->st_size)
 253                 changed |= DATA_CHANGED;
 254
 255         return changed;
 256 }
 257
 258 static int is_racy_timestamp(struct index_state *istate, struct cache_entry *ce)
 259 {
 260         return (istate->timestamp &&
 261                 ((unsigned int)istate->timestamp) <= ce->ce_mtime);
 262 }
 263
 264 int ie_match_stat(struct index_state *istate,
 265                   struct cache_entry *ce, struct stat *st,
 266                   unsigned int options)
 267 {
 268         unsigned int changed;
 269         int ignore_valid = options & CE_MATCH_IGNORE_VALID;
 270         int assume_racy_is_modified = options & CE_MATCH_RACY_IS_DIRTY;
 271
 272         /*
 273          * If it's marked as always valid in the index, it's
 274          * valid whatever the checked-out copy says.
 275          */
 276         if (!ignore_valid && (ce->ce_flags & CE_VALID))
 277                 return 0;
 278
 279         changed = ce_match_stat_basic(ce, st);
 280
 281         /*
 282          * Within 1 second of this sequence:
 283          *      echo xyzzy >file && git-update-index --add file
 284          * running this command:
 285          *      echo frotz >file
 286          * would give a falsely clean cache entry.  The mtime and
 287          * length match the cache, and other stat fields do not change.
 288          *
 289          * We could detect this at update-index time (the cache entry
 290          * being registered/updated records the same time as "now")
 291          * and delay the return from git-update-index, but that would
 292          * effectively mean we can make at most one commit per second,
 293          * which is not acceptable.  Instead, we check cache entries
 294          * whose mtime are the same as the index file timestamp more
 295          * carefully than others.
 296          */
 297         if (!changed && is_racy_timestamp(istate, ce)) {
 298                 if (assume_racy_is_modified)
 299                         changed |= DATA_CHANGED;
 300                 else
 301                         changed |= ce_modified_check_fs(ce, st);
 302         }
 303
 304         return changed;
 305 }
 306
 307 int ie_modified(struct index_state *istate,
 308                 struct cache_entry *ce, struct stat *st, unsigned int options)
 309 {
 310         int changed, changed_fs;
 311
 312         changed = ie_match_stat(istate, ce, st, options);
 313         if (!changed)
 314                 return 0;
 315         /*
 316          * If the mode or type has changed, there's no point in trying
 317          * to refresh the entry - it's not going to match
 318          */
 319         if (changed & (MODE_CHANGED | TYPE_CHANGED))
 320                 return changed;
 321
 322         /* Immediately after read-tree or update-index --cacheinfo,
 323          * the length field is zero.  For other cases the ce_size
 324          * should match the SHA1 recorded in the index entry.
 325          */
 326         if ((changed & DATA_CHANGED) && ce->ce_size != 0)
 327                 return changed;
 328
 329         changed_fs = ce_modified_check_fs(ce, st);
 330         if (changed_fs)
 331                 return changed | changed_fs;
 332         return 0;
 333 }
 334
 335 int base_name_compare(const char *name1, int len1, int mode1,
 336                       const char *name2, int len2, int mode2)
 337 {
 338         unsigned char c1, c2;
 339         int len = len1 < len2 ? len1 : len2;
 340         int cmp;
 341
 342         cmp = memcmp(name1, name2, len);
 343         if (cmp)
 344                 return cmp;
 345         c1 = name1[len];
 346         c2 = name2[len];
 347         if (!c1 && S_ISDIR(mode1))
 348                 c1 = '/';
 349         if (!c2 && S_ISDIR(mode2))
 350                 c2 = '/';
 351         return (c1 < c2) ? -1 : (c1 > c2) ? 1 : 0;
 352 }
 353
 354 int cache_name_compare(const char *name1, int flags1, const char *name2, int flags2)
 355 {
 356         int len1 = flags1 & CE_NAMEMASK;
 357         int len2 = flags2 & CE_NAMEMASK;
 358         int len = len1 < len2 ? len1 : len2;
 359         int cmp;
 360
 361         cmp = memcmp(name1, name2, len);
 362         if (cmp)
 363                 return cmp;
 364         if (len1 < len2)
 365                 return -1;
 366         if (len1 > len2)
 367                 return 1;
 368
 369         /* Compare stages  */
 370         flags1 &= CE_STAGEMASK;
 371         flags2 &= CE_STAGEMASK;
 372
 373         if (flags1 < flags2)
 374                 return -1;
 375         if (flags1 > flags2)
 376                 return 1;
 377         return 0;
 378 }
 379
 380 int index_name_pos(struct index_state *istate, const char *name, int namelen)
 381 {
 382         int first, last;
 383
 384         first = 0;
 385         last = istate->cache_nr;
 386         while (last > first) {
 387                 int next = (last + first) >> 1;
 388                 struct cache_entry *ce = istate->cache[next];
 389                 int cmp = cache_name_compare(name, namelen, ce->name, ce->ce_flags);
 390                 if (!cmp)
 391                         return next;
 392                 if (cmp < 0) {
 393                         last = next;
 394                         continue;
 395                 }
 396                 first = next+1;
 397         }
 398         return -first-1;
 399 }
 400
 401 /* Remove entry, return true if there are more entries to go.. */
 402 int remove_index_entry_at(struct index_state *istate, int pos)
 403 {
 404         struct cache_entry *ce = istate->cache[pos];
 405
 406         remove_index_entry(ce);
 407         istate->cache_changed = 1;
 408         istate->cache_nr--;
 409         if (pos >= istate->cache_nr)
 410                 return 0;
 411         memmove(istate->cache + pos,
 412                 istate->cache + pos + 1,
 413                 (istate->cache_nr - pos) * sizeof(struct cache_entry *));
 414         return 1;
 415 }
 416
 417 int remove_file_from_index(struct index_state *istate, const char *path)
 418 {
 419         int pos = index_name_pos(istate, path, strlen(path));
 420         if (pos < 0)
 421                 pos = -pos-1;
 422         cache_tree_invalidate_path(istate->cache_tree, path);
 423         while (pos < istate->cache_nr && !strcmp(istate->cache[pos]->name, path))
 424                 remove_index_entry_at(istate, pos);
 425         return 0;
 426 }
 427
 428 static int compare_name(struct cache_entry *ce, const char *path, int namelen)
 429 {
 430         return namelen != ce_namelen(ce) || memcmp(path, ce->name, namelen);
 431 }
 432
 433 static int index_name_pos_also_unmerged(struct index_state *istate,
 434         const char *path, int namelen)
 435 {
 436         int pos = index_name_pos(istate, path, namelen);
 437         struct cache_entry *ce;
 438
 439         if (pos >= 0)
 440                 return pos;
 441
 442         /* maybe unmerged? */
 443         pos = -1 - pos;
 444         if (pos >= istate->cache_nr ||
 445                         compare_name((ce = istate->cache[pos]), path, namelen))
 446                 return -1;
 447
 448         /* order of preference: stage 2, 1, 3 */
 449         if (ce_stage(ce) == 1 && pos + 1 < istate->cache_nr &&
 450                         ce_stage((ce = istate->cache[pos + 1])) == 2 &&
 451                         !compare_name(ce, path, namelen))
 452                 pos++;
 453         return pos;
 454 }
 455
 456 int add_file_to_index(struct index_state *istate, const char *path, int verbose)
 457 {
 458         int size, namelen, pos;
 459         struct stat st;
 460         struct cache_entry *ce;
 461         unsigned ce_option = CE_MATCH_IGNORE_VALID|CE_MATCH_RACY_IS_DIRTY;
 462
 463         if (lstat(path, &st))
 464                 die("%s: unable to stat (%s)", path, strerror(errno));
 465
 466         if (!S_ISREG(st.st_mode) && !S_ISLNK(st.st_mode) && !S_ISDIR(st.st_mode))
 467                 die("%s: can only add regular files, symbolic links or git-directories", path);
 468
 469         namelen = strlen(path);
 470         if (S_ISDIR(st.st_mode)) {
 471                 while (namelen && path[namelen-1] == '/')
 472                         namelen--;
 473         }
 474         size = cache_entry_size(namelen);
 475         ce = xcalloc(1, size);
 476         memcpy(ce->name, path, namelen);
 477         ce->ce_flags = namelen;
 478         fill_stat_cache_info(ce, &st);
 479
 480         if (trust_executable_bit && has_symlinks)
 481                 ce->ce_mode = create_ce_mode(st.st_mode);
 482         else {
 483                 /* If there is an existing entry, pick the mode bits and type
 484                  * from it, otherwise assume unexecutable regular file.
 485                  */
 486                 struct cache_entry *ent;
 487                 int pos = index_name_pos_also_unmerged(istate, path, namelen);
 488
 489                 ent = (0 <= pos) ? istate->cache[pos] : NULL;
 490                 ce->ce_mode = ce_mode_from_stat(ent, st.st_mode);
 491         }
 492
 493         pos = index_name_pos(istate, ce->name, namelen);
 494         if (0 <= pos &&
 495             !ce_stage(istate->cache[pos]) &&
 496             !ie_match_stat(istate, istate->cache[pos], &st, ce_option)) {
 497                 /* Nothing changed, really */
 498                 free(ce);
 499                 ce_mark_uptodate(istate->cache[pos]);
 500                 return 0;
 501         }
 502
 503         if (index_path(ce->sha1, path, &st, 1))
 504                 die("unable to index file %s", path);
 505         if (add_index_entry(istate, ce, ADD_CACHE_OK_TO_ADD|ADD_CACHE_OK_TO_REPLACE))
 506                 die("unable to add %s to index",path);
 507         if (verbose)
 508                 printf("add '%s'\n", path);
 509         return 0;
 510 }
 511
 512 struct cache_entry *make_cache_entry(unsigned int mode,
 513                 const unsigned char *sha1, const char *path, int stage,
 514                 int refresh)
 515 {
 516         int size, len;
 517         struct cache_entry *ce;
 518
 519         if (!verify_path(path))
 520                 return NULL;
 521
 522         len = strlen(path);
 523         size = cache_entry_size(len);
 524         ce = xcalloc(1, size);
 525
 526         hashcpy(ce->sha1, sha1);
 527         memcpy(ce->name, path, len);
 528         ce->ce_flags = create_ce_flags(len, stage);
 529         ce->ce_mode = create_ce_mode(mode);
 530
 531         if (refresh)
 532                 return refresh_cache_entry(ce, 0);
 533
 534         return ce;
 535 }
 536
 537 int ce_same_name(struct cache_entry *a, struct cache_entry *b)
 538 {
 539         int len = ce_namelen(a);
 540         return ce_namelen(b) == len && !memcmp(a->name, b->name, len);
 541 }
 542
 543 int ce_path_match(const struct cache_entry *ce, const char **pathspec)
 544 {
 545         const char *match, *name;
 546         int len;
 547
 548         if (!pathspec)
 549                 return 1;
 550
 551         len = ce_namelen(ce);
 552         name = ce->name;
 553         while ((match = *pathspec++) != NULL) {
 554                 int matchlen = strlen(match);
 555                 if (matchlen > len)
 556                         continue;
 557                 if (memcmp(name, match, matchlen))
 558                         continue;
 559                 if (matchlen && name[matchlen-1] == '/')
 560                         return 1;
 561                 if (name[matchlen] == '/' || !name[matchlen])
 562                         return 1;
 563                 if (!matchlen)
 564                         return 1;
 565         }
 566         return 0;
 567 }
 568
 569 /*
 570  * We fundamentally don't like some paths: we don't want
 571  * dot or dot-dot anywhere, and for obvious reasons don't
 572  * want to recurse into ".git" either.
 573  *
 574  * Also, we don't want double slashes or slashes at the
 575  * end that can make pathnames ambiguous.
 576  */
 577 static int verify_dotfile(const char *rest)
 578 {
 579         /*
 580          * The first character was '.', but that
 581          * has already been discarded, we now test
 582          * the rest.
 583          */
 584         switch (*rest) {
 585         /* "." is not allowed */
 586         case '\0': case '/':
 587                 return 0;
 588
 589         /*
 590          * ".git" followed by  NUL or slash is bad. This
 591          * shares the path end test with the ".." case.
 592          */
 593         case 'g':
 594                 if (rest[1] != 'i')
 595                         break;
 596                 if (rest[2] != 't')
 597                         break;
 598                 rest += 2;
 599         /* fallthrough */
 600         case '.':
 601                 if (rest[1] == '\0' || rest[1] == '/')
 602                         return 0;
 603         }
 604         return 1;
 605 }
 606
 607 int verify_path(const char *path)
 608 {
 609         char c;
 610
 611         goto inside;
 612         for (;;) {
 613                 if (!c)
 614                         return 1;
 615                 if (c == '/') {
 616 inside:
 617                         c = *path++;
 618                         switch (c) {
 619                         default:
 620                                 continue;
 621                         case '/': case '\0':
 622                                 break;
 623                         case '.':
 624                                 if (verify_dotfile(path))
 625                                         continue;
 626                         }
 627                         return 0;
 628                 }
 629                 c = *path++;
 630         }
 631 }
 632
 633 /*
 634  * Do we have another file that has the beginning components being a
 635  * proper superset of the name we're trying to add?
 636  */
 637 static int has_file_name(struct index_state *istate,
 638                          const struct cache_entry *ce, int pos, int ok_to_replace)
 639 {
 640         int retval = 0;
 641         int len = ce_namelen(ce);
 642         int stage = ce_stage(ce);
 643         const char *name = ce->name;
 644
 645         while (pos < istate->cache_nr) {
 646                 struct cache_entry *p = istate->cache[pos++];
 647
 648                 if (len >= ce_namelen(p))
 649                         break;
 650                 if (memcmp(name, p->name, len))
 651                         break;
 652                 if (ce_stage(p) != stage)
 653                         continue;
 654                 if (p->name[len] != '/')
 655                         continue;
 656                 if (p->ce_flags & CE_REMOVE)
 657                         continue;
 658                 retval = -1;
 659                 if (!ok_to_replace)
 660                         break;
 661                 remove_index_entry_at(istate, --pos);
 662         }
 663         return retval;
 664 }
 665
 666 /*
 667  * Do we have another file with a pathname that is a proper
 668  * subset of the name we're trying to add?
 669  */
 670 static int has_dir_name(struct index_state *istate,
 671                         const struct cache_entry *ce, int pos, int ok_to_replace)
 672 {
 673         int retval = 0;
 674         int stage = ce_stage(ce);
 675         const char *name = ce->name;
 676         const char *slash = name + ce_namelen(ce);
 677
 678         for (;;) {
 679                 int len;
 680
 681                 for (;;) {
 682                         if (*--slash == '/')
 683                                 break;
 684                         if (slash <= ce->name)
 685                                 return retval;
 686                 }
 687                 len = slash - name;
 688
 689                 pos = index_name_pos(istate, name, create_ce_flags(len, stage));
 690                 if (pos >= 0) {
 691                         /*
 692                          * Found one, but not so fast.  This could
 693                          * be a marker that says "I was here, but
 694                          * I am being removed".  Such an entry is
 695                          * not a part of the resulting tree, and
 696                          * it is Ok to have a directory at the same
 697                          * path.
 698                          */
 699                         if (!(istate->cache[pos]->ce_flags & CE_REMOVE)) {
 700                                 retval = -1;
 701                                 if (!ok_to_replace)
 702                                         break;
 703                                 remove_index_entry_at(istate, pos);
 704                                 continue;
 705                         }
 706                 }
 707                 else
 708                         pos = -pos-1;
 709
 710                 /*
 711                  * Trivial optimization: if we find an entry that
 712                  * already matches the sub-directory, then we know
 713                  * we're ok, and we can exit.
 714                  */
 715                 while (pos < istate->cache_nr) {
 716                         struct cache_entry *p = istate->cache[pos];
 717                         if ((ce_namelen(p) <= len) ||
 718                             (p->name[len] != '/') ||
 719                             memcmp(p->name, name, len))
 720                                 break; /* not our subdirectory */
 721                         if (ce_stage(p) == stage && !(p->ce_flags & CE_REMOVE))
 722                                 /*
 723                                  * p is at the same stage as our entry, and
 724                                  * is a subdirectory of what we are looking
 725                                  * at, so we cannot have conflicts at our
 726                                  * level or anything shorter.
 727                                  */
 728                                 return retval;
 729                         pos++;
 730                 }
 731         }
 732         return retval;
 733 }
 734
 735 /* We may be in a situation where we already have path/file and path
 736  * is being added, or we already have path and path/file is being
 737  * added.  Either one would result in a nonsense tree that has path
 738  * twice when git-write-tree tries to write it out.  Prevent it.
 739  *
 740  * If ok-to-replace is specified, we remove the conflicting entries
 741  * from the cache so the caller should recompute the insert position.
 742  * When this happens, we return non-zero.
 743  */
 744 static int check_file_directory_conflict(struct index_state *istate,
 745                                          const struct cache_entry *ce,
 746                                          int pos, int ok_to_replace)
 747 {
 748         int retval;
 749
 750         /*
 751          * When ce is an "I am going away" entry, we allow it to be added
 752          */
 753         if (ce->ce_flags & CE_REMOVE)
 754                 return 0;
 755
 756         /*
 757          * We check if the path is a sub-path of a subsequent pathname
 758          * first, since removing those will not change the position
 759          * in the array.
 760          */
 761         retval = has_file_name(istate, ce, pos, ok_to_replace);
 762
 763         /*
 764          * Then check if the path might have a clashing sub-directory
 765          * before it.
 766          */
 767         return retval + has_dir_name(istate, ce, pos, ok_to_replace);
 768 }
 769
 770 static int add_index_entry_with_check(struct index_state *istate, struct cache_entry *ce, int option)
 771 {
 772         int pos;
 773         int ok_to_add = option & ADD_CACHE_OK_TO_ADD;
 774         int ok_to_replace = option & ADD_CACHE_OK_TO_REPLACE;
 775         int skip_df_check = option & ADD_CACHE_SKIP_DFCHECK;
 776
 777         cache_tree_invalidate_path(istate->cache_tree, ce->name);
 778         pos = index_name_pos(istate, ce->name, ce->ce_flags);
 779
 780         /* existing match? Just replace it. */
 781         if (pos >= 0) {
 782                 replace_index_entry(istate, pos, ce);
 783                 return 0;
 784         }
 785         pos = -pos-1;
 786
 787         /*
 788          * Inserting a merged entry ("stage 0") into the index
 789          * will always replace all non-merged entries..
 790          */
 791         if (pos < istate->cache_nr && ce_stage(ce) == 0) {
 792                 while (ce_same_name(istate->cache[pos], ce)) {
 793                         ok_to_add = 1;
 794                         if (!remove_index_entry_at(istate, pos))
 795                                 break;
 796                 }
 797         }
 798
 799         if (!ok_to_add)
 800                 return -1;
 801         if (!verify_path(ce->name))
 802                 return -1;
 803
 804         if (!skip_df_check &&
 805             check_file_directory_conflict(istate, ce, pos, ok_to_replace)) {
 806                 if (!ok_to_replace)
 807                         return error("'%s' appears as both a file and as a directory",
 808                                      ce->name);
 809                 pos = index_name_pos(istate, ce->name, ce->ce_flags);
 810                 pos = -pos-1;
 811         }
 812         return pos + 1;
 813 }
 814
 815 int add_index_entry(struct index_state *istate, struct cache_entry *ce, int option)
 816 {
 817         int pos;
 818
 819         if (option & ADD_CACHE_JUST_APPEND)
 820                 pos = istate->cache_nr;
 821         else {
 822                 int ret;
 823                 ret = add_index_entry_with_check(istate, ce, option);
 824                 if (ret <= 0)
 825                         return ret;
 826                 pos = ret - 1;
 827         }
 828
 829         /* Make sure the array is big enough .. */
 830         if (istate->cache_nr == istate->cache_alloc) {
 831                 istate->cache_alloc = alloc_nr(istate->cache_alloc);
 832                 istate->cache = xrealloc(istate->cache,
 833                                         istate->cache_alloc * sizeof(struct cache_entry *));
 834         }
 835
 836         /* Add it in.. */
 837         istate->cache_nr++;
 838         if (istate->cache_nr > pos + 1)
 839                 memmove(istate->cache + pos + 1,
 840                         istate->cache + pos,
 841                         (istate->cache_nr - pos - 1) * sizeof(ce));
 842         set_index_entry(istate, pos, ce);
 843         istate->cache_changed = 1;
 844         return 0;
 845 }
 846
 847 /*
 848  * "refresh" does not calculate a new sha1 file or bring the
 849  * cache up-to-date for mode/content changes. But what it
 850  * _does_ do is to "re-match" the stat information of a file
 851  * with the cache, so that you can refresh the cache for a
 852  * file that hasn't been changed but where the stat entry is
 853  * out of date.
 854  *
 855  * For example, you'd want to do this after doing a "git-read-tree",
 856  * to link up the stat cache details with the proper files.
 857  */
 858 static struct cache_entry *refresh_cache_ent(struct index_state *istate,
 859                                              struct cache_entry *ce,
 860                                              unsigned int options, int *err)
 861 {
 862         struct stat st;
 863         struct cache_entry *updated;
 864         int changed, size;
 865         int ignore_valid = options & CE_MATCH_IGNORE_VALID;
 866
 867         if (ce_uptodate(ce))
 868                 return ce;
 869
 870         if (lstat(ce->name, &st) < 0) {
 871                 if (err)
 872                         *err = errno;
 873                 return NULL;
 874         }
 875
 876         changed = ie_match_stat(istate, ce, &st, options);
 877         if (!changed) {
 878                 /*
 879                  * The path is unchanged.  If we were told to ignore
 880                  * valid bit, then we did the actual stat check and
 881                  * found that the entry is unmodified.  If the entry
 882                  * is not marked VALID, this is the place to mark it
 883                  * valid again, under "assume unchanged" mode.
 884                  */
 885                 if (ignore_valid && assume_unchanged &&
 886                     !(ce->ce_flags & CE_VALID))
 887                         ; /* mark this one VALID again */
 888                 else {
 889                         /*
 890                          * We do not mark the index itself "modified"
 891                          * because CE_UPTODATE flag is in-core only;
 892                          * we are not going to write this change out.
 893                          */
 894                         ce_mark_uptodate(ce);
 895                         return ce;
 896                 }
 897         }
 898
 899         if (ie_modified(istate, ce, &st, options)) {
 900                 if (err)
 901                         *err = EINVAL;
 902                 return NULL;
 903         }
 904
 905         size = ce_size(ce);
 906         updated = xmalloc(size);
 907         memcpy(updated, ce, size);
 908         fill_stat_cache_info(updated, &st);
 909         /*
 910          * If ignore_valid is not set, we should leave CE_VALID bit
 911          * alone.  Otherwise, paths marked with --no-assume-unchanged
 912          * (i.e. things to be edited) will reacquire CE_VALID bit
 913          * automatically, which is not really what we want.
 914          */
 915         if (!ignore_valid && assume_unchanged &&
 916             !(ce->ce_flags & CE_VALID))
 917                 updated->ce_flags &= ~CE_VALID;
 918
 919         return updated;
 920 }
 921
 922 int refresh_index(struct index_state *istate, unsigned int flags, const char **pathspec, char *seen)
 923 {
 924         int i;
 925         int has_errors = 0;
 926         int really = (flags & REFRESH_REALLY) != 0;
 927         int allow_unmerged = (flags & REFRESH_UNMERGED) != 0;
 928         int quiet = (flags & REFRESH_QUIET) != 0;
 929         int not_new = (flags & REFRESH_IGNORE_MISSING) != 0;
 930         unsigned int options = really ? CE_MATCH_IGNORE_VALID : 0;
 931
 932         for (i = 0; i < istate->cache_nr; i++) {
 933                 struct cache_entry *ce, *new;
 934                 int cache_errno = 0;
 935
 936                 ce = istate->cache[i];
 937                 if (ce_stage(ce)) {
 938                         while ((i < istate->cache_nr) &&
 939                                ! strcmp(istate->cache[i]->name, ce->name))
 940                                 i++;
 941                         i--;
 942                         if (allow_unmerged)
 943                                 continue;
 944                         printf("%s: needs merge\n", ce->name);
 945                         has_errors = 1;
 946                         continue;
 947                 }
 948
 949                 if (pathspec && !match_pathspec(pathspec, ce->name, strlen(ce->name), 0, seen))
 950                         continue;
 951
 952                 new = refresh_cache_ent(istate, ce, options, &cache_errno);
 953                 if (new == ce)
 954                         continue;
 955                 if (!new) {
 956                         if (not_new && cache_errno == ENOENT)
 957                                 continue;
 958                         if (really && cache_errno == EINVAL) {
 959                                 /* If we are doing --really-refresh that
 960                                  * means the index is not valid anymore.
 961                                  */
 962                                 ce->ce_flags &= ~CE_VALID;
 963                                 istate->cache_changed = 1;
 964                         }
 965                         if (quiet)
 966                                 continue;
 967                         printf("%s: needs update\n", ce->name);
 968                         has_errors = 1;
 969                         continue;
 970                 }
 971
 972                 replace_index_entry(istate, i, new);
 973         }
 974         return has_errors;
 975 }
 976
 977 struct cache_entry *refresh_cache_entry(struct cache_entry *ce, int really)
 978 {
 979         return refresh_cache_ent(&the_index, ce, really, NULL);
 980 }
 981
 982 static int verify_hdr(struct cache_header *hdr, unsigned long size)
 983 {
 984         SHA_CTX c;
 985         unsigned char sha1[20];
 986
 987         if (hdr->hdr_signature != htonl(CACHE_SIGNATURE))
 988                 return error("bad signature");
 989         if (hdr->hdr_version != htonl(2))
 990                 return error("bad index version");
 991         SHA1_Init(&c);
 992         SHA1_Update(&c, hdr, size - 20);
 993         SHA1_Final(sha1, &c);
 994         if (hashcmp(sha1, (unsigned char *)hdr + size - 20))
 995                 return error("bad index file sha1 signature");
 996         return 0;
 997 }
 998
 999 static int read_index_extension(struct index_state *istate,
1000                                 const char *ext, void *data, unsigned long sz)
1001 {
1002         switch (CACHE_EXT(ext)) {
1003         case CACHE_EXT_TREE:
1004                 istate->cache_tree = cache_tree_read(data, sz);
1005                 break;
1006         default:
1007                 if (*ext < 'A' || 'Z' < *ext)
1008                         return error("index uses %.4s extension, which we do not understand",
1009                                      ext);
1010                 fprintf(stderr, "ignoring %.4s extension\n", ext);
1011                 break;
1012         }
1013         return 0;
1014 }
1015
1016 int read_index(struct index_state *istate)
1017 {
1018         return read_index_from(istate, get_index_file());
1019 }
1020
1021 static void convert_from_disk(struct ondisk_cache_entry *ondisk, struct cache_entry *ce)
1022 {
1023         size_t len;
1024
1025         ce->ce_ctime = ntohl(ondisk->ctime.sec);
1026         ce->ce_mtime = ntohl(ondisk->mtime.sec);
1027         ce->ce_dev   = ntohl(ondisk->dev);
1028         ce->ce_ino   = ntohl(ondisk->ino);
1029         ce->ce_mode  = ntohl(ondisk->mode);
1030         ce->ce_uid   = ntohl(ondisk->uid);
1031         ce->ce_gid   = ntohl(ondisk->gid);
1032         ce->ce_size  = ntohl(ondisk->size);
1033         /* On-disk flags are just 16 bits */
1034         ce->ce_flags = ntohs(ondisk->flags);
1035         hashcpy(ce->sha1, ondisk->sha1);
1036
1037         len = ce->ce_flags & CE_NAMEMASK;
1038         if (len == CE_NAMEMASK)
1039                 len = strlen(ondisk->name);
1040         /*
1041          * NEEDSWORK: If the original index is crafted, this copy could
1042          * go unchecked.
1043          */
1044         memcpy(ce->name, ondisk->name, len + 1);
1045 }
1046
1047 static inline size_t estimate_cache_size(size_t ondisk_size, unsigned int entries)
1048 {
1049         long per_entry;
1050
1051         per_entry = sizeof(struct cache_entry) - sizeof(struct ondisk_cache_entry);
1052
1053         /*
1054          * Alignment can cause differences. This should be "alignof", but
1055          * since that's a gcc'ism, just use the size of a pointer.
1056          */
1057         per_entry += sizeof(void *);
1058         return ondisk_size + entries*per_entry;
1059 }
1060
1061 /* remember to discard_cache() before reading a different cache! */
1062 int read_index_from(struct index_state *istate, const char *path)
1063 {
1064         int fd, i;
1065         struct stat st;
1066         unsigned long src_offset, dst_offset;
1067         struct cache_header *hdr;
1068         void *mmap;
1069         size_t mmap_size;
1070
1071         errno = EBUSY;
1072         if (istate->alloc)
1073                 return istate->cache_nr;
1074
1075         errno = ENOENT;
1076         istate->timestamp = 0;
1077         fd = open(path, O_RDONLY);
1078         if (fd < 0) {
1079                 if (errno == ENOENT)
1080                         return 0;
1081                 die("index file open failed (%s)", strerror(errno));
1082         }
1083
1084         if (fstat(fd, &st))
1085                 die("cannot stat the open index (%s)", strerror(errno));
1086
1087         errno = EINVAL;
1088         mmap_size = xsize_t(st.st_size);
1089         if (mmap_size < sizeof(struct cache_header) + 20)
1090                 die("index file smaller than expected");
1091
1092         mmap = xmmap(NULL, mmap_size, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, 0);
1093         close(fd);
1094         if (mmap == MAP_FAILED)
1095                 die("unable to map index file");
1096
1097         hdr = mmap;
1098         if (verify_hdr(hdr, mmap_size) < 0)
1099                 goto unmap;
1100
1101         istate->cache_nr = ntohl(hdr->hdr_entries);
1102         istate->cache_alloc = alloc_nr(istate->cache_nr);
1103         istate->cache = xcalloc(istate->cache_alloc, sizeof(struct cache_entry *));
1104
1105         /*
1106          * The disk format is actually larger than the in-memory format,
1107          * due to space for nsec etc, so even though the in-memory one
1108          * has room for a few  more flags, we can allocate using the same
1109          * index size
1110          */
1111         istate->alloc = xmalloc(estimate_cache_size(mmap_size, istate->cache_nr));
1112
1113         src_offset = sizeof(*hdr);
1114         dst_offset = 0;
1115         for (i = 0; i < istate->cache_nr; i++) {
1116                 struct ondisk_cache_entry *disk_ce;
1117                 struct cache_entry *ce;
1118
1119                 disk_ce = (struct ondisk_cache_entry *)((char *)mmap + src_offset);
1120                 ce = (struct cache_entry *)((char *)istate->alloc + dst_offset);
1121                 convert_from_disk(disk_ce, ce);
1122                 set_index_entry(istate, i, ce);
1123
1124                 src_offset += ondisk_ce_size(ce);
1125                 dst_offset += ce_size(ce);
1126         }
1127         istate->timestamp = st.st_mtime;
1128         while (src_offset <= mmap_size - 20 - 8) {
1129                 /* After an array of active_nr index entries,
1130                  * there can be arbitrary number of extended
1131                  * sections, each of which is prefixed with
1132                  * extension name (4-byte) and section length
1133                  * in 4-byte network byte order.
1134                  */
1135                 unsigned long extsize;
1136                 memcpy(&extsize, (char *)mmap + src_offset + 4, 4);
1137                 extsize = ntohl(extsize);
1138                 if (read_index_extension(istate,
1139                                          (const char *) mmap + src_offset,
1140                                          (char *) mmap + src_offset + 8,
1141                                          extsize) < 0)
1142                         goto unmap;
1143                 src_offset += 8;
1144                 src_offset += extsize;
1145         }
1146         munmap(mmap, mmap_size);
1147         return istate->cache_nr;
1148
1149 unmap:
1150         munmap(mmap, mmap_size);
1151         errno = EINVAL;
1152         die("index file corrupt");
1153 }
1154
1155 int discard_index(struct index_state *istate)
1156 {
1157         istate->cache_nr = 0;
1158         istate->cache_changed = 0;
1159         istate->timestamp = 0;
1160         free_hash(&istate->name_hash);
1161         cache_tree_free(&(istate->cache_tree));
1162         free(istate->alloc);
1163         istate->alloc = NULL;
1164
1165         /* no need to throw away allocated active_cache */
1166         return 0;
1167 }
1168
1169 int unmerged_index(struct index_state *istate)
1170 {
1171         int i;
1172         for (i = 0; i < istate->cache_nr; i++) {
1173                 if (ce_stage(istate->cache[i]))
1174                         return 1;
1175         }
1176         return 0;
1177 }
1178
1179 #define WRITE_BUFFER_SIZE 8192
1180 static unsigned char write_buffer[WRITE_BUFFER_SIZE];
1181 static unsigned long write_buffer_len;
1182
1183 static int ce_write_flush(SHA_CTX *context, int fd)
1184 {
1185         unsigned int buffered = write_buffer_len;
1186         if (buffered) {
1187                 SHA1_Update(context, write_buffer, buffered);
1188                 if (write_in_full(fd, write_buffer, buffered) != buffered)
1189                         return -1;
1190                 write_buffer_len = 0;
1191         }
1192         return 0;
1193 }
1194
1195 static int ce_write(SHA_CTX *context, int fd, void *data, unsigned int len)
1196 {
1197         while (len) {
1198                 unsigned int buffered = write_buffer_len;
1199                 unsigned int partial = WRITE_BUFFER_SIZE - buffered;
1200                 if (partial > len)
1201                         partial = len;
1202                 memcpy(write_buffer + buffered, data, partial);
1203                 buffered += partial;
1204                 if (buffered == WRITE_BUFFER_SIZE) {
1205                         write_buffer_len = buffered;
1206                         if (ce_write_flush(context, fd))
1207                                 return -1;
1208                         buffered = 0;
1209                 }
1210                 write_buffer_len = buffered;
1211                 len -= partial;
1212                 data = (char *) data + partial;
1213         }
1214         return 0;
1215 }
1216
1217 static int write_index_ext_header(SHA_CTX *context, int fd,
1218                                   unsigned int ext, unsigned int sz)
1219 {
1220         ext = htonl(ext);
1221         sz = htonl(sz);
1222         return ((ce_write(context, fd, &ext, 4) < 0) ||
1223                 (ce_write(context, fd, &sz, 4) < 0)) ? -1 : 0;
1224 }
1225
1226 static int ce_flush(SHA_CTX *context, int fd)
1227 {
1228         unsigned int left = write_buffer_len;
1229
1230         if (left) {
1231                 write_buffer_len = 0;
1232                 SHA1_Update(context, write_buffer, left);
1233         }
1234
1235         /* Flush first if not enough space for SHA1 signature */
1236         if (left + 20 > WRITE_BUFFER_SIZE) {
1237                 if (write_in_full(fd, write_buffer, left) != left)
1238                         return -1;
1239                 left = 0;
1240         }
1241
1242         /* Append the SHA1 signature at the end */
1243         SHA1_Final(write_buffer + left, context);
1244         left += 20;
1245         return (write_in_full(fd, write_buffer, left) != left) ? -1 : 0;
1246 }
1247
1248 static void ce_smudge_racily_clean_entry(struct cache_entry *ce)
1249 {
1250         /*
1251          * The only thing we care about in this function is to smudge the
1252          * falsely clean entry due to touch-update-touch race, so we leave
1253          * everything else as they are.  We are called for entries whose
1254          * ce_mtime match the index file mtime.
1255          */
1256         struct stat st;
1257
1258         if (lstat(ce->name, &st) < 0)
1259                 return;
1260         if (ce_match_stat_basic(ce, &st))
1261                 return;
1262         if (ce_modified_check_fs(ce, &st)) {
1263                 /* This is "racily clean"; smudge it.  Note that this
1264                  * is a tricky code.  At first glance, it may appear
1265                  * that it can break with this sequence:
1266                  *
1267                  * $ echo xyzzy >frotz
1268                  * $ git-update-index --add frotz
1269                  * $ : >frotz
1270                  * $ sleep 3
1271                  * $ echo filfre >nitfol
1272                  * $ git-update-index --add nitfol
1273                  *
1274                  * but it does not.  When the second update-index runs,
1275                  * it notices that the entry "frotz" has the same timestamp
1276                  * as index, and if we were to smudge it by resetting its
1277                  * size to zero here, then the object name recorded
1278                  * in index is the 6-byte file but the cached stat information
1279                  * becomes zero --- which would then match what we would
1280                  * obtain from the filesystem next time we stat("frotz").
1281                  *
1282                  * However, the second update-index, before calling
1283                  * this function, notices that the cached size is 6
1284                  * bytes and what is on the filesystem is an empty
1285                  * file, and never calls us, so the cached size information
1286                  * for "frotz" stays 6 which does not match the filesystem.
1287                  */
1288                 ce->ce_size = 0;
1289         }
1290 }
1291
1292 static int ce_write_entry(SHA_CTX *c, int fd, struct cache_entry *ce)
1293 {
1294         int size = ondisk_ce_size(ce);
1295         struct ondisk_cache_entry *ondisk = xcalloc(1, size);
1296
1297         ondisk->ctime.sec = htonl(ce->ce_ctime);
1298         ondisk->ctime.nsec = 0;
1299         ondisk->mtime.sec = htonl(ce->ce_mtime);
1300         ondisk->mtime.nsec = 0;
1301         ondisk->dev  = htonl(ce->ce_dev);
1302         ondisk->ino  = htonl(ce->ce_ino);
1303         ondisk->mode = htonl(ce->ce_mode);
1304         ondisk->uid  = htonl(ce->ce_uid);
1305         ondisk->gid  = htonl(ce->ce_gid);
1306         ondisk->size = htonl(ce->ce_size);
1307         hashcpy(ondisk->sha1, ce->sha1);
1308         ondisk->flags = htons(ce->ce_flags);
1309         memcpy(ondisk->name, ce->name, ce_namelen(ce));
1310
1311         return ce_write(c, fd, ondisk, size);
1312 }
1313
1314 int write_index(struct index_state *istate, int newfd)
1315 {
1316         SHA_CTX c;
1317         struct cache_header hdr;
1318         int i, err, removed;
1319         struct cache_entry **cache = istate->cache;
1320         int entries = istate->cache_nr;
1321
1322         for (i = removed = 0; i < entries; i++)
1323                 if (cache[i]->ce_flags & CE_REMOVE)
1324                         removed++;
1325
1326         hdr.hdr_signature = htonl(CACHE_SIGNATURE);
1327         hdr.hdr_version = htonl(2);
1328         hdr.hdr_entries = htonl(entries - removed);
1329
1330         SHA1_Init(&c);
1331         if (ce_write(&c, newfd, &hdr, sizeof(hdr)) < 0)
1332                 return -1;
1333
1334         for (i = 0; i < entries; i++) {
1335                 struct cache_entry *ce = cache[i];
1336                 if (ce->ce_flags & CE_REMOVE)
1337                         continue;
1338                 if (is_racy_timestamp(istate, ce))
1339                         ce_smudge_racily_clean_entry(ce);
1340                 if (ce_write_entry(&c, newfd, ce) < 0)
1341                         return -1;
1342         }
1343
1344         /* Write extension data here */
1345         if (istate->cache_tree) {
1346                 struct strbuf sb;
1347
1348                 strbuf_init(&sb, 0);
1349                 cache_tree_write(&sb, istate->cache_tree);
1350                 err = write_index_ext_header(&c, newfd, CACHE_EXT_TREE, sb.len) < 0
1351                         || ce_write(&c, newfd, sb.buf, sb.len) < 0;
1352                 strbuf_release(&sb);
1353                 if (err)
1354                         return -1;
1355         }
1356         return ce_flush(&c, newfd);
1357 }