]> rtime.felk.cvut.cz Git - notmuch.git/blobdiff - lib/database.cc
lib: add private function to extract the database for a message.
[notmuch.git] / lib / database.cc
index 92a92d9ae1cc1b1bbf930d28aa17ecad373c51d9..aa06b3efb013c96676998e10de3ca0ed02dcf9ab 100644 (file)
@@ -254,6 +254,7 @@ static prefix_t PROBABILISTIC_PREFIX[]= {
     { "from",                  "XFROM" },
     { "to",                    "XTO" },
     { "attachment",            "XATTACHMENT" },
+    { "mimetype",              "XMIMETYPE"},
     { "subject",               "XSUBJECT"},
 };
 
@@ -304,6 +305,11 @@ static const struct {
       "exact folder:/path: search", "rw" },
     { NOTMUCH_FEATURE_GHOSTS,
       "mail documents for missing messages", "w"},
+    /* Knowledge of the index mime-types are not required for reading
+     * a database because a reader will just be unable to query
+     * them. */
+    { NOTMUCH_FEATURE_INDEXED_MIMETYPES,
+      "indexed MIME types", "w"},
 };
 
 const char *
@@ -342,6 +348,23 @@ notmuch_status_to_string (notmuch_status_t status)
     }
 }
 
+void
+_notmuch_database_log (notmuch_database_t *notmuch,
+                     const char *format,
+                     ...)
+{
+    va_list va_args;
+
+    va_start (va_args, format);
+
+    if (notmuch->status_string)
+       talloc_free (notmuch->status_string);
+
+    notmuch->status_string = talloc_vasprintf (notmuch, format, va_args);
+
+    va_end (va_args);
+}
+
 static void
 find_doc_ids_for_term (notmuch_database_t *notmuch,
                       const char *term,
@@ -601,30 +624,51 @@ parse_references (void *ctx,
 
 notmuch_status_t
 notmuch_database_create (const char *path, notmuch_database_t **database)
+{
+    char *status_string = NULL;
+    notmuch_status_t status;
+
+    status = notmuch_database_create_verbose (path, database,
+                                             &status_string);
+
+    if (status_string) {
+       fputs (status_string, stderr);
+       free (status_string);
+    }
+
+    return status;
+}
+
+notmuch_status_t
+notmuch_database_create_verbose (const char *path,
+                                notmuch_database_t **database,
+                                char **status_string)
 {
     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
     notmuch_database_t *notmuch = NULL;
     char *notmuch_path = NULL;
+    char *message = NULL;
     struct stat st;
     int err;
 
     if (path == NULL) {
-       fprintf (stderr, "Error: Cannot create a database for a NULL path.\n");
+       message = strdup ("Error: Cannot create a database for a NULL path.\n");
        status = NOTMUCH_STATUS_NULL_POINTER;
        goto DONE;
     }
 
     err = stat (path, &st);
     if (err) {
-       fprintf (stderr, "Error: Cannot create database at %s: %s.\n",
-                path, strerror (errno));
+       IGNORE_RESULT (asprintf (&message, "Error: Cannot create database at %s: %s.\n",
+                               path, strerror (errno)));
        status = NOTMUCH_STATUS_FILE_ERROR;
        goto DONE;
     }
 
     if (! S_ISDIR (st.st_mode)) {
-       fprintf (stderr, "Error: Cannot create database at %s: Not a directory.\n",
-                path);
+       IGNORE_RESULT (asprintf (&message, "Error: Cannot create database at %s: "
+                                "Not a directory.\n",
+                                path));
        status = NOTMUCH_STATUS_FILE_ERROR;
        goto DONE;
     }
@@ -634,21 +678,22 @@ notmuch_database_create (const char *path, notmuch_database_t **database)
     err = mkdir (notmuch_path, 0755);
 
     if (err) {
-       fprintf (stderr, "Error: Cannot create directory %s: %s.\n",
-                notmuch_path, strerror (errno));
+       IGNORE_RESULT (asprintf (&message, "Error: Cannot create directory %s: %s.\n",
+                                notmuch_path, strerror (errno)));
        status = NOTMUCH_STATUS_FILE_ERROR;
        goto DONE;
     }
 
-    status = notmuch_database_open (path,
-                                   NOTMUCH_DATABASE_MODE_READ_WRITE,
-                                   &notmuch);
+    status = notmuch_database_open_verbose (path,
+                                           NOTMUCH_DATABASE_MODE_READ_WRITE,
+                                           &notmuch, &message);
     if (status)
        goto DONE;
 
-    /* Upgrade doesn't add this feature to existing databases, but new
-     * databases have it. */
+    /* Upgrade doesn't add these feature to existing databases, but
+     * new databases have them. */
     notmuch->features |= NOTMUCH_FEATURE_FROM_SUBJECT_ID_VALUES;
+    notmuch->features |= NOTMUCH_FEATURE_INDEXED_MIMETYPES;
 
     status = notmuch_database_upgrade (notmuch, NULL, NULL);
     if (status) {
@@ -660,6 +705,12 @@ notmuch_database_create (const char *path, notmuch_database_t **database)
     if (notmuch_path)
        talloc_free (notmuch_path);
 
+    if (message) {
+       if (status_string)
+           *status_string = message;
+       else
+           free (message);
+    }
     if (database)
        *database = notmuch;
     else
@@ -759,38 +810,59 @@ notmuch_status_t
 notmuch_database_open (const char *path,
                       notmuch_database_mode_t mode,
                       notmuch_database_t **database)
+{
+    char *status_string = NULL;
+    notmuch_status_t status;
+
+    status = notmuch_database_open_verbose (path, mode, database,
+                                          &status_string);
+
+    if (status_string) {
+       fputs (status_string, stderr);
+       free (status_string);
+    }
+
+    return status;
+}
+
+notmuch_status_t
+notmuch_database_open_verbose (const char *path,
+                              notmuch_database_mode_t mode,
+                              notmuch_database_t **database,
+                              char **status_string)
 {
     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
     void *local = talloc_new (NULL);
     notmuch_database_t *notmuch = NULL;
     char *notmuch_path, *xapian_path, *incompat_features;
+    char *message = NULL;
     struct stat st;
     int err;
     unsigned int i, version;
     static int initialized = 0;
 
     if (path == NULL) {
-       fprintf (stderr, "Error: Cannot open a database for a NULL path.\n");
+       message = strdup ("Error: Cannot open a database for a NULL path.\n");
        status = NOTMUCH_STATUS_NULL_POINTER;
        goto DONE;
     }
 
     if (! (notmuch_path = talloc_asprintf (local, "%s/%s", path, ".notmuch"))) {
-       fprintf (stderr, "Out of memory\n");
+       message = strdup ("Out of memory\n");
        status = NOTMUCH_STATUS_OUT_OF_MEMORY;
        goto DONE;
     }
 
     err = stat (notmuch_path, &st);
     if (err) {
-       fprintf (stderr, "Error opening database at %s: %s\n",
-                notmuch_path, strerror (errno));
+       IGNORE_RESULT (asprintf (&message, "Error opening database at %s: %s\n",
+                                notmuch_path, strerror (errno)));
        status = NOTMUCH_STATUS_FILE_ERROR;
        goto DONE;
     }
 
     if (! (xapian_path = talloc_asprintf (local, "%s/%s", notmuch_path, "xapian"))) {
-       fprintf (stderr, "Out of memory\n");
+       message = strdup ("Out of memory\n");
        status = NOTMUCH_STATUS_OUT_OF_MEMORY;
        goto DONE;
     }
@@ -808,6 +880,7 @@ notmuch_database_open (const char *path,
 
     notmuch = talloc_zero (NULL, notmuch_database_t);
     notmuch->exception_reported = FALSE;
+    notmuch->status_string = NULL;
     notmuch->path = talloc_strdup (notmuch, path);
 
     if (notmuch->path[strlen (notmuch->path) - 1] == '/')
@@ -830,11 +903,11 @@ notmuch_database_open (const char *path,
         * means a dramatically incompatible change. */
        version = notmuch_database_get_version (notmuch);
        if (version > NOTMUCH_DATABASE_VERSION) {
-           fprintf (stderr,
-                    "Error: Notmuch database at %s\n"
-                    "       has a newer database format version (%u) than supported by this\n"
-                    "       version of notmuch (%u).\n",
-                    notmuch_path, version, NOTMUCH_DATABASE_VERSION);
+           IGNORE_RESULT (asprintf (&message,
+                     "Error: Notmuch database at %s\n"
+                     "       has a newer database format version (%u) than supported by this\n"
+                     "       version of notmuch (%u).\n",
+                                    notmuch_path, version, NOTMUCH_DATABASE_VERSION));
            notmuch->mode = NOTMUCH_DATABASE_MODE_READ_ONLY;
            notmuch_database_destroy (notmuch);
            notmuch = NULL;
@@ -849,11 +922,11 @@ notmuch_database_open (const char *path,
            version, mode == NOTMUCH_DATABASE_MODE_READ_WRITE ? 'w' : 'r',
            &incompat_features);
        if (incompat_features) {
-           fprintf (stderr,
-                    "Error: Notmuch database at %s\n"
-                    "       requires features (%s)\n"
-                    "       not supported by this version of notmuch.\n",
-                    notmuch_path, incompat_features);
+           IGNORE_RESULT (asprintf (&message,
+               "Error: Notmuch database at %s\n"
+               "       requires features (%s)\n"
+               "       not supported by this version of notmuch.\n",
+                                    notmuch_path, incompat_features));
            notmuch->mode = NOTMUCH_DATABASE_MODE_READ_ONLY;
            notmuch_database_destroy (notmuch);
            notmuch = NULL;
@@ -899,8 +972,8 @@ notmuch_database_open (const char *path,
            notmuch->query_parser->add_prefix (prefix->name, prefix->prefix);
        }
     } catch (const Xapian::Error &error) {
-       fprintf (stderr, "A Xapian exception occurred opening database: %s\n",
-                error.get_msg().c_str());
+       IGNORE_RESULT (asprintf (&message, "A Xapian exception occurred opening database: %s\n",
+                                error.get_msg().c_str()));
        notmuch_database_destroy (notmuch);
        notmuch = NULL;
        status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
@@ -909,6 +982,13 @@ notmuch_database_open (const char *path,
   DONE:
     talloc_free (local);
 
+    if (message) {
+       if (status_string)
+           *status_string = message;
+       else
+           free (message);
+    }
+
     if (database)
        *database = notmuch;
     else
@@ -1032,13 +1112,18 @@ notmuch_database_compact (const char *path,
     notmuch_database_t *notmuch = NULL;
     struct stat statbuf;
     notmuch_bool_t keep_backup;
+    char *message = NULL;
 
     local = talloc_new (NULL);
     if (! local)
        return NOTMUCH_STATUS_OUT_OF_MEMORY;
 
-    ret = notmuch_database_open (path, NOTMUCH_DATABASE_MODE_READ_WRITE, &notmuch);
+    ret = notmuch_database_open_verbose (path,
+                                        NOTMUCH_DATABASE_MODE_READ_WRITE,
+                                        &notmuch,
+                                        &message);
     if (ret) {
+       if (status_cb) status_cb (message, closure);
        goto DONE;
     }
 
@@ -1231,6 +1316,7 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
     notmuch_bool_t timer_is_active = FALSE;
     enum _notmuch_features target_features, new_features;
     notmuch_status_t status;
+    notmuch_private_status_t private_status;
     unsigned int count = 0, total = 0;
 
     status = _notmuch_database_ensure_writable (notmuch);
@@ -1275,6 +1361,13 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
        for (t = db->allterms_begin ("XTIMESTAMP"); t != t_end; t++)
            ++total;
     }
+    if (new_features & NOTMUCH_FEATURE_GHOSTS) {
+       /* The ghost message upgrade converts all thread_id_*
+        * metadata values into ghost message documents. */
+       t_end = db->metadata_keys_end ("thread_id_");
+       for (t = db->metadata_keys_begin ("thread_id_"); t != t_end; ++t)
+           ++total;
+    }
 
     /* Perform the upgrade in a transaction. */
     db->begin_transaction (true);
@@ -1378,10 +1471,64 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
        }
     }
 
+    /* Perform metadata upgrades. */
+
+    /* Prior to NOTMUCH_FEATURE_GHOSTS, thread IDs for missing
+     * messages were stored as database metadata. Change these to
+     * ghost messages.
+     */
+    if (new_features & NOTMUCH_FEATURE_GHOSTS) {
+       notmuch_message_t *message;
+       std::string message_id, thread_id;
+
+       t_end = db->metadata_keys_end (NOTMUCH_METADATA_THREAD_ID_PREFIX);
+       for (t = db->metadata_keys_begin (NOTMUCH_METADATA_THREAD_ID_PREFIX);
+            t != t_end; ++t) {
+           if (do_progress_notify) {
+               progress_notify (closure, (double) count / total);
+               do_progress_notify = 0;
+           }
+
+           message_id = (*t).substr (
+               strlen (NOTMUCH_METADATA_THREAD_ID_PREFIX));
+           thread_id = db->get_metadata (*t);
+
+           /* Create ghost message */
+           message = _notmuch_message_create_for_message_id (
+               notmuch, message_id.c_str (), &private_status);
+           if (private_status == NOTMUCH_PRIVATE_STATUS_SUCCESS) {
+               /* Document already exists; ignore the stored thread ID */
+           } else if (private_status ==
+                      NOTMUCH_PRIVATE_STATUS_NO_DOCUMENT_FOUND) {
+               private_status = _notmuch_message_initialize_ghost (
+                   message, thread_id.c_str ());
+               if (! private_status)
+                   _notmuch_message_sync (message);
+           }
+
+           if (private_status) {
+               fprintf (stderr,
+                        "Upgrade failed while creating ghost messages.\n");
+               status = COERCE_STATUS (private_status, "Unexpected status from _notmuch_message_initialize_ghost");
+               goto DONE;
+           }
+
+           /* Clear saved metadata thread ID */
+           db->set_metadata (*t, "");
+
+           ++count;
+       }
+    }
+
+    status = NOTMUCH_STATUS_SUCCESS;
     db->set_metadata ("features", _print_features (local, notmuch->features));
     db->set_metadata ("version", STRINGIFY (NOTMUCH_DATABASE_VERSION));
 
-    db->commit_transaction ();
+ DONE:
+    if (status == NOTMUCH_STATUS_SUCCESS)
+       db->commit_transaction ();
+    else
+       db->cancel_transaction ();
 
     if (timer_is_active) {
        /* Now stop the timer. */
@@ -1397,7 +1544,7 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
     }
 
     talloc_free (local);
-    return NOTMUCH_STATUS_SUCCESS;
+    return status;
 }
 
 notmuch_status_t
@@ -2074,11 +2221,11 @@ _consume_metadata_thread_id (void *ctx, notmuch_database_t *notmuch,
  * reference 'message'.
  *
  * In all cases, we assign to the current message the first thread ID
- * found (through either parent or child). We will also merge any
- * existing, distinct threads where this message belongs to both,
- * (which is not uncommon when messages are processed out of order).
+ * found. We will also merge any existing, distinct threads where this
+ * message belongs to both, (which is not uncommon when messages are
+ * processed out of order).
  *
- * Finally, if no thread ID has been found through parent or child, we
+ * Finally, if no thread ID has been found through referenced messages, we
  * call _notmuch_message_generate_thread_id to generate a new thread
  * ID. This should only happen for new, top-level messages, (no
  * References or In-Reply-To header in this message, and no previously
@@ -2110,10 +2257,23 @@ _notmuch_database_link_message (notmuch_database_t *notmuch,
     if (status)
        goto DONE;
 
-    status = _notmuch_database_link_message_to_children (notmuch, message,
-                                                        &thread_id);
-    if (status)
-       goto DONE;
+    if (! (notmuch->features & NOTMUCH_FEATURE_GHOSTS)) {
+       /* In general, it shouldn't be necessary to link children,
+        * since the earlier indexing of those children will have
+        * stored a thread ID for the missing parent.  However, prior
+        * to ghost messages, these stored thread IDs were NOT
+        * rewritten during thread merging (and there was no
+        * performant way to do so), so if indexed children were
+        * pulled into a different thread ID by a merge, it was
+        * necessary to pull them *back* into the stored thread ID of
+        * the parent.  With ghost messages, we just rewrite the
+        * stored thread IDs during merging, so this workaround isn't
+        * necessary. */
+       status = _notmuch_database_link_message_to_children (notmuch, message,
+                                                            &thread_id);
+       if (status)
+           goto DONE;
+    }
 
     /* If not part of any existing thread, generate a new thread ID. */
     if (thread_id == NULL) {
@@ -2410,3 +2570,9 @@ notmuch_database_get_all_tags (notmuch_database_t *db)
        return NULL;
     }
 }
+
+const char *
+notmuch_database_status_string (notmuch_database_t *notmuch)
+{
+    return notmuch->status_string;
+}