block.c

   1 /*
   2  * QEMU System Emulator block driver
   3  *
   4  * Copyright (c) 2003 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24 #include "config-host.h"
  25 #include "qemu-common.h"
  26 #include "trace.h"
  27 #include "monitor/monitor.h"
  28 #include "block/block_int.h"
  29 #include "block/blockjob.h"
  30 #include "qemu/module.h"
  31 #include "qapi/qmp/qjson.h"
  32 #include "sysemu/sysemu.h"
  33 #include "qemu/notify.h"
  34 #include "block/coroutine.h"
  35 #include "block/qapi.h"
  36 #include "qmp-commands.h"
  37 #include "qemu/timer.h"
  38
  39 #ifdef CONFIG_BSD
  40 #include <sys/types.h>
  41 #include <sys/stat.h>
  42 #include <sys/ioctl.h>
  43 #include <sys/queue.h>
  44 #ifndef __DragonFly__
  45 #include <sys/disk.h>
  46 #endif
  47 #endif
  48
  49 #ifdef _WIN32
  50 #include <windows.h>
  51 #endif
  52
  53 struct BdrvDirtyBitmap {
  54     HBitmap *bitmap;
  55     QLIST_ENTRY(BdrvDirtyBitmap) list;
  56 };
  57
  58 #define NOT_DONE 0x7fffffff /* used while emulated sync operation in progress */
  59
  60 static void bdrv_dev_change_media_cb(BlockDriverState *bs, bool load);
  61 static BlockDriverAIOCB *bdrv_aio_readv_em(BlockDriverState *bs,
  62         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
  63         BlockDriverCompletionFunc *cb, void *opaque);
  64 static BlockDriverAIOCB *bdrv_aio_writev_em(BlockDriverState *bs,
  65         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
  66         BlockDriverCompletionFunc *cb, void *opaque);
  67 static int coroutine_fn bdrv_co_readv_em(BlockDriverState *bs,
  68                                          int64_t sector_num, int nb_sectors,
  69                                          QEMUIOVector *iov);
  70 static int coroutine_fn bdrv_co_writev_em(BlockDriverState *bs,
  71                                          int64_t sector_num, int nb_sectors,
  72                                          QEMUIOVector *iov);
  73 static int coroutine_fn bdrv_co_do_preadv(BlockDriverState *bs,
  74     int64_t offset, unsigned int bytes, QEMUIOVector *qiov,
  75     BdrvRequestFlags flags);
  76 static int coroutine_fn bdrv_co_do_pwritev(BlockDriverState *bs,
  77     int64_t offset, unsigned int bytes, QEMUIOVector *qiov,
  78     BdrvRequestFlags flags);
  79 static BlockDriverAIOCB *bdrv_co_aio_rw_vector(BlockDriverState *bs,
  80                                                int64_t sector_num,
  81                                                QEMUIOVector *qiov,
  82                                                int nb_sectors,
  83                                                BdrvRequestFlags flags,
  84                                                BlockDriverCompletionFunc *cb,
  85                                                void *opaque,
  86                                                bool is_write);
  87 static void coroutine_fn bdrv_co_do_rw(void *opaque);
  88 static int coroutine_fn bdrv_co_do_write_zeroes(BlockDriverState *bs,
  89     int64_t sector_num, int nb_sectors, BdrvRequestFlags flags);
  90
  91 static QTAILQ_HEAD(, BlockDriverState) bdrv_states =
  92     QTAILQ_HEAD_INITIALIZER(bdrv_states);
  93
  94 static QTAILQ_HEAD(, BlockDriverState) graph_bdrv_states =
  95     QTAILQ_HEAD_INITIALIZER(graph_bdrv_states);
  96
  97 static QLIST_HEAD(, BlockDriver) bdrv_drivers =
  98     QLIST_HEAD_INITIALIZER(bdrv_drivers);
  99
 100 /* If non-zero, use only whitelisted block drivers */
 101 static int use_bdrv_whitelist;
 102
 103 #ifdef _WIN32
 104 static int is_windows_drive_prefix(const char *filename)
 105 {
 106     return (((filename[0] >= 'a' && filename[0] <= 'z') ||
 107              (filename[0] >= 'A' && filename[0] <= 'Z')) &&
 108             filename[1] == ':');
 109 }
 110
 111 int is_windows_drive(const char *filename)
 112 {
 113     if (is_windows_drive_prefix(filename) &&
 114         filename[2] == '\0')
 115         return 1;
 116     if (strstart(filename, "\\\\.\\", NULL) ||
 117         strstart(filename, "//./", NULL))
 118         return 1;
 119     return 0;
 120 }
 121 #endif
 122
 123 /* throttling disk I/O limits */
 124 void bdrv_set_io_limits(BlockDriverState *bs,
 125                         ThrottleConfig *cfg)
 126 {
 127     int i;
 128
 129     throttle_config(&bs->throttle_state, cfg);
 130
 131     for (i = 0; i < 2; i++) {
 132         qemu_co_enter_next(&bs->throttled_reqs[i]);
 133     }
 134 }
 135
 136 /* this function drain all the throttled IOs */
 137 static bool bdrv_start_throttled_reqs(BlockDriverState *bs)
 138 {
 139     bool drained = false;
 140     bool enabled = bs->io_limits_enabled;
 141     int i;
 142
 143     bs->io_limits_enabled = false;
 144
 145     for (i = 0; i < 2; i++) {
 146         while (qemu_co_enter_next(&bs->throttled_reqs[i])) {
 147             drained = true;
 148         }
 149     }
 150
 151     bs->io_limits_enabled = enabled;
 152
 153     return drained;
 154 }
 155
 156 void bdrv_io_limits_disable(BlockDriverState *bs)
 157 {
 158     bs->io_limits_enabled = false;
 159
 160     bdrv_start_throttled_reqs(bs);
 161
 162     throttle_destroy(&bs->throttle_state);
 163 }
 164
 165 static void bdrv_throttle_read_timer_cb(void *opaque)
 166 {
 167     BlockDriverState *bs = opaque;
 168     qemu_co_enter_next(&bs->throttled_reqs[0]);
 169 }
 170
 171 static void bdrv_throttle_write_timer_cb(void *opaque)
 172 {
 173     BlockDriverState *bs = opaque;
 174     qemu_co_enter_next(&bs->throttled_reqs[1]);
 175 }
 176
 177 /* should be called before bdrv_set_io_limits if a limit is set */
 178 void bdrv_io_limits_enable(BlockDriverState *bs)
 179 {
 180     assert(!bs->io_limits_enabled);
 181     throttle_init(&bs->throttle_state,
 182                   QEMU_CLOCK_VIRTUAL,
 183                   bdrv_throttle_read_timer_cb,
 184                   bdrv_throttle_write_timer_cb,
 185                   bs);
 186     bs->io_limits_enabled = true;
 187 }
 188
 189 /* This function makes an IO wait if needed
 190  *
 191  * @nb_sectors: the number of sectors of the IO
 192  * @is_write:   is the IO a write
 193  */
 194 static void bdrv_io_limits_intercept(BlockDriverState *bs,
 195                                      int nb_sectors,
 196                                      bool is_write)
 197 {
 198     /* does this io must wait */
 199     bool must_wait = throttle_schedule_timer(&bs->throttle_state, is_write);
 200
 201     /* if must wait or any request of this type throttled queue the IO */
 202     if (must_wait ||
 203         !qemu_co_queue_empty(&bs->throttled_reqs[is_write])) {
 204         qemu_co_queue_wait(&bs->throttled_reqs[is_write]);
 205     }
 206
 207     /* the IO will be executed, do the accounting */
 208     throttle_account(&bs->throttle_state,
 209                      is_write,
 210                      nb_sectors * BDRV_SECTOR_SIZE);
 211
 212     /* if the next request must wait -> do nothing */
 213     if (throttle_schedule_timer(&bs->throttle_state, is_write)) {
 214         return;
 215     }
 216
 217     /* else queue next request for execution */
 218     qemu_co_queue_next(&bs->throttled_reqs[is_write]);
 219 }
 220
 221 size_t bdrv_opt_mem_align(BlockDriverState *bs)
 222 {
 223     if (!bs || !bs->drv) {
 224         /* 4k should be on the safe side */
 225         return 4096;
 226     }
 227
 228     return bs->bl.opt_mem_alignment;
 229 }
 230
 231 /* check if the path starts with "<protocol>:" */
 232 static int path_has_protocol(const char *path)
 233 {
 234     const char *p;
 235
 236 #ifdef _WIN32
 237     if (is_windows_drive(path) ||
 238         is_windows_drive_prefix(path)) {
 239         return 0;
 240     }
 241     p = path + strcspn(path, ":/\\");
 242 #else
 243     p = path + strcspn(path, ":/");
 244 #endif
 245
 246     return *p == ':';
 247 }
 248
 249 int path_is_absolute(const char *path)
 250 {
 251 #ifdef _WIN32
 252     /* specific case for names like: "\\.\d:" */
 253     if (is_windows_drive(path) || is_windows_drive_prefix(path)) {
 254         return 1;
 255     }
 256     return (*path == '/' || *path == '\\');
 257 #else
 258     return (*path == '/');
 259 #endif
 260 }
 261
 262 /* if filename is absolute, just copy it to dest. Otherwise, build a
 263    path to it by considering it is relative to base_path. URL are
 264    supported. */
 265 void path_combine(char *dest, int dest_size,
 266                   const char *base_path,
 267                   const char *filename)
 268 {
 269     const char *p, *p1;
 270     int len;
 271
 272     if (dest_size <= 0)
 273         return;
 274     if (path_is_absolute(filename)) {
 275         pstrcpy(dest, dest_size, filename);
 276     } else {
 277         p = strchr(base_path, ':');
 278         if (p)
 279             p++;
 280         else
 281             p = base_path;
 282         p1 = strrchr(base_path, '/');
 283 #ifdef _WIN32
 284         {
 285             const char *p2;
 286             p2 = strrchr(base_path, '\\');
 287             if (!p1 || p2 > p1)
 288                 p1 = p2;
 289         }
 290 #endif
 291         if (p1)
 292             p1++;
 293         else
 294             p1 = base_path;
 295         if (p1 > p)
 296             p = p1;
 297         len = p - base_path;
 298         if (len > dest_size - 1)
 299             len = dest_size - 1;
 300         memcpy(dest, base_path, len);
 301         dest[len] = '\0';
 302         pstrcat(dest, dest_size, filename);
 303     }
 304 }
 305
 306 void bdrv_get_full_backing_filename(BlockDriverState *bs, char *dest, size_t sz)
 307 {
 308     if (bs->backing_file[0] == '\0' || path_has_protocol(bs->backing_file)) {
 309         pstrcpy(dest, sz, bs->backing_file);
 310     } else {
 311         path_combine(dest, sz, bs->filename, bs->backing_file);
 312     }
 313 }
 314
 315 void bdrv_register(BlockDriver *bdrv)
 316 {
 317     /* Block drivers without coroutine functions need emulation */
 318     if (!bdrv->bdrv_co_readv) {
 319         bdrv->bdrv_co_readv = bdrv_co_readv_em;
 320         bdrv->bdrv_co_writev = bdrv_co_writev_em;
 321
 322         /* bdrv_co_readv_em()/brdv_co_writev_em() work in terms of aio, so if
 323          * the block driver lacks aio we need to emulate that too.
 324          */
 325         if (!bdrv->bdrv_aio_readv) {
 326             /* add AIO emulation layer */
 327             bdrv->bdrv_aio_readv = bdrv_aio_readv_em;
 328             bdrv->bdrv_aio_writev = bdrv_aio_writev_em;
 329         }
 330     }
 331
 332     QLIST_INSERT_HEAD(&bdrv_drivers, bdrv, list);
 333 }
 334
 335 /* create a new block device (by default it is empty) */
 336 BlockDriverState *bdrv_new(const char *device_name)
 337 {
 338     BlockDriverState *bs;
 339
 340     bs = g_malloc0(sizeof(BlockDriverState));
 341     QLIST_INIT(&bs->dirty_bitmaps);
 342     pstrcpy(bs->device_name, sizeof(bs->device_name), device_name);
 343     if (device_name[0] != '\0') {
 344         QTAILQ_INSERT_TAIL(&bdrv_states, bs, device_list);
 345     }
 346     bdrv_iostatus_disable(bs);
 347     notifier_list_init(&bs->close_notifiers);
 348     notifier_with_return_list_init(&bs->before_write_notifiers);
 349     qemu_co_queue_init(&bs->throttled_reqs[0]);
 350     qemu_co_queue_init(&bs->throttled_reqs[1]);
 351     bs->refcnt = 1;
 352
 353     return bs;
 354 }
 355
 356 void bdrv_add_close_notifier(BlockDriverState *bs, Notifier *notify)
 357 {
 358     notifier_list_add(&bs->close_notifiers, notify);
 359 }
 360
 361 BlockDriver *bdrv_find_format(const char *format_name)
 362 {
 363     BlockDriver *drv1;
 364     QLIST_FOREACH(drv1, &bdrv_drivers, list) {
 365         if (!strcmp(drv1->format_name, format_name)) {
 366             return drv1;
 367         }
 368     }
 369     return NULL;
 370 }
 371
 372 static int bdrv_is_whitelisted(BlockDriver *drv, bool read_only)
 373 {
 374     static const char *whitelist_rw[] = {
 375         CONFIG_BDRV_RW_WHITELIST
 376     };
 377     static const char *whitelist_ro[] = {
 378         CONFIG_BDRV_RO_WHITELIST
 379     };
 380     const char **p;
 381
 382     if (!whitelist_rw[0] && !whitelist_ro[0]) {
 383         return 1;               /* no whitelist, anything goes */
 384     }
 385
 386     for (p = whitelist_rw; *p; p++) {
 387         if (!strcmp(drv->format_name, *p)) {
 388             return 1;
 389         }
 390     }
 391     if (read_only) {
 392         for (p = whitelist_ro; *p; p++) {
 393             if (!strcmp(drv->format_name, *p)) {
 394                 return 1;
 395             }
 396         }
 397     }
 398     return 0;
 399 }
 400
 401 BlockDriver *bdrv_find_whitelisted_format(const char *format_name,
 402                                           bool read_only)
 403 {
 404     BlockDriver *drv = bdrv_find_format(format_name);
 405     return drv && bdrv_is_whitelisted(drv, read_only) ? drv : NULL;
 406 }
 407
 408 typedef struct CreateCo {
 409     BlockDriver *drv;
 410     char *filename;
 411     QEMUOptionParameter *options;
 412     int ret;
 413     Error *err;
 414 } CreateCo;
 415
 416 static void coroutine_fn bdrv_create_co_entry(void *opaque)
 417 {
 418     Error *local_err = NULL;
 419     int ret;
 420
 421     CreateCo *cco = opaque;
 422     assert(cco->drv);
 423
 424     ret = cco->drv->bdrv_create(cco->filename, cco->options, &local_err);
 425     if (error_is_set(&local_err)) {
 426         error_propagate(&cco->err, local_err);
 427     }
 428     cco->ret = ret;
 429 }
 430
 431 int bdrv_create(BlockDriver *drv, const char* filename,
 432     QEMUOptionParameter *options, Error **errp)
 433 {
 434     int ret;
 435
 436     Coroutine *co;
 437     CreateCo cco = {
 438         .drv = drv,
 439         .filename = g_strdup(filename),
 440         .options = options,
 441         .ret = NOT_DONE,
 442         .err = NULL,
 443     };
 444
 445     if (!drv->bdrv_create) {
 446         error_setg(errp, "Driver '%s' does not support image creation", drv->format_name);
 447         ret = -ENOTSUP;
 448         goto out;
 449     }
 450
 451     if (qemu_in_coroutine()) {
 452         /* Fast-path if already in coroutine context */
 453         bdrv_create_co_entry(&cco);
 454     } else {
 455         co = qemu_coroutine_create(bdrv_create_co_entry);
 456         qemu_coroutine_enter(co, &cco);
 457         while (cco.ret == NOT_DONE) {
 458             qemu_aio_wait();
 459         }
 460     }
 461
 462     ret = cco.ret;
 463     if (ret < 0) {
 464         if (error_is_set(&cco.err)) {
 465             error_propagate(errp, cco.err);
 466         } else {
 467             error_setg_errno(errp, -ret, "Could not create image");
 468         }
 469     }
 470
 471 out:
 472     g_free(cco.filename);
 473     return ret;
 474 }
 475
 476 int bdrv_create_file(const char* filename, QEMUOptionParameter *options,
 477                      Error **errp)
 478 {
 479     BlockDriver *drv;
 480     Error *local_err = NULL;
 481     int ret;
 482
 483     drv = bdrv_find_protocol(filename, true);
 484     if (drv == NULL) {
 485         error_setg(errp, "Could not find protocol for file '%s'", filename);
 486         return -ENOENT;
 487     }
 488
 489     ret = bdrv_create(drv, filename, options, &local_err);
 490     if (error_is_set(&local_err)) {
 491         error_propagate(errp, local_err);
 492     }
 493     return ret;
 494 }
 495
 496 int bdrv_refresh_limits(BlockDriverState *bs)
 497 {
 498     BlockDriver *drv = bs->drv;
 499
 500     memset(&bs->bl, 0, sizeof(bs->bl));
 501
 502     if (!drv) {
 503         return 0;
 504     }
 505
 506     /* Take some limits from the children as a default */
 507     if (bs->file) {
 508         bdrv_refresh_limits(bs->file);
 509         bs->bl.opt_transfer_length = bs->file->bl.opt_transfer_length;
 510         bs->bl.opt_mem_alignment = bs->file->bl.opt_mem_alignment;
 511     } else {
 512         bs->bl.opt_mem_alignment = 512;
 513     }
 514
 515     if (bs->backing_hd) {
 516         bdrv_refresh_limits(bs->backing_hd);
 517         bs->bl.opt_transfer_length =
 518             MAX(bs->bl.opt_transfer_length,
 519                 bs->backing_hd->bl.opt_transfer_length);
 520         bs->bl.opt_mem_alignment =
 521             MAX(bs->bl.opt_mem_alignment,
 522                 bs->backing_hd->bl.opt_mem_alignment);
 523     }
 524
 525     /* Then let the driver override it */
 526     if (drv->bdrv_refresh_limits) {
 527         return drv->bdrv_refresh_limits(bs);
 528     }
 529
 530     return 0;
 531 }
 532
 533 /*
 534  * Create a uniquely-named empty temporary file.
 535  * Return 0 upon success, otherwise a negative errno value.
 536  */
 537 int get_tmp_filename(char *filename, int size)
 538 {
 539 #ifdef _WIN32
 540     char temp_dir[MAX_PATH];
 541     /* GetTempFileName requires that its output buffer (4th param)
 542        have length MAX_PATH or greater.  */
 543     assert(size >= MAX_PATH);
 544     return (GetTempPath(MAX_PATH, temp_dir)
 545             && GetTempFileName(temp_dir, "qem", 0, filename)
 546             ? 0 : -GetLastError());
 547 #else
 548     int fd;
 549     const char *tmpdir;
 550     tmpdir = getenv("TMPDIR");
 551     if (!tmpdir)
 552         tmpdir = "/tmp";
 553     if (snprintf(filename, size, "%s/vl.XXXXXX", tmpdir) >= size) {
 554         return -EOVERFLOW;
 555     }
 556     fd = mkstemp(filename);
 557     if (fd < 0) {
 558         return -errno;
 559     }
 560     if (close(fd) != 0) {
 561         unlink(filename);
 562         return -errno;
 563     }
 564     return 0;
 565 #endif
 566 }
 567
 568 /*
 569  * Detect host devices. By convention, /dev/cdrom[N] is always
 570  * recognized as a host CDROM.
 571  */
 572 static BlockDriver *find_hdev_driver(const char *filename)
 573 {
 574     int score_max = 0, score;
 575     BlockDriver *drv = NULL, *d;
 576
 577     QLIST_FOREACH(d, &bdrv_drivers, list) {
 578         if (d->bdrv_probe_device) {
 579             score = d->bdrv_probe_device(filename);
 580             if (score > score_max) {
 581                 score_max = score;
 582                 drv = d;
 583             }
 584         }
 585     }
 586
 587     return drv;
 588 }
 589
 590 BlockDriver *bdrv_find_protocol(const char *filename,
 591                                 bool allow_protocol_prefix)
 592 {
 593     BlockDriver *drv1;
 594     char protocol[128];
 595     int len;
 596     const char *p;
 597
 598     /* TODO Drivers without bdrv_file_open must be specified explicitly */
 599
 600     /*
 601      * XXX(hch): we really should not let host device detection
 602      * override an explicit protocol specification, but moving this
 603      * later breaks access to device names with colons in them.
 604      * Thanks to the brain-dead persistent naming schemes on udev-
 605      * based Linux systems those actually are quite common.
 606      */
 607     drv1 = find_hdev_driver(filename);
 608     if (drv1) {
 609         return drv1;
 610     }
 611
 612     if (!path_has_protocol(filename) || !allow_protocol_prefix) {
 613         return bdrv_find_format("file");
 614     }
 615
 616     p = strchr(filename, ':');
 617     assert(p != NULL);
 618     len = p - filename;
 619     if (len > sizeof(protocol) - 1)
 620         len = sizeof(protocol) - 1;
 621     memcpy(protocol, filename, len);
 622     protocol[len] = '\0';
 623     QLIST_FOREACH(drv1, &bdrv_drivers, list) {
 624         if (drv1->protocol_name &&
 625             !strcmp(drv1->protocol_name, protocol)) {
 626             return drv1;
 627         }
 628     }
 629     return NULL;
 630 }
 631
 632 static int find_image_format(BlockDriverState *bs, const char *filename,
 633                              BlockDriver **pdrv, Error **errp)
 634 {
 635     int score, score_max;
 636     BlockDriver *drv1, *drv;
 637     uint8_t buf[2048];
 638     int ret = 0;
 639
 640     /* Return the raw BlockDriver * to scsi-generic devices or empty drives */
 641     if (bs->sg || !bdrv_is_inserted(bs) || bdrv_getlength(bs) == 0) {
 642         drv = bdrv_find_format("raw");
 643         if (!drv) {
 644             error_setg(errp, "Could not find raw image format");
 645             ret = -ENOENT;
 646         }
 647         *pdrv = drv;
 648         return ret;
 649     }
 650
 651     ret = bdrv_pread(bs, 0, buf, sizeof(buf));
 652     if (ret < 0) {
 653         error_setg_errno(errp, -ret, "Could not read image for determining its "
 654                          "format");
 655         *pdrv = NULL;
 656         return ret;
 657     }
 658
 659     score_max = 0;
 660     drv = NULL;
 661     QLIST_FOREACH(drv1, &bdrv_drivers, list) {
 662         if (drv1->bdrv_probe) {
 663             score = drv1->bdrv_probe(buf, ret, filename);
 664             if (score > score_max) {
 665                 score_max = score;
 666                 drv = drv1;
 667             }
 668         }
 669     }
 670     if (!drv) {
 671         error_setg(errp, "Could not determine image format: No compatible "
 672                    "driver found");
 673         ret = -ENOENT;
 674     }
 675     *pdrv = drv;
 676     return ret;
 677 }
 678
 679 /**
 680  * Set the current 'total_sectors' value
 681  */
 682 static int refresh_total_sectors(BlockDriverState *bs, int64_t hint)
 683 {
 684     BlockDriver *drv = bs->drv;
 685
 686     /* Do not attempt drv->bdrv_getlength() on scsi-generic devices */
 687     if (bs->sg)
 688         return 0;
 689
 690     /* query actual device if possible, otherwise just trust the hint */
 691     if (drv->bdrv_getlength) {
 692         int64_t length = drv->bdrv_getlength(bs);
 693         if (length < 0) {
 694             return length;
 695         }
 696         hint = DIV_ROUND_UP(length, BDRV_SECTOR_SIZE);
 697     }
 698
 699     bs->total_sectors = hint;
 700     return 0;
 701 }
 702
 703 /**
 704  * Set open flags for a given discard mode
 705  *
 706  * Return 0 on success, -1 if the discard mode was invalid.
 707  */
 708 int bdrv_parse_discard_flags(const char *mode, int *flags)
 709 {
 710     *flags &= ~BDRV_O_UNMAP;
 711
 712     if (!strcmp(mode, "off") || !strcmp(mode, "ignore")) {
 713         /* do nothing */
 714     } else if (!strcmp(mode, "on") || !strcmp(mode, "unmap")) {
 715         *flags |= BDRV_O_UNMAP;
 716     } else {
 717         return -1;
 718     }
 719
 720     return 0;
 721 }
 722
 723 /**
 724  * Set open flags for a given cache mode
 725  *
 726  * Return 0 on success, -1 if the cache mode was invalid.
 727  */
 728 int bdrv_parse_cache_flags(const char *mode, int *flags)
 729 {
 730     *flags &= ~BDRV_O_CACHE_MASK;
 731
 732     if (!strcmp(mode, "off") || !strcmp(mode, "none")) {
 733         *flags |= BDRV_O_NOCACHE | BDRV_O_CACHE_WB;
 734     } else if (!strcmp(mode, "directsync")) {
 735         *flags |= BDRV_O_NOCACHE;
 736     } else if (!strcmp(mode, "writeback")) {
 737         *flags |= BDRV_O_CACHE_WB;
 738     } else if (!strcmp(mode, "unsafe")) {
 739         *flags |= BDRV_O_CACHE_WB;
 740         *flags |= BDRV_O_NO_FLUSH;
 741     } else if (!strcmp(mode, "writethrough")) {
 742         /* this is the default */
 743     } else {
 744         return -1;
 745     }
 746
 747     return 0;
 748 }
 749
 750 /**
 751  * The copy-on-read flag is actually a reference count so multiple users may
 752  * use the feature without worrying about clobbering its previous state.
 753  * Copy-on-read stays enabled until all users have called to disable it.
 754  */
 755 void bdrv_enable_copy_on_read(BlockDriverState *bs)
 756 {
 757     bs->copy_on_read++;
 758 }
 759
 760 void bdrv_disable_copy_on_read(BlockDriverState *bs)
 761 {
 762     assert(bs->copy_on_read > 0);
 763     bs->copy_on_read--;
 764 }
 765
 766 static int bdrv_open_flags(BlockDriverState *bs, int flags)
 767 {
 768     int open_flags = flags | BDRV_O_CACHE_WB;
 769
 770     /*
 771      * Clear flags that are internal to the block layer before opening the
 772      * image.
 773      */
 774     open_flags &= ~(BDRV_O_SNAPSHOT | BDRV_O_NO_BACKING);
 775
 776     /*
 777      * Snapshots should be writable.
 778      */
 779     if (bs->is_temporary) {
 780         open_flags |= BDRV_O_RDWR;
 781     }
 782
 783     return open_flags;
 784 }
 785
 786 static int bdrv_assign_node_name(BlockDriverState *bs,
 787                                  const char *node_name,
 788                                  Error **errp)
 789 {
 790     if (!node_name) {
 791         return 0;
 792     }
 793
 794     /* empty string node name is invalid */
 795     if (node_name[0] == '\0') {
 796         error_setg(errp, "Empty node name");
 797         return -EINVAL;
 798     }
 799
 800     /* takes care of avoiding duplicates node names */
 801     if (bdrv_find_node(node_name)) {
 802         error_setg(errp, "Duplicate node name");
 803         return -EINVAL;
 804     }
 805
 806     /* copy node name into the bs and insert it into the graph list */
 807     pstrcpy(bs->node_name, sizeof(bs->node_name), node_name);
 808     QTAILQ_INSERT_TAIL(&graph_bdrv_states, bs, node_list);
 809
 810     return 0;
 811 }
 812
 813 /*
 814  * Common part for opening disk images and files
 815  *
 816  * Removes all processed options from *options.
 817  */
 818 static int bdrv_open_common(BlockDriverState *bs, BlockDriverState *file,
 819     QDict *options, int flags, BlockDriver *drv, Error **errp)
 820 {
 821     int ret, open_flags;
 822     const char *filename;
 823     const char *node_name = NULL;
 824     Error *local_err = NULL;
 825
 826     assert(drv != NULL);
 827     assert(bs->file == NULL);
 828     assert(options != NULL && bs->options != options);
 829
 830     if (file != NULL) {
 831         filename = file->filename;
 832     } else {
 833         filename = qdict_get_try_str(options, "filename");
 834     }
 835
 836     trace_bdrv_open_common(bs, filename ?: "", flags, drv->format_name);
 837
 838     node_name = qdict_get_try_str(options, "node-name");
 839     ret = bdrv_assign_node_name(bs, node_name, errp);
 840     if (ret < 0) {
 841         return ret;
 842     }
 843     qdict_del(options, "node-name");
 844
 845     /* bdrv_open() with directly using a protocol as drv. This layer is already
 846      * opened, so assign it to bs (while file becomes a closed BlockDriverState)
 847      * and return immediately. */
 848     if (file != NULL && drv->bdrv_file_open) {
 849         bdrv_swap(file, bs);
 850         return 0;
 851     }
 852
 853     bs->open_flags = flags;
 854     bs->guest_block_size = 512;
 855     bs->request_alignment = 512;
 856     bs->zero_beyond_eof = true;
 857     open_flags = bdrv_open_flags(bs, flags);
 858     bs->read_only = !(open_flags & BDRV_O_RDWR);
 859
 860     if (use_bdrv_whitelist && !bdrv_is_whitelisted(drv, bs->read_only)) {
 861         error_setg(errp,
 862                    !bs->read_only && bdrv_is_whitelisted(drv, true)
 863                         ? "Driver '%s' can only be used for read-only devices"
 864                         : "Driver '%s' is not whitelisted",
 865                    drv->format_name);
 866         return -ENOTSUP;
 867     }
 868
 869     assert(bs->copy_on_read == 0); /* bdrv_new() and bdrv_close() make it so */
 870     if (flags & BDRV_O_COPY_ON_READ) {
 871         if (!bs->read_only) {
 872             bdrv_enable_copy_on_read(bs);
 873         } else {
 874             error_setg(errp, "Can't use copy-on-read on read-only device");
 875             return -EINVAL;
 876         }
 877     }
 878
 879     if (filename != NULL) {
 880         pstrcpy(bs->filename, sizeof(bs->filename), filename);
 881     } else {
 882         bs->filename[0] = '\0';
 883     }
 884
 885     bs->drv = drv;
 886     bs->opaque = g_malloc0(drv->instance_size);
 887
 888     bs->enable_write_cache = !!(flags & BDRV_O_CACHE_WB);
 889
 890     /* Open the image, either directly or using a protocol */
 891     if (drv->bdrv_file_open) {
 892         assert(file == NULL);
 893         assert(!drv->bdrv_needs_filename || filename != NULL);
 894         ret = drv->bdrv_file_open(bs, options, open_flags, &local_err);
 895     } else {
 896         if (file == NULL) {
 897             error_setg(errp, "Can't use '%s' as a block driver for the "
 898                        "protocol level", drv->format_name);
 899             ret = -EINVAL;
 900             goto free_and_fail;
 901         }
 902         bs->file = file;
 903         ret = drv->bdrv_open(bs, options, open_flags, &local_err);
 904     }
 905
 906     if (ret < 0) {
 907         if (error_is_set(&local_err)) {
 908             error_propagate(errp, local_err);
 909         } else if (bs->filename[0]) {
 910             error_setg_errno(errp, -ret, "Could not open '%s'", bs->filename);
 911         } else {
 912             error_setg_errno(errp, -ret, "Could not open image");
 913         }
 914         goto free_and_fail;
 915     }
 916
 917     ret = refresh_total_sectors(bs, bs->total_sectors);
 918     if (ret < 0) {
 919         error_setg_errno(errp, -ret, "Could not refresh total sector count");
 920         goto free_and_fail;
 921     }
 922
 923     bdrv_refresh_limits(bs);
 924     assert(bdrv_opt_mem_align(bs) != 0);
 925     assert(bs->request_alignment != 0);
 926
 927 #ifndef _WIN32
 928     if (bs->is_temporary) {
 929         assert(bs->filename[0] != '\0');
 930         unlink(bs->filename);
 931     }
 932 #endif
 933     return 0;
 934
 935 free_and_fail:
 936     bs->file = NULL;
 937     g_free(bs->opaque);
 938     bs->opaque = NULL;
 939     bs->drv = NULL;
 940     return ret;
 941 }
 942
 943 /*
 944  * Opens a file using a protocol (file, host_device, nbd, ...)
 945  *
 946  * options is a QDict of options to pass to the block drivers, or NULL for an
 947  * empty set of options. The reference to the QDict belongs to the block layer
 948  * after the call (even on failure), so if the caller intends to reuse the
 949  * dictionary, it needs to use QINCREF() before calling bdrv_file_open.
 950  */
 951 int bdrv_file_open(BlockDriverState **pbs, const char *filename,
 952                    const char *reference, QDict *options, int flags,
 953                    Error **errp)
 954 {
 955     BlockDriverState *bs = NULL;
 956     BlockDriver *drv;
 957     const char *drvname;
 958     bool allow_protocol_prefix = false;
 959     Error *local_err = NULL;
 960     int ret;
 961
 962     /* NULL means an empty set of options */
 963     if (options == NULL) {
 964         options = qdict_new();
 965     }
 966
 967     if (reference) {
 968         if (filename || qdict_size(options)) {
 969             error_setg(errp, "Cannot reference an existing block device with "
 970                        "additional options or a new filename");
 971             return -EINVAL;
 972         }
 973         QDECREF(options);
 974
 975         bs = bdrv_find(reference);
 976         if (!bs) {
 977             error_setg(errp, "Cannot find block device '%s'", reference);
 978             return -ENODEV;
 979         }
 980         bdrv_ref(bs);
 981         *pbs = bs;
 982         return 0;
 983     }
 984
 985     bs = bdrv_new("");
 986     bs->options = options;
 987     options = qdict_clone_shallow(options);
 988
 989     /* Fetch the file name from the options QDict if necessary */
 990     if (!filename) {
 991         filename = qdict_get_try_str(options, "filename");
 992     } else if (filename && !qdict_haskey(options, "filename")) {
 993         qdict_put(options, "filename", qstring_from_str(filename));
 994         allow_protocol_prefix = true;
 995     } else {
 996         error_setg(errp, "Can't specify 'file' and 'filename' options at the "
 997                    "same time");
 998         ret = -EINVAL;
 999         goto fail;
1000     }
1001
1002     /* Find the right block driver */
1003     drvname = qdict_get_try_str(options, "driver");
1004     if (drvname) {
1005         drv = bdrv_find_format(drvname);
1006         if (!drv) {
1007             error_setg(errp, "Unknown driver '%s'", drvname);
1008         }
1009         qdict_del(options, "driver");
1010     } else if (filename) {
1011         drv = bdrv_find_protocol(filename, allow_protocol_prefix);
1012         if (!drv) {
1013             error_setg(errp, "Unknown protocol");
1014         }
1015     } else {
1016         error_setg(errp, "Must specify either driver or file");
1017         drv = NULL;
1018     }
1019
1020     if (!drv) {
1021         /* errp has been set already */
1022         ret = -ENOENT;
1023         goto fail;
1024     }
1025
1026     /* Parse the filename and open it */
1027     if (drv->bdrv_parse_filename && filename) {
1028         drv->bdrv_parse_filename(filename, options, &local_err);
1029         if (error_is_set(&local_err)) {
1030             error_propagate(errp, local_err);
1031             ret = -EINVAL;
1032             goto fail;
1033         }
1034         qdict_del(options, "filename");
1035     } else if (drv->bdrv_needs_filename && !filename) {
1036         error_setg(errp, "The '%s' block driver requires a file name",
1037                    drv->format_name);
1038         ret = -EINVAL;
1039         goto fail;
1040     }
1041
1042     if (!drv->bdrv_file_open) {
1043         ret = bdrv_open(bs, filename, options, flags, drv, &local_err);
1044         options = NULL;
1045     } else {
1046         ret = bdrv_open_common(bs, NULL, options, flags, drv, &local_err);
1047     }
1048     if (ret < 0) {
1049         error_propagate(errp, local_err);
1050         goto fail;
1051     }
1052
1053     /* Check if any unknown options were used */
1054     if (options && (qdict_size(options) != 0)) {
1055         const QDictEntry *entry = qdict_first(options);
1056         error_setg(errp, "Block protocol '%s' doesn't support the option '%s'",
1057                    drv->format_name, entry->key);
1058         ret = -EINVAL;
1059         goto fail;
1060     }
1061     QDECREF(options);
1062
1063     bs->growable = 1;
1064     *pbs = bs;
1065     return 0;
1066
1067 fail:
1068     QDECREF(options);
1069     if (!bs->drv) {
1070         QDECREF(bs->options);
1071     }
1072     bdrv_unref(bs);
1073     return ret;
1074 }
1075
1076 /*
1077  * Opens the backing file for a BlockDriverState if not yet open
1078  *
1079  * options is a QDict of options to pass to the block drivers, or NULL for an
1080  * empty set of options. The reference to the QDict is transferred to this
1081  * function (even on failure), so if the caller intends to reuse the dictionary,
1082  * it needs to use QINCREF() before calling bdrv_file_open.
1083  */
1084 int bdrv_open_backing_file(BlockDriverState *bs, QDict *options, Error **errp)
1085 {
1086     char backing_filename[PATH_MAX];
1087     int back_flags, ret;
1088     BlockDriver *back_drv = NULL;
1089     Error *local_err = NULL;
1090
1091     if (bs->backing_hd != NULL) {
1092         QDECREF(options);
1093         return 0;
1094     }
1095
1096     /* NULL means an empty set of options */
1097     if (options == NULL) {
1098         options = qdict_new();
1099     }
1100
1101     bs->open_flags &= ~BDRV_O_NO_BACKING;
1102     if (qdict_haskey(options, "file.filename")) {
1103         backing_filename[0] = '\0';
1104     } else if (bs->backing_file[0] == '\0' && qdict_size(options) == 0) {
1105         QDECREF(options);
1106         return 0;
1107     } else {
1108         bdrv_get_full_backing_filename(bs, backing_filename,
1109                                        sizeof(backing_filename));
1110     }
1111
1112     bs->backing_hd = bdrv_new("");
1113
1114     if (bs->backing_format[0] != '\0') {
1115         back_drv = bdrv_find_format(bs->backing_format);
1116     }
1117
1118     /* backing files always opened read-only */
1119     back_flags = bs->open_flags & ~(BDRV_O_RDWR | BDRV_O_SNAPSHOT |
1120                                     BDRV_O_COPY_ON_READ);
1121
1122     ret = bdrv_open(bs->backing_hd,
1123                     *backing_filename ? backing_filename : NULL, options,
1124                     back_flags, back_drv, &local_err);
1125     if (ret < 0) {
1126         bdrv_unref(bs->backing_hd);
1127         bs->backing_hd = NULL;
1128         bs->open_flags |= BDRV_O_NO_BACKING;
1129         error_setg(errp, "Could not open backing file: %s",
1130                    error_get_pretty(local_err));
1131         error_free(local_err);
1132         return ret;
1133     }
1134
1135     if (bs->backing_hd->file) {
1136         pstrcpy(bs->backing_file, sizeof(bs->backing_file),
1137                 bs->backing_hd->file->filename);
1138     }
1139
1140     /* Recalculate the BlockLimits with the backing file */
1141     bdrv_refresh_limits(bs);
1142
1143     return 0;
1144 }
1145
1146 /*
1147  * Opens a disk image whose options are given as BlockdevRef in another block
1148  * device's options.
1149  *
1150  * If force_raw is true, bdrv_file_open() will be used, thereby preventing any
1151  * image format auto-detection. If it is false and a filename is given,
1152  * bdrv_open() will be used for auto-detection.
1153  *
1154  * If allow_none is true, no image will be opened if filename is false and no
1155  * BlockdevRef is given. *pbs will remain unchanged and 0 will be returned.
1156  *
1157  * bdrev_key specifies the key for the image's BlockdevRef in the options QDict.
1158  * That QDict has to be flattened; therefore, if the BlockdevRef is a QDict
1159  * itself, all options starting with "${bdref_key}." are considered part of the
1160  * BlockdevRef.
1161  *
1162  * The BlockdevRef will be removed from the options QDict.
1163  */
1164 int bdrv_open_image(BlockDriverState **pbs, const char *filename,
1165                     QDict *options, const char *bdref_key, int flags,
1166                     bool force_raw, bool allow_none, Error **errp)
1167 {
1168     QDict *image_options;
1169     int ret;
1170     char *bdref_key_dot;
1171     const char *reference;
1172
1173     bdref_key_dot = g_strdup_printf("%s.", bdref_key);
1174     qdict_extract_subqdict(options, &image_options, bdref_key_dot);
1175     g_free(bdref_key_dot);
1176
1177     reference = qdict_get_try_str(options, bdref_key);
1178     if (!filename && !reference && !qdict_size(image_options)) {
1179         if (allow_none) {
1180             ret = 0;
1181         } else {
1182             error_setg(errp, "A block device must be specified for \"%s\"",
1183                        bdref_key);
1184             ret = -EINVAL;
1185         }
1186         goto done;
1187     }
1188
1189     if (filename && !force_raw) {
1190         /* If a filename is given and the block driver should be detected
1191            automatically (instead of using none), use bdrv_open() in order to do
1192            that auto-detection. */
1193         BlockDriverState *bs;
1194
1195         if (reference) {
1196             error_setg(errp, "Cannot reference an existing block device while "
1197                        "giving a filename");
1198             ret = -EINVAL;
1199             goto done;
1200         }
1201
1202         bs = bdrv_new("");
1203         ret = bdrv_open(bs, filename, image_options, flags, NULL, errp);
1204         if (ret < 0) {
1205             bdrv_unref(bs);
1206         } else {
1207             *pbs = bs;
1208         }
1209     } else {
1210         ret = bdrv_file_open(pbs, filename, reference, image_options, flags,
1211                              errp);
1212     }
1213
1214 done:
1215     qdict_del(options, bdref_key);
1216     return ret;
1217 }
1218
1219 /*
1220  * Opens a disk image (raw, qcow2, vmdk, ...)
1221  *
1222  * options is a QDict of options to pass to the block drivers, or NULL for an
1223  * empty set of options. The reference to the QDict belongs to the block layer
1224  * after the call (even on failure), so if the caller intends to reuse the
1225  * dictionary, it needs to use QINCREF() before calling bdrv_open.
1226  */
1227 int bdrv_open(BlockDriverState *bs, const char *filename, QDict *options,
1228               int flags, BlockDriver *drv, Error **errp)
1229 {
1230     int ret;
1231     /* TODO: extra byte is a hack to ensure MAX_PATH space on Windows. */
1232     char tmp_filename[PATH_MAX + 1];
1233     BlockDriverState *file = NULL;
1234     const char *drvname;
1235     Error *local_err = NULL;
1236
1237     /* NULL means an empty set of options */
1238     if (options == NULL) {
1239         options = qdict_new();
1240     }
1241
1242     bs->options = options;
1243     options = qdict_clone_shallow(options);
1244
1245     /* For snapshot=on, create a temporary qcow2 overlay */
1246     if (flags & BDRV_O_SNAPSHOT) {
1247         BlockDriverState *bs1;
1248         int64_t total_size;
1249         BlockDriver *bdrv_qcow2;
1250         QEMUOptionParameter *create_options;
1251         QDict *snapshot_options;
1252
1253         /* if snapshot, we create a temporary backing file and open it
1254            instead of opening 'filename' directly */
1255
1256         /* Get the required size from the image */
1257         bs1 = bdrv_new("");
1258         QINCREF(options);
1259         ret = bdrv_open(bs1, filename, options, BDRV_O_NO_BACKING,
1260                         drv, &local_err);
1261         if (ret < 0) {
1262             bdrv_unref(bs1);
1263             goto fail;
1264         }
1265         total_size = bdrv_getlength(bs1) & BDRV_SECTOR_MASK;
1266
1267         bdrv_unref(bs1);
1268
1269         /* Create the temporary image */
1270         ret = get_tmp_filename(tmp_filename, sizeof(tmp_filename));
1271         if (ret < 0) {
1272             error_setg_errno(errp, -ret, "Could not get temporary filename");
1273             goto fail;
1274         }
1275
1276         bdrv_qcow2 = bdrv_find_format("qcow2");
1277         create_options = parse_option_parameters("", bdrv_qcow2->create_options,
1278                                                  NULL);
1279
1280         set_option_parameter_int(create_options, BLOCK_OPT_SIZE, total_size);
1281
1282         ret = bdrv_create(bdrv_qcow2, tmp_filename, create_options, &local_err);
1283         free_option_parameters(create_options);
1284         if (ret < 0) {
1285             error_setg_errno(errp, -ret, "Could not create temporary overlay "
1286                              "'%s': %s", tmp_filename,
1287                              error_get_pretty(local_err));
1288             error_free(local_err);
1289             local_err = NULL;
1290             goto fail;
1291         }
1292
1293         /* Prepare a new options QDict for the temporary file, where user
1294          * options refer to the backing file */
1295         if (filename) {
1296             qdict_put(options, "file.filename", qstring_from_str(filename));
1297         }
1298         if (drv) {
1299             qdict_put(options, "driver", qstring_from_str(drv->format_name));
1300         }
1301
1302         snapshot_options = qdict_new();
1303         qdict_put(snapshot_options, "backing", options);
1304         qdict_flatten(snapshot_options);
1305
1306         bs->options = snapshot_options;
1307         options = qdict_clone_shallow(bs->options);
1308
1309         filename = tmp_filename;
1310         drv = bdrv_qcow2;
1311         bs->is_temporary = 1;
1312     }
1313
1314     /* Open image file without format layer */
1315     if (flags & BDRV_O_RDWR) {
1316         flags |= BDRV_O_ALLOW_RDWR;
1317     }
1318
1319     ret = bdrv_open_image(&file, filename, options, "file",
1320                           bdrv_open_flags(bs, flags | BDRV_O_UNMAP), true, true,
1321                           &local_err);
1322     if (ret < 0) {
1323         goto fail;
1324     }
1325
1326     /* Find the right image format driver */
1327     drvname = qdict_get_try_str(options, "driver");
1328     if (drvname) {
1329         drv = bdrv_find_format(drvname);
1330         qdict_del(options, "driver");
1331         if (!drv) {
1332             error_setg(errp, "Invalid driver: '%s'", drvname);
1333             ret = -EINVAL;
1334             goto unlink_and_fail;
1335         }
1336     }
1337
1338     if (!drv) {
1339         if (file) {
1340             ret = find_image_format(file, filename, &drv, &local_err);
1341         } else {
1342             error_setg(errp, "Must specify either driver or file");
1343             ret = -EINVAL;
1344             goto unlink_and_fail;
1345         }
1346     }
1347
1348     if (!drv) {
1349         goto unlink_and_fail;
1350     }
1351
1352     /* Open the image */
1353     ret = bdrv_open_common(bs, file, options, flags, drv, &local_err);
1354     if (ret < 0) {
1355         goto unlink_and_fail;
1356     }
1357
1358     if (file && (bs->file != file)) {
1359         bdrv_unref(file);
1360         file = NULL;
1361     }
1362
1363     /* If there is a backing file, use it */
1364     if ((flags & BDRV_O_NO_BACKING) == 0) {
1365         QDict *backing_options;
1366
1367         qdict_extract_subqdict(options, &backing_options, "backing.");
1368         ret = bdrv_open_backing_file(bs, backing_options, &local_err);
1369         if (ret < 0) {
1370             goto close_and_fail;
1371         }
1372     }
1373
1374     /* Check if any unknown options were used */
1375     if (qdict_size(options) != 0) {
1376         const QDictEntry *entry = qdict_first(options);
1377         error_setg(errp, "Block format '%s' used by device '%s' doesn't "
1378                    "support the option '%s'", drv->format_name, bs->device_name,
1379                    entry->key);
1380
1381         ret = -EINVAL;
1382         goto close_and_fail;
1383     }
1384     QDECREF(options);
1385
1386     if (!bdrv_key_required(bs)) {
1387         bdrv_dev_change_media_cb(bs, true);
1388     }
1389
1390     return 0;
1391
1392 unlink_and_fail:
1393     if (file != NULL) {
1394         bdrv_unref(file);
1395     }
1396     if (bs->is_temporary) {
1397         unlink(filename);
1398     }
1399 fail:
1400     QDECREF(bs->options);
1401     QDECREF(options);
1402     bs->options = NULL;
1403     if (error_is_set(&local_err)) {
1404         error_propagate(errp, local_err);
1405     }
1406     return ret;
1407
1408 close_and_fail:
1409     bdrv_close(bs);
1410     QDECREF(options);
1411     if (error_is_set(&local_err)) {
1412         error_propagate(errp, local_err);
1413     }
1414     return ret;
1415 }
1416
1417 typedef struct BlockReopenQueueEntry {
1418      bool prepared;
1419      BDRVReopenState state;
1420      QSIMPLEQ_ENTRY(BlockReopenQueueEntry) entry;
1421 } BlockReopenQueueEntry;
1422
1423 /*
1424  * Adds a BlockDriverState to a simple queue for an atomic, transactional
1425  * reopen of multiple devices.
1426  *
1427  * bs_queue can either be an existing BlockReopenQueue that has had QSIMPLE_INIT
1428  * already performed, or alternatively may be NULL a new BlockReopenQueue will
1429  * be created and initialized. This newly created BlockReopenQueue should be
1430  * passed back in for subsequent calls that are intended to be of the same
1431  * atomic 'set'.
1432  *
1433  * bs is the BlockDriverState to add to the reopen queue.
1434  *
1435  * flags contains the open flags for the associated bs
1436  *
1437  * returns a pointer to bs_queue, which is either the newly allocated
1438  * bs_queue, or the existing bs_queue being used.
1439  *
1440  */
1441 BlockReopenQueue *bdrv_reopen_queue(BlockReopenQueue *bs_queue,
1442                                     BlockDriverState *bs, int flags)
1443 {
1444     assert(bs != NULL);
1445
1446     BlockReopenQueueEntry *bs_entry;
1447     if (bs_queue == NULL) {
1448         bs_queue = g_new0(BlockReopenQueue, 1);
1449         QSIMPLEQ_INIT(bs_queue);
1450     }
1451
1452     if (bs->file) {
1453         bdrv_reopen_queue(bs_queue, bs->file, flags);
1454     }
1455
1456     bs_entry = g_new0(BlockReopenQueueEntry, 1);
1457     QSIMPLEQ_INSERT_TAIL(bs_queue, bs_entry, entry);
1458
1459     bs_entry->state.bs = bs;
1460     bs_entry->state.flags = flags;
1461
1462     return bs_queue;
1463 }
1464
1465 /*
1466  * Reopen multiple BlockDriverStates atomically & transactionally.
1467  *
1468  * The queue passed in (bs_queue) must have been built up previous
1469  * via bdrv_reopen_queue().
1470  *
1471  * Reopens all BDS specified in the queue, with the appropriate
1472  * flags.  All devices are prepared for reopen, and failure of any
1473  * device will cause all device changes to be abandonded, and intermediate
1474  * data cleaned up.
1475  *
1476  * If all devices prepare successfully, then the changes are committed
1477  * to all devices.
1478  *
1479  */
1480 int bdrv_reopen_multiple(BlockReopenQueue *bs_queue, Error **errp)
1481 {
1482     int ret = -1;
1483     BlockReopenQueueEntry *bs_entry, *next;
1484     Error *local_err = NULL;
1485
1486     assert(bs_queue != NULL);
1487
1488     bdrv_drain_all();
1489
1490     QSIMPLEQ_FOREACH(bs_entry, bs_queue, entry) {
1491         if (bdrv_reopen_prepare(&bs_entry->state, bs_queue, &local_err)) {
1492             error_propagate(errp, local_err);
1493             goto cleanup;
1494         }
1495         bs_entry->prepared = true;
1496     }
1497
1498     /* If we reach this point, we have success and just need to apply the
1499      * changes
1500      */
1501     QSIMPLEQ_FOREACH(bs_entry, bs_queue, entry) {
1502         bdrv_reopen_commit(&bs_entry->state);
1503     }
1504
1505     ret = 0;
1506
1507 cleanup:
1508     QSIMPLEQ_FOREACH_SAFE(bs_entry, bs_queue, entry, next) {
1509         if (ret && bs_entry->prepared) {
1510             bdrv_reopen_abort(&bs_entry->state);
1511         }
1512         g_free(bs_entry);
1513     }
1514     g_free(bs_queue);
1515     return ret;
1516 }
1517
1518
1519 /* Reopen a single BlockDriverState with the specified flags. */
1520 int bdrv_reopen(BlockDriverState *bs, int bdrv_flags, Error **errp)
1521 {
1522     int ret = -1;
1523     Error *local_err = NULL;
1524     BlockReopenQueue *queue = bdrv_reopen_queue(NULL, bs, bdrv_flags);
1525
1526     ret = bdrv_reopen_multiple(queue, &local_err);
1527     if (local_err != NULL) {
1528         error_propagate(errp, local_err);
1529     }
1530     return ret;
1531 }
1532
1533
1534 /*
1535  * Prepares a BlockDriverState for reopen. All changes are staged in the
1536  * 'opaque' field of the BDRVReopenState, which is used and allocated by
1537  * the block driver layer .bdrv_reopen_prepare()
1538  *
1539  * bs is the BlockDriverState to reopen
1540  * flags are the new open flags
1541  * queue is the reopen queue
1542  *
1543  * Returns 0 on success, non-zero on error.  On error errp will be set
1544  * as well.
1545  *
1546  * On failure, bdrv_reopen_abort() will be called to clean up any data.
1547  * It is the responsibility of the caller to then call the abort() or
1548  * commit() for any other BDS that have been left in a prepare() state
1549  *
1550  */
1551 int bdrv_reopen_prepare(BDRVReopenState *reopen_state, BlockReopenQueue *queue,
1552                         Error **errp)
1553 {
1554     int ret = -1;
1555     Error *local_err = NULL;
1556     BlockDriver *drv;
1557
1558     assert(reopen_state != NULL);
1559     assert(reopen_state->bs->drv != NULL);
1560     drv = reopen_state->bs->drv;
1561
1562     /* if we are to stay read-only, do not allow permission change
1563      * to r/w */
1564     if (!(reopen_state->bs->open_flags & BDRV_O_ALLOW_RDWR) &&
1565         reopen_state->flags & BDRV_O_RDWR) {
1566         error_set(errp, QERR_DEVICE_IS_READ_ONLY,
1567                   reopen_state->bs->device_name);
1568         goto error;
1569     }
1570
1571
1572     ret = bdrv_flush(reopen_state->bs);
1573     if (ret) {
1574         error_set(errp, ERROR_CLASS_GENERIC_ERROR, "Error (%s) flushing drive",
1575                   strerror(-ret));
1576         goto error;
1577     }
1578
1579     if (drv->bdrv_reopen_prepare) {
1580         ret = drv->bdrv_reopen_prepare(reopen_state, queue, &local_err);
1581         if (ret) {
1582             if (local_err != NULL) {
1583                 error_propagate(errp, local_err);
1584             } else {
1585                 error_setg(errp, "failed while preparing to reopen image '%s'",
1586                            reopen_state->bs->filename);
1587             }
1588             goto error;
1589         }
1590     } else {
1591         /* It is currently mandatory to have a bdrv_reopen_prepare()
1592          * handler for each supported drv. */
1593         error_set(errp, QERR_BLOCK_FORMAT_FEATURE_NOT_SUPPORTED,
1594                   drv->format_name, reopen_state->bs->device_name,
1595                  "reopening of file");
1596         ret = -1;
1597         goto error;
1598     }
1599
1600     ret = 0;
1601
1602 error:
1603     return ret;
1604 }
1605
1606 /*
1607  * Takes the staged changes for the reopen from bdrv_reopen_prepare(), and
1608  * makes them final by swapping the staging BlockDriverState contents into
1609  * the active BlockDriverState contents.
1610  */
1611 void bdrv_reopen_commit(BDRVReopenState *reopen_state)
1612 {
1613     BlockDriver *drv;
1614
1615     assert(reopen_state != NULL);
1616     drv = reopen_state->bs->drv;
1617     assert(drv != NULL);
1618
1619     /* If there are any driver level actions to take */
1620     if (drv->bdrv_reopen_commit) {
1621         drv->bdrv_reopen_commit(reopen_state);
1622     }
1623
1624     /* set BDS specific flags now */
1625     reopen_state->bs->open_flags         = reopen_state->flags;
1626     reopen_state->bs->enable_write_cache = !!(reopen_state->flags &
1627                                               BDRV_O_CACHE_WB);
1628     reopen_state->bs->read_only = !(reopen_state->flags & BDRV_O_RDWR);
1629
1630     bdrv_refresh_limits(reopen_state->bs);
1631 }
1632
1633 /*
1634  * Abort the reopen, and delete and free the staged changes in
1635  * reopen_state
1636  */
1637 void bdrv_reopen_abort(BDRVReopenState *reopen_state)
1638 {
1639     BlockDriver *drv;
1640
1641     assert(reopen_state != NULL);
1642     drv = reopen_state->bs->drv;
1643     assert(drv != NULL);
1644
1645     if (drv->bdrv_reopen_abort) {
1646         drv->bdrv_reopen_abort(reopen_state);
1647     }
1648 }
1649
1650
1651 void bdrv_close(BlockDriverState *bs)
1652 {
1653     if (bs->job) {
1654         block_job_cancel_sync(bs->job);
1655     }
1656     bdrv_drain_all(); /* complete I/O */
1657     bdrv_flush(bs);
1658     bdrv_drain_all(); /* in case flush left pending I/O */
1659     notifier_list_notify(&bs->close_notifiers, bs);
1660
1661     if (bs->drv) {
1662         if (bs->backing_hd) {
1663             bdrv_unref(bs->backing_hd);
1664             bs->backing_hd = NULL;
1665         }
1666         bs->drv->bdrv_close(bs);
1667         g_free(bs->opaque);
1668 #ifdef _WIN32
1669         if (bs->is_temporary) {
1670             unlink(bs->filename);
1671         }
1672 #endif
1673         bs->opaque = NULL;
1674         bs->drv = NULL;
1675         bs->copy_on_read = 0;
1676         bs->backing_file[0] = '\0';
1677         bs->backing_format[0] = '\0';
1678         bs->total_sectors = 0;
1679         bs->encrypted = 0;
1680         bs->valid_key = 0;
1681         bs->sg = 0;
1682         bs->growable = 0;
1683         bs->zero_beyond_eof = false;
1684         QDECREF(bs->options);
1685         bs->options = NULL;
1686
1687         if (bs->file != NULL) {
1688             bdrv_unref(bs->file);
1689             bs->file = NULL;
1690         }
1691     }
1692
1693     bdrv_dev_change_media_cb(bs, false);
1694
1695     /*throttling disk I/O limits*/
1696     if (bs->io_limits_enabled) {
1697         bdrv_io_limits_disable(bs);
1698     }
1699 }
1700
1701 void bdrv_close_all(void)
1702 {
1703     BlockDriverState *bs;
1704
1705     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
1706         bdrv_close(bs);
1707     }
1708 }
1709
1710 /* Check if any requests are in-flight (including throttled requests) */
1711 static bool bdrv_requests_pending(BlockDriverState *bs)
1712 {
1713     if (!QLIST_EMPTY(&bs->tracked_requests)) {
1714         return true;
1715     }
1716     if (!qemu_co_queue_empty(&bs->throttled_reqs[0])) {
1717         return true;
1718     }
1719     if (!qemu_co_queue_empty(&bs->throttled_reqs[1])) {
1720         return true;
1721     }
1722     if (bs->file && bdrv_requests_pending(bs->file)) {
1723         return true;
1724     }
1725     if (bs->backing_hd && bdrv_requests_pending(bs->backing_hd)) {
1726         return true;
1727     }
1728     return false;
1729 }
1730
1731 static bool bdrv_requests_pending_all(void)
1732 {
1733     BlockDriverState *bs;
1734     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
1735         if (bdrv_requests_pending(bs)) {
1736             return true;
1737         }
1738     }
1739     return false;
1740 }
1741
1742 /*
1743  * Wait for pending requests to complete across all BlockDriverStates
1744  *
1745  * This function does not flush data to disk, use bdrv_flush_all() for that
1746  * after calling this function.
1747  *
1748  * Note that completion of an asynchronous I/O operation can trigger any
1749  * number of other I/O operations on other devices---for example a coroutine
1750  * can be arbitrarily complex and a constant flow of I/O can come until the
1751  * coroutine is complete.  Because of this, it is not possible to have a
1752  * function to drain a single device's I/O queue.
1753  */
1754 void bdrv_drain_all(void)
1755 {
1756     /* Always run first iteration so any pending completion BHs run */
1757     bool busy = true;
1758     BlockDriverState *bs;
1759
1760     while (busy) {
1761         QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
1762             bdrv_start_throttled_reqs(bs);
1763         }
1764
1765         busy = bdrv_requests_pending_all();
1766         busy |= aio_poll(qemu_get_aio_context(), busy);
1767     }
1768 }
1769
1770 /* make a BlockDriverState anonymous by removing from bdrv_state and
1771  * graph_bdrv_state list.
1772    Also, NULL terminate the device_name to prevent double remove */
1773 void bdrv_make_anon(BlockDriverState *bs)
1774 {
1775     if (bs->device_name[0] != '\0') {
1776         QTAILQ_REMOVE(&bdrv_states, bs, device_list);
1777     }
1778     bs->device_name[0] = '\0';
1779     if (bs->node_name[0] != '\0') {
1780         QTAILQ_REMOVE(&graph_bdrv_states, bs, node_list);
1781     }
1782     bs->node_name[0] = '\0';
1783 }
1784
1785 static void bdrv_rebind(BlockDriverState *bs)
1786 {
1787     if (bs->drv && bs->drv->bdrv_rebind) {
1788         bs->drv->bdrv_rebind(bs);
1789     }
1790 }
1791
1792 static void bdrv_move_feature_fields(BlockDriverState *bs_dest,
1793                                      BlockDriverState *bs_src)
1794 {
1795     /* move some fields that need to stay attached to the device */
1796     bs_dest->open_flags         = bs_src->open_flags;
1797
1798     /* dev info */
1799     bs_dest->dev_ops            = bs_src->dev_ops;
1800     bs_dest->dev_opaque         = bs_src->dev_opaque;
1801     bs_dest->dev                = bs_src->dev;
1802     bs_dest->guest_block_size   = bs_src->guest_block_size;
1803     bs_dest->copy_on_read       = bs_src->copy_on_read;
1804
1805     bs_dest->enable_write_cache = bs_src->enable_write_cache;
1806
1807     /* i/o throttled req */
1808     memcpy(&bs_dest->throttle_state,
1809            &bs_src->throttle_state,
1810            sizeof(ThrottleState));
1811     bs_dest->throttled_reqs[0]  = bs_src->throttled_reqs[0];
1812     bs_dest->throttled_reqs[1]  = bs_src->throttled_reqs[1];
1813     bs_dest->io_limits_enabled  = bs_src->io_limits_enabled;
1814
1815     /* r/w error */
1816     bs_dest->on_read_error      = bs_src->on_read_error;
1817     bs_dest->on_write_error     = bs_src->on_write_error;
1818
1819     /* i/o status */
1820     bs_dest->iostatus_enabled   = bs_src->iostatus_enabled;
1821     bs_dest->iostatus           = bs_src->iostatus;
1822
1823     /* dirty bitmap */
1824     bs_dest->dirty_bitmaps      = bs_src->dirty_bitmaps;
1825
1826     /* reference count */
1827     bs_dest->refcnt             = bs_src->refcnt;
1828
1829     /* job */
1830     bs_dest->in_use             = bs_src->in_use;
1831     bs_dest->job                = bs_src->job;
1832
1833     /* keep the same entry in bdrv_states */
1834     pstrcpy(bs_dest->device_name, sizeof(bs_dest->device_name),
1835             bs_src->device_name);
1836     bs_dest->device_list = bs_src->device_list;
1837
1838     /* keep the same entry in graph_bdrv_states
1839      * We do want to swap name but don't want to swap linked list entries
1840      */
1841     bs_dest->node_list   = bs_src->node_list;
1842 }
1843
1844 /*
1845  * Swap bs contents for two image chains while they are live,
1846  * while keeping required fields on the BlockDriverState that is
1847  * actually attached to a device.
1848  *
1849  * This will modify the BlockDriverState fields, and swap contents
1850  * between bs_new and bs_old. Both bs_new and bs_old are modified.
1851  *
1852  * bs_new is required to be anonymous.
1853  *
1854  * This function does not create any image files.
1855  */
1856 void bdrv_swap(BlockDriverState *bs_new, BlockDriverState *bs_old)
1857 {
1858     BlockDriverState tmp;
1859
1860     /* bs_new must be anonymous and shouldn't have anything fancy enabled */
1861     assert(bs_new->device_name[0] == '\0');
1862     assert(QLIST_EMPTY(&bs_new->dirty_bitmaps));
1863     assert(bs_new->job == NULL);
1864     assert(bs_new->dev == NULL);
1865     assert(bs_new->in_use == 0);
1866     assert(bs_new->io_limits_enabled == false);
1867     assert(!throttle_have_timer(&bs_new->throttle_state));
1868
1869     tmp = *bs_new;
1870     *bs_new = *bs_old;
1871     *bs_old = tmp;
1872
1873     /* there are some fields that should not be swapped, move them back */
1874     bdrv_move_feature_fields(&tmp, bs_old);
1875     bdrv_move_feature_fields(bs_old, bs_new);
1876     bdrv_move_feature_fields(bs_new, &tmp);
1877
1878     /* bs_new shouldn't be in bdrv_states even after the swap!  */
1879     assert(bs_new->device_name[0] == '\0');
1880
1881     /* Check a few fields that should remain attached to the device */
1882     assert(bs_new->dev == NULL);
1883     assert(bs_new->job == NULL);
1884     assert(bs_new->in_use == 0);
1885     assert(bs_new->io_limits_enabled == false);
1886     assert(!throttle_have_timer(&bs_new->throttle_state));
1887
1888     bdrv_rebind(bs_new);
1889     bdrv_rebind(bs_old);
1890 }
1891
1892 /*
1893  * Add new bs contents at the top of an image chain while the chain is
1894  * live, while keeping required fields on the top layer.
1895  *
1896  * This will modify the BlockDriverState fields, and swap contents
1897  * between bs_new and bs_top. Both bs_new and bs_top are modified.
1898  *
1899  * bs_new is required to be anonymous.
1900  *
1901  * This function does not create any image files.
1902  */
1903 void bdrv_append(BlockDriverState *bs_new, BlockDriverState *bs_top)
1904 {
1905     bdrv_swap(bs_new, bs_top);
1906
1907     /* The contents of 'tmp' will become bs_top, as we are
1908      * swapping bs_new and bs_top contents. */
1909     bs_top->backing_hd = bs_new;
1910     bs_top->open_flags &= ~BDRV_O_NO_BACKING;
1911     pstrcpy(bs_top->backing_file, sizeof(bs_top->backing_file),
1912             bs_new->filename);
1913     pstrcpy(bs_top->backing_format, sizeof(bs_top->backing_format),
1914             bs_new->drv ? bs_new->drv->format_name : "");
1915 }
1916
1917 static void bdrv_delete(BlockDriverState *bs)
1918 {
1919     assert(!bs->dev);
1920     assert(!bs->job);
1921     assert(!bs->in_use);
1922     assert(!bs->refcnt);
1923     assert(QLIST_EMPTY(&bs->dirty_bitmaps));
1924
1925     bdrv_close(bs);
1926
1927     /* remove from list, if necessary */
1928     bdrv_make_anon(bs);
1929
1930     g_free(bs);
1931 }
1932
1933 int bdrv_attach_dev(BlockDriverState *bs, void *dev)
1934 /* TODO change to DeviceState *dev when all users are qdevified */
1935 {
1936     if (bs->dev) {
1937         return -EBUSY;
1938     }
1939     bs->dev = dev;
1940     bdrv_iostatus_reset(bs);
1941     return 0;
1942 }
1943
1944 /* TODO qdevified devices don't use this, remove when devices are qdevified */
1945 void bdrv_attach_dev_nofail(BlockDriverState *bs, void *dev)
1946 {
1947     if (bdrv_attach_dev(bs, dev) < 0) {
1948         abort();
1949     }
1950 }
1951
1952 void bdrv_detach_dev(BlockDriverState *bs, void *dev)
1953 /* TODO change to DeviceState *dev when all users are qdevified */
1954 {
1955     assert(bs->dev == dev);
1956     bs->dev = NULL;
1957     bs->dev_ops = NULL;
1958     bs->dev_opaque = NULL;
1959     bs->guest_block_size = 512;
1960 }
1961
1962 /* TODO change to return DeviceState * when all users are qdevified */
1963 void *bdrv_get_attached_dev(BlockDriverState *bs)
1964 {
1965     return bs->dev;
1966 }
1967
1968 void bdrv_set_dev_ops(BlockDriverState *bs, const BlockDevOps *ops,
1969                       void *opaque)
1970 {
1971     bs->dev_ops = ops;
1972     bs->dev_opaque = opaque;
1973 }
1974
1975 void bdrv_emit_qmp_error_event(const BlockDriverState *bdrv,
1976                                enum MonitorEvent ev,
1977                                BlockErrorAction action, bool is_read)
1978 {
1979     QObject *data;
1980     const char *action_str;
1981
1982     switch (action) {
1983     case BDRV_ACTION_REPORT:
1984         action_str = "report";
1985         break;
1986     case BDRV_ACTION_IGNORE:
1987         action_str = "ignore";
1988         break;
1989     case BDRV_ACTION_STOP:
1990         action_str = "stop";
1991         break;
1992     default:
1993         abort();
1994     }
1995
1996     data = qobject_from_jsonf("{ 'device': %s, 'action': %s, 'operation': %s }",
1997                               bdrv->device_name,
1998                               action_str,
1999                               is_read ? "read" : "write");
2000     monitor_protocol_event(ev, data);
2001
2002     qobject_decref(data);
2003 }
2004
2005 static void bdrv_emit_qmp_eject_event(BlockDriverState *bs, bool ejected)
2006 {
2007     QObject *data;
2008
2009     data = qobject_from_jsonf("{ 'device': %s, 'tray-open': %i }",
2010                               bdrv_get_device_name(bs), ejected);
2011     monitor_protocol_event(QEVENT_DEVICE_TRAY_MOVED, data);
2012
2013     qobject_decref(data);
2014 }
2015
2016 static void bdrv_dev_change_media_cb(BlockDriverState *bs, bool load)
2017 {
2018     if (bs->dev_ops && bs->dev_ops->change_media_cb) {
2019         bool tray_was_closed = !bdrv_dev_is_tray_open(bs);
2020         bs->dev_ops->change_media_cb(bs->dev_opaque, load);
2021         if (tray_was_closed) {
2022             /* tray open */
2023             bdrv_emit_qmp_eject_event(bs, true);
2024         }
2025         if (load) {
2026             /* tray close */
2027             bdrv_emit_qmp_eject_event(bs, false);
2028         }
2029     }
2030 }
2031
2032 bool bdrv_dev_has_removable_media(BlockDriverState *bs)
2033 {
2034     return !bs->dev || (bs->dev_ops && bs->dev_ops->change_media_cb);
2035 }
2036
2037 void bdrv_dev_eject_request(BlockDriverState *bs, bool force)
2038 {
2039     if (bs->dev_ops && bs->dev_ops->eject_request_cb) {
2040         bs->dev_ops->eject_request_cb(bs->dev_opaque, force);
2041     }
2042 }
2043
2044 bool bdrv_dev_is_tray_open(BlockDriverState *bs)
2045 {
2046     if (bs->dev_ops && bs->dev_ops->is_tray_open) {
2047         return bs->dev_ops->is_tray_open(bs->dev_opaque);
2048     }
2049     return false;
2050 }
2051
2052 static void bdrv_dev_resize_cb(BlockDriverState *bs)
2053 {
2054     if (bs->dev_ops && bs->dev_ops->resize_cb) {
2055         bs->dev_ops->resize_cb(bs->dev_opaque);
2056     }
2057 }
2058
2059 bool bdrv_dev_is_medium_locked(BlockDriverState *bs)
2060 {
2061     if (bs->dev_ops && bs->dev_ops->is_medium_locked) {
2062         return bs->dev_ops->is_medium_locked(bs->dev_opaque);
2063     }
2064     return false;
2065 }
2066
2067 /*
2068  * Run consistency checks on an image
2069  *
2070  * Returns 0 if the check could be completed (it doesn't mean that the image is
2071  * free of errors) or -errno when an internal error occurred. The results of the
2072  * check are stored in res.
2073  */
2074 int bdrv_check(BlockDriverState *bs, BdrvCheckResult *res, BdrvCheckMode fix)
2075 {
2076     if (bs->drv->bdrv_check == NULL) {
2077         return -ENOTSUP;
2078     }
2079
2080     memset(res, 0, sizeof(*res));
2081     return bs->drv->bdrv_check(bs, res, fix);
2082 }
2083
2084 #define COMMIT_BUF_SECTORS 2048
2085
2086 /* commit COW file into the raw image */
2087 int bdrv_commit(BlockDriverState *bs)
2088 {
2089     BlockDriver *drv = bs->drv;
2090     int64_t sector, total_sectors, length, backing_length;
2091     int n, ro, open_flags;
2092     int ret = 0;
2093     uint8_t *buf = NULL;
2094     char filename[PATH_MAX];
2095
2096     if (!drv)
2097         return -ENOMEDIUM;
2098
2099     if (!bs->backing_hd) {
2100         return -ENOTSUP;
2101     }
2102
2103     if (bdrv_in_use(bs) || bdrv_in_use(bs->backing_hd)) {
2104         return -EBUSY;
2105     }
2106
2107     ro = bs->backing_hd->read_only;
2108     /* Use pstrcpy (not strncpy): filename must be NUL-terminated. */
2109     pstrcpy(filename, sizeof(filename), bs->backing_hd->filename);
2110     open_flags =  bs->backing_hd->open_flags;
2111
2112     if (ro) {
2113         if (bdrv_reopen(bs->backing_hd, open_flags | BDRV_O_RDWR, NULL)) {
2114             return -EACCES;
2115         }
2116     }
2117
2118     length = bdrv_getlength(bs);
2119     if (length < 0) {
2120         ret = length;
2121         goto ro_cleanup;
2122     }
2123
2124     backing_length = bdrv_getlength(bs->backing_hd);
2125     if (backing_length < 0) {
2126         ret = backing_length;
2127         goto ro_cleanup;
2128     }
2129
2130     /* If our top snapshot is larger than the backing file image,
2131      * grow the backing file image if possible.  If not possible,
2132      * we must return an error */
2133     if (length > backing_length) {
2134         ret = bdrv_truncate(bs->backing_hd, length);
2135         if (ret < 0) {
2136             goto ro_cleanup;
2137         }
2138     }
2139
2140     total_sectors = length >> BDRV_SECTOR_BITS;
2141     buf = g_malloc(COMMIT_BUF_SECTORS * BDRV_SECTOR_SIZE);
2142
2143     for (sector = 0; sector < total_sectors; sector += n) {
2144         ret = bdrv_is_allocated(bs, sector, COMMIT_BUF_SECTORS, &n);
2145         if (ret < 0) {
2146             goto ro_cleanup;
2147         }
2148         if (ret) {
2149             ret = bdrv_read(bs, sector, buf, n);
2150             if (ret < 0) {
2151                 goto ro_cleanup;
2152             }
2153
2154             ret = bdrv_write(bs->backing_hd, sector, buf, n);
2155             if (ret < 0) {
2156                 goto ro_cleanup;
2157             }
2158         }
2159     }
2160
2161     if (drv->bdrv_make_empty) {
2162         ret = drv->bdrv_make_empty(bs);
2163         if (ret < 0) {
2164             goto ro_cleanup;
2165         }
2166         bdrv_flush(bs);
2167     }
2168
2169     /*
2170      * Make sure all data we wrote to the backing device is actually
2171      * stable on disk.
2172      */
2173     if (bs->backing_hd) {
2174         bdrv_flush(bs->backing_hd);
2175     }
2176
2177     ret = 0;
2178 ro_cleanup:
2179     g_free(buf);
2180
2181     if (ro) {
2182         /* ignoring error return here */
2183         bdrv_reopen(bs->backing_hd, open_flags & ~BDRV_O_RDWR, NULL);
2184     }
2185
2186     return ret;
2187 }
2188
2189 int bdrv_commit_all(void)
2190 {
2191     BlockDriverState *bs;
2192
2193     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
2194         if (bs->drv && bs->backing_hd) {
2195             int ret = bdrv_commit(bs);
2196             if (ret < 0) {
2197                 return ret;
2198             }
2199         }
2200     }
2201     return 0;
2202 }
2203
2204 /**
2205  * Remove an active request from the tracked requests list
2206  *
2207  * This function should be called when a tracked request is completing.
2208  */
2209 static void tracked_request_end(BdrvTrackedRequest *req)
2210 {
2211     if (req->serialising) {
2212         req->bs->serialising_in_flight--;
2213     }
2214
2215     QLIST_REMOVE(req, list);
2216     qemu_co_queue_restart_all(&req->wait_queue);
2217 }
2218
2219 /**
2220  * Add an active request to the tracked requests list
2221  */
2222 static void tracked_request_begin(BdrvTrackedRequest *req,
2223                                   BlockDriverState *bs,
2224                                   int64_t offset,
2225                                   unsigned int bytes, bool is_write)
2226 {
2227     *req = (BdrvTrackedRequest){
2228         .bs = bs,
2229         .offset         = offset,
2230         .bytes          = bytes,
2231         .is_write       = is_write,
2232         .co             = qemu_coroutine_self(),
2233         .serialising    = false,
2234         .overlap_offset = offset,
2235         .overlap_bytes  = bytes,
2236     };
2237
2238     qemu_co_queue_init(&req->wait_queue);
2239
2240     QLIST_INSERT_HEAD(&bs->tracked_requests, req, list);
2241 }
2242
2243 static void mark_request_serialising(BdrvTrackedRequest *req, size_t align)
2244 {
2245     int64_t overlap_offset = req->offset & ~(align - 1);
2246     int overlap_bytes = ROUND_UP(req->offset + req->bytes, align)
2247                       - overlap_offset;
2248
2249     if (!req->serialising) {
2250         req->bs->serialising_in_flight++;
2251         req->serialising = true;
2252     }
2253
2254     req->overlap_offset = MIN(req->overlap_offset, overlap_offset);
2255     req->overlap_bytes = MAX(req->overlap_bytes, overlap_bytes);
2256 }
2257
2258 /**
2259  * Round a region to cluster boundaries
2260  */
2261 void bdrv_round_to_clusters(BlockDriverState *bs,
2262                             int64_t sector_num, int nb_sectors,
2263                             int64_t *cluster_sector_num,
2264                             int *cluster_nb_sectors)
2265 {
2266     BlockDriverInfo bdi;
2267
2268     if (bdrv_get_info(bs, &bdi) < 0 || bdi.cluster_size == 0) {
2269         *cluster_sector_num = sector_num;
2270         *cluster_nb_sectors = nb_sectors;
2271     } else {
2272         int64_t c = bdi.cluster_size / BDRV_SECTOR_SIZE;
2273         *cluster_sector_num = QEMU_ALIGN_DOWN(sector_num, c);
2274         *cluster_nb_sectors = QEMU_ALIGN_UP(sector_num - *cluster_sector_num +
2275                                             nb_sectors, c);
2276     }
2277 }
2278
2279 static int bdrv_get_cluster_size(BlockDriverState *bs)
2280 {
2281     BlockDriverInfo bdi;
2282     int ret;
2283
2284     ret = bdrv_get_info(bs, &bdi);
2285     if (ret < 0 || bdi.cluster_size == 0) {
2286         return bs->request_alignment;
2287     } else {
2288         return bdi.cluster_size;
2289     }
2290 }
2291
2292 static bool tracked_request_overlaps(BdrvTrackedRequest *req,
2293                                      int64_t offset, unsigned int bytes)
2294 {
2295     /*        aaaa   bbbb */
2296     if (offset >= req->overlap_offset + req->overlap_bytes) {
2297         return false;
2298     }
2299     /* bbbb   aaaa        */
2300     if (req->overlap_offset >= offset + bytes) {
2301         return false;
2302     }
2303     return true;
2304 }
2305
2306 static bool coroutine_fn wait_serialising_requests(BdrvTrackedRequest *self)
2307 {
2308     BlockDriverState *bs = self->bs;
2309     BdrvTrackedRequest *req;
2310     bool retry;
2311     bool waited = false;
2312
2313     if (!bs->serialising_in_flight) {
2314         return false;
2315     }
2316
2317     do {
2318         retry = false;
2319         QLIST_FOREACH(req, &bs->tracked_requests, list) {
2320             if (req == self || (!req->serialising && !self->serialising)) {
2321                 continue;
2322             }
2323             if (tracked_request_overlaps(req, self->overlap_offset,
2324                                          self->overlap_bytes))
2325             {
2326                 /* Hitting this means there was a reentrant request, for
2327                  * example, a block driver issuing nested requests.  This must
2328                  * never happen since it means deadlock.
2329                  */
2330                 assert(qemu_coroutine_self() != req->co);
2331
2332                 /* If the request is already (indirectly) waiting for us, or
2333                  * will wait for us as soon as it wakes up, then just go on
2334                  * (instead of producing a deadlock in the former case). */
2335                 if (!req->waiting_for) {
2336                     self->waiting_for = req;
2337                     qemu_co_queue_wait(&req->wait_queue);
2338                     self->waiting_for = NULL;
2339                     retry = true;
2340                     waited = true;
2341                     break;
2342                 }
2343             }
2344         }
2345     } while (retry);
2346
2347     return waited;
2348 }
2349
2350 /*
2351  * Return values:
2352  * 0        - success
2353  * -EINVAL  - backing format specified, but no file
2354  * -ENOSPC  - can't update the backing file because no space is left in the
2355  *            image file header
2356  * -ENOTSUP - format driver doesn't support changing the backing file
2357  */
2358 int bdrv_change_backing_file(BlockDriverState *bs,
2359     const char *backing_file, const char *backing_fmt)
2360 {
2361     BlockDriver *drv = bs->drv;
2362     int ret;
2363
2364     /* Backing file format doesn't make sense without a backing file */
2365     if (backing_fmt && !backing_file) {
2366         return -EINVAL;
2367     }
2368
2369     if (drv->bdrv_change_backing_file != NULL) {
2370         ret = drv->bdrv_change_backing_file(bs, backing_file, backing_fmt);
2371     } else {
2372         ret = -ENOTSUP;
2373     }
2374
2375     if (ret == 0) {
2376         pstrcpy(bs->backing_file, sizeof(bs->backing_file), backing_file ?: "");
2377         pstrcpy(bs->backing_format, sizeof(bs->backing_format), backing_fmt ?: "");
2378     }
2379     return ret;
2380 }
2381
2382 /*
2383  * Finds the image layer in the chain that has 'bs' as its backing file.
2384  *
2385  * active is the current topmost image.
2386  *
2387  * Returns NULL if bs is not found in active's image chain,
2388  * or if active == bs.
2389  */
2390 BlockDriverState *bdrv_find_overlay(BlockDriverState *active,
2391                                     BlockDriverState *bs)
2392 {
2393     BlockDriverState *overlay = NULL;
2394     BlockDriverState *intermediate;
2395
2396     assert(active != NULL);
2397     assert(bs != NULL);
2398
2399     /* if bs is the same as active, then by definition it has no overlay
2400      */
2401     if (active == bs) {
2402         return NULL;
2403     }
2404
2405     intermediate = active;
2406     while (intermediate->backing_hd) {
2407         if (intermediate->backing_hd == bs) {
2408             overlay = intermediate;
2409             break;
2410         }
2411         intermediate = intermediate->backing_hd;
2412     }
2413
2414     return overlay;
2415 }
2416
2417 typedef struct BlkIntermediateStates {
2418     BlockDriverState *bs;
2419     QSIMPLEQ_ENTRY(BlkIntermediateStates) entry;
2420 } BlkIntermediateStates;
2421
2422
2423 /*
2424  * Drops images above 'base' up to and including 'top', and sets the image
2425  * above 'top' to have base as its backing file.
2426  *
2427  * Requires that the overlay to 'top' is opened r/w, so that the backing file
2428  * information in 'bs' can be properly updated.
2429  *
2430  * E.g., this will convert the following chain:
2431  * bottom <- base <- intermediate <- top <- active
2432  *
2433  * to
2434  *
2435  * bottom <- base <- active
2436  *
2437  * It is allowed for bottom==base, in which case it converts:
2438  *
2439  * base <- intermediate <- top <- active
2440  *
2441  * to
2442  *
2443  * base <- active
2444  *
2445  * Error conditions:
2446  *  if active == top, that is considered an error
2447  *
2448  */
2449 int bdrv_drop_intermediate(BlockDriverState *active, BlockDriverState *top,
2450                            BlockDriverState *base)
2451 {
2452     BlockDriverState *intermediate;
2453     BlockDriverState *base_bs = NULL;
2454     BlockDriverState *new_top_bs = NULL;
2455     BlkIntermediateStates *intermediate_state, *next;
2456     int ret = -EIO;
2457
2458     QSIMPLEQ_HEAD(states_to_delete, BlkIntermediateStates) states_to_delete;
2459     QSIMPLEQ_INIT(&states_to_delete);
2460
2461     if (!top->drv || !base->drv) {
2462         goto exit;
2463     }
2464
2465     new_top_bs = bdrv_find_overlay(active, top);
2466
2467     if (new_top_bs == NULL) {
2468         /* we could not find the image above 'top', this is an error */
2469         goto exit;
2470     }
2471
2472     /* special case of new_top_bs->backing_hd already pointing to base - nothing
2473      * to do, no intermediate images */
2474     if (new_top_bs->backing_hd == base) {
2475         ret = 0;
2476         goto exit;
2477     }
2478
2479     intermediate = top;
2480
2481     /* now we will go down through the list, and add each BDS we find
2482      * into our deletion queue, until we hit the 'base'
2483      */
2484     while (intermediate) {
2485         intermediate_state = g_malloc0(sizeof(BlkIntermediateStates));
2486         intermediate_state->bs = intermediate;
2487         QSIMPLEQ_INSERT_TAIL(&states_to_delete, intermediate_state, entry);
2488
2489         if (intermediate->backing_hd == base) {
2490             base_bs = intermediate->backing_hd;
2491             break;
2492         }
2493         intermediate = intermediate->backing_hd;
2494     }
2495     if (base_bs == NULL) {
2496         /* something went wrong, we did not end at the base. safely
2497          * unravel everything, and exit with error */
2498         goto exit;
2499     }
2500
2501     /* success - we can delete the intermediate states, and link top->base */
2502     ret = bdrv_change_backing_file(new_top_bs, base_bs->filename,
2503                                    base_bs->drv ? base_bs->drv->format_name : "");
2504     if (ret) {
2505         goto exit;
2506     }
2507     new_top_bs->backing_hd = base_bs;
2508
2509     bdrv_refresh_limits(new_top_bs);
2510
2511     QSIMPLEQ_FOREACH_SAFE(intermediate_state, &states_to_delete, entry, next) {
2512         /* so that bdrv_close() does not recursively close the chain */
2513         intermediate_state->bs->backing_hd = NULL;
2514         bdrv_unref(intermediate_state->bs);
2515     }
2516     ret = 0;
2517
2518 exit:
2519     QSIMPLEQ_FOREACH_SAFE(intermediate_state, &states_to_delete, entry, next) {
2520         g_free(intermediate_state);
2521     }
2522     return ret;
2523 }
2524
2525
2526 static int bdrv_check_byte_request(BlockDriverState *bs, int64_t offset,
2527                                    size_t size)
2528 {
2529     int64_t len;
2530
2531     if (!bdrv_is_inserted(bs))
2532         return -ENOMEDIUM;
2533
2534     if (bs->growable)
2535         return 0;
2536
2537     len = bdrv_getlength(bs);
2538
2539     if (offset < 0)
2540         return -EIO;
2541
2542     if ((offset > len) || (len - offset < size))
2543         return -EIO;
2544
2545     return 0;
2546 }
2547
2548 static int bdrv_check_request(BlockDriverState *bs, int64_t sector_num,
2549                               int nb_sectors)
2550 {
2551     return bdrv_check_byte_request(bs, sector_num * BDRV_SECTOR_SIZE,
2552                                    nb_sectors * BDRV_SECTOR_SIZE);
2553 }
2554
2555 typedef struct RwCo {
2556     BlockDriverState *bs;
2557     int64_t offset;
2558     QEMUIOVector *qiov;
2559     bool is_write;
2560     int ret;
2561     BdrvRequestFlags flags;
2562 } RwCo;
2563
2564 static void coroutine_fn bdrv_rw_co_entry(void *opaque)
2565 {
2566     RwCo *rwco = opaque;
2567
2568     if (!rwco->is_write) {
2569         rwco->ret = bdrv_co_do_preadv(rwco->bs, rwco->offset,
2570                                       rwco->qiov->size, rwco->qiov,
2571                                       rwco->flags);
2572     } else {
2573         rwco->ret = bdrv_co_do_pwritev(rwco->bs, rwco->offset,
2574                                        rwco->qiov->size, rwco->qiov,
2575                                        rwco->flags);
2576     }
2577 }
2578
2579 /*
2580  * Process a vectored synchronous request using coroutines
2581  */
2582 static int bdrv_prwv_co(BlockDriverState *bs, int64_t offset,
2583                         QEMUIOVector *qiov, bool is_write,
2584                         BdrvRequestFlags flags)
2585 {
2586     Coroutine *co;
2587     RwCo rwco = {
2588         .bs = bs,
2589         .offset = offset,
2590         .qiov = qiov,
2591         .is_write = is_write,
2592         .ret = NOT_DONE,
2593         .flags = flags,
2594     };
2595
2596     /**
2597      * In sync call context, when the vcpu is blocked, this throttling timer
2598      * will not fire; so the I/O throttling function has to be disabled here
2599      * if it has been enabled.
2600      */
2601     if (bs->io_limits_enabled) {
2602         fprintf(stderr, "Disabling I/O throttling on '%s' due "
2603                         "to synchronous I/O.\n", bdrv_get_device_name(bs));
2604         bdrv_io_limits_disable(bs);
2605     }
2606
2607     if (qemu_in_coroutine()) {
2608         /* Fast-path if already in coroutine context */
2609         bdrv_rw_co_entry(&rwco);
2610     } else {
2611         co = qemu_coroutine_create(bdrv_rw_co_entry);
2612         qemu_coroutine_enter(co, &rwco);
2613         while (rwco.ret == NOT_DONE) {
2614             qemu_aio_wait();
2615         }
2616     }
2617     return rwco.ret;
2618 }
2619
2620 /*
2621  * Process a synchronous request using coroutines
2622  */
2623 static int bdrv_rw_co(BlockDriverState *bs, int64_t sector_num, uint8_t *buf,
2624                       int nb_sectors, bool is_write, BdrvRequestFlags flags)
2625 {
2626     QEMUIOVector qiov;
2627     struct iovec iov = {
2628         .iov_base = (void *)buf,
2629         .iov_len = nb_sectors * BDRV_SECTOR_SIZE,
2630     };
2631
2632     qemu_iovec_init_external(&qiov, &iov, 1);
2633     return bdrv_prwv_co(bs, sector_num << BDRV_SECTOR_BITS,
2634                         &qiov, is_write, flags);
2635 }
2636
2637 /* return < 0 if error. See bdrv_write() for the return codes */
2638 int bdrv_read(BlockDriverState *bs, int64_t sector_num,
2639               uint8_t *buf, int nb_sectors)
2640 {
2641     return bdrv_rw_co(bs, sector_num, buf, nb_sectors, false, 0);
2642 }
2643
2644 /* Just like bdrv_read(), but with I/O throttling temporarily disabled */
2645 int bdrv_read_unthrottled(BlockDriverState *bs, int64_t sector_num,
2646                           uint8_t *buf, int nb_sectors)
2647 {
2648     bool enabled;
2649     int ret;
2650
2651     enabled = bs->io_limits_enabled;
2652     bs->io_limits_enabled = false;
2653     ret = bdrv_read(bs, sector_num, buf, nb_sectors);
2654     bs->io_limits_enabled = enabled;
2655     return ret;
2656 }
2657
2658 /* Return < 0 if error. Important errors are:
2659   -EIO         generic I/O error (may happen for all errors)
2660   -ENOMEDIUM   No media inserted.
2661   -EINVAL      Invalid sector number or nb_sectors
2662   -EACCES      Trying to write a read-only device
2663 */
2664 int bdrv_write(BlockDriverState *bs, int64_t sector_num,
2665                const uint8_t *buf, int nb_sectors)
2666 {
2667     return bdrv_rw_co(bs, sector_num, (uint8_t *)buf, nb_sectors, true, 0);
2668 }
2669
2670 int bdrv_writev(BlockDriverState *bs, int64_t sector_num, QEMUIOVector *qiov)
2671 {
2672     return bdrv_prwv_co(bs, sector_num << BDRV_SECTOR_BITS, qiov, true, 0);
2673 }
2674
2675 int bdrv_write_zeroes(BlockDriverState *bs, int64_t sector_num,
2676                       int nb_sectors, BdrvRequestFlags flags)
2677 {
2678     return bdrv_rw_co(bs, sector_num, NULL, nb_sectors, true,
2679                       BDRV_REQ_ZERO_WRITE | flags);
2680 }
2681
2682 /*
2683  * Completely zero out a block device with the help of bdrv_write_zeroes.
2684  * The operation is sped up by checking the block status and only writing
2685  * zeroes to the device if they currently do not return zeroes. Optional
2686  * flags are passed through to bdrv_write_zeroes (e.g. BDRV_REQ_MAY_UNMAP).
2687  *
2688  * Returns < 0 on error, 0 on success. For error codes see bdrv_write().
2689  */
2690 int bdrv_make_zero(BlockDriverState *bs, BdrvRequestFlags flags)
2691 {
2692     int64_t target_size = bdrv_getlength(bs) / BDRV_SECTOR_SIZE;
2693     int64_t ret, nb_sectors, sector_num = 0;
2694     int n;
2695
2696     for (;;) {
2697         nb_sectors = target_size - sector_num;
2698         if (nb_sectors <= 0) {
2699             return 0;
2700         }
2701         if (nb_sectors > INT_MAX) {
2702             nb_sectors = INT_MAX;
2703         }
2704         ret = bdrv_get_block_status(bs, sector_num, nb_sectors, &n);
2705         if (ret < 0) {
2706             error_report("error getting block status at sector %" PRId64 ": %s",
2707                          sector_num, strerror(-ret));
2708             return ret;
2709         }
2710         if (ret & BDRV_BLOCK_ZERO) {
2711             sector_num += n;
2712             continue;
2713         }
2714         ret = bdrv_write_zeroes(bs, sector_num, n, flags);
2715         if (ret < 0) {
2716             error_report("error writing zeroes at sector %" PRId64 ": %s",
2717                          sector_num, strerror(-ret));
2718             return ret;
2719         }
2720         sector_num += n;
2721     }
2722 }
2723
2724 int bdrv_pread(BlockDriverState *bs, int64_t offset,
2725                void *buf, int count1)
2726 {
2727     uint8_t tmp_buf[BDRV_SECTOR_SIZE];
2728     int len, nb_sectors, count;
2729     int64_t sector_num;
2730     int ret;
2731
2732     count = count1;
2733     /* first read to align to sector start */
2734     len = (BDRV_SECTOR_SIZE - offset) & (BDRV_SECTOR_SIZE - 1);
2735     if (len > count)
2736         len = count;
2737     sector_num = offset >> BDRV_SECTOR_BITS;
2738     if (len > 0) {
2739         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2740             return ret;
2741         memcpy(buf, tmp_buf + (offset & (BDRV_SECTOR_SIZE - 1)), len);
2742         count -= len;
2743         if (count == 0)
2744             return count1;
2745         sector_num++;
2746         buf += len;
2747     }
2748
2749     /* read the sectors "in place" */
2750     nb_sectors = count >> BDRV_SECTOR_BITS;
2751     if (nb_sectors > 0) {
2752         if ((ret = bdrv_read(bs, sector_num, buf, nb_sectors)) < 0)
2753             return ret;
2754         sector_num += nb_sectors;
2755         len = nb_sectors << BDRV_SECTOR_BITS;
2756         buf += len;
2757         count -= len;
2758     }
2759
2760     /* add data from the last sector */
2761     if (count > 0) {
2762         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2763             return ret;
2764         memcpy(buf, tmp_buf, count);
2765     }
2766     return count1;
2767 }
2768
2769 int bdrv_pwritev(BlockDriverState *bs, int64_t offset, QEMUIOVector *qiov)
2770 {
2771     uint8_t tmp_buf[BDRV_SECTOR_SIZE];
2772     int len, nb_sectors, count;
2773     int64_t sector_num;
2774     int ret;
2775
2776     count = qiov->size;
2777
2778     /* first write to align to sector start */
2779     len = (BDRV_SECTOR_SIZE - offset) & (BDRV_SECTOR_SIZE - 1);
2780     if (len > count)
2781         len = count;
2782     sector_num = offset >> BDRV_SECTOR_BITS;
2783     if (len > 0) {
2784         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2785             return ret;
2786         qemu_iovec_to_buf(qiov, 0, tmp_buf + (offset & (BDRV_SECTOR_SIZE - 1)),
2787                           len);
2788         if ((ret = bdrv_write(bs, sector_num, tmp_buf, 1)) < 0)
2789             return ret;
2790         count -= len;
2791         if (count == 0)
2792             return qiov->size;
2793         sector_num++;
2794     }
2795
2796     /* write the sectors "in place" */
2797     nb_sectors = count >> BDRV_SECTOR_BITS;
2798     if (nb_sectors > 0) {
2799         QEMUIOVector qiov_inplace;
2800
2801         qemu_iovec_init(&qiov_inplace, qiov->niov);
2802         qemu_iovec_concat(&qiov_inplace, qiov, len,
2803                           nb_sectors << BDRV_SECTOR_BITS);
2804         ret = bdrv_writev(bs, sector_num, &qiov_inplace);
2805         qemu_iovec_destroy(&qiov_inplace);
2806         if (ret < 0) {
2807             return ret;
2808         }
2809
2810         sector_num += nb_sectors;
2811         len = nb_sectors << BDRV_SECTOR_BITS;
2812         count -= len;
2813     }
2814
2815     /* add data from the last sector */
2816     if (count > 0) {
2817         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2818             return ret;
2819         qemu_iovec_to_buf(qiov, qiov->size - count, tmp_buf, count);
2820         if ((ret = bdrv_write(bs, sector_num, tmp_buf, 1)) < 0)
2821             return ret;
2822     }
2823     return qiov->size;
2824 }
2825
2826 int bdrv_pwrite(BlockDriverState *bs, int64_t offset,
2827                 const void *buf, int count1)
2828 {
2829     QEMUIOVector qiov;
2830     struct iovec iov = {
2831         .iov_base   = (void *) buf,
2832         .iov_len    = count1,
2833     };
2834
2835     qemu_iovec_init_external(&qiov, &iov, 1);
2836     return bdrv_pwritev(bs, offset, &qiov);
2837 }
2838
2839 /*
2840  * Writes to the file and ensures that no writes are reordered across this
2841  * request (acts as a barrier)
2842  *
2843  * Returns 0 on success, -errno in error cases.
2844  */
2845 int bdrv_pwrite_sync(BlockDriverState *bs, int64_t offset,
2846     const void *buf, int count)
2847 {
2848     int ret;
2849
2850     ret = bdrv_pwrite(bs, offset, buf, count);
2851     if (ret < 0) {
2852         return ret;
2853     }
2854
2855     /* No flush needed for cache modes that already do it */
2856     if (bs->enable_write_cache) {
2857         bdrv_flush(bs);
2858     }
2859
2860     return 0;
2861 }
2862
2863 static int coroutine_fn bdrv_co_do_copy_on_readv(BlockDriverState *bs,
2864         int64_t sector_num, int nb_sectors, QEMUIOVector *qiov)
2865 {
2866     /* Perform I/O through a temporary buffer so that users who scribble over
2867      * their read buffer while the operation is in progress do not end up
2868      * modifying the image file.  This is critical for zero-copy guest I/O
2869      * where anything might happen inside guest memory.
2870      */
2871     void *bounce_buffer;
2872
2873     BlockDriver *drv = bs->drv;
2874     struct iovec iov;
2875     QEMUIOVector bounce_qiov;
2876     int64_t cluster_sector_num;
2877     int cluster_nb_sectors;
2878     size_t skip_bytes;
2879     int ret;
2880
2881     /* Cover entire cluster so no additional backing file I/O is required when
2882      * allocating cluster in the image file.
2883      */
2884     bdrv_round_to_clusters(bs, sector_num, nb_sectors,
2885                            &cluster_sector_num, &cluster_nb_sectors);
2886
2887     trace_bdrv_co_do_copy_on_readv(bs, sector_num, nb_sectors,
2888                                    cluster_sector_num, cluster_nb_sectors);
2889
2890     iov.iov_len = cluster_nb_sectors * BDRV_SECTOR_SIZE;
2891     iov.iov_base = bounce_buffer = qemu_blockalign(bs, iov.iov_len);
2892     qemu_iovec_init_external(&bounce_qiov, &iov, 1);
2893
2894     ret = drv->bdrv_co_readv(bs, cluster_sector_num, cluster_nb_sectors,
2895                              &bounce_qiov);
2896     if (ret < 0) {
2897         goto err;
2898     }
2899
2900     if (drv->bdrv_co_write_zeroes &&
2901         buffer_is_zero(bounce_buffer, iov.iov_len)) {
2902         ret = bdrv_co_do_write_zeroes(bs, cluster_sector_num,
2903                                       cluster_nb_sectors, 0);
2904     } else {
2905         /* This does not change the data on the disk, it is not necessary
2906          * to flush even in cache=writethrough mode.
2907          */
2908         ret = drv->bdrv_co_writev(bs, cluster_sector_num, cluster_nb_sectors,
2909                                   &bounce_qiov);
2910     }
2911
2912     if (ret < 0) {
2913         /* It might be okay to ignore write errors for guest requests.  If this
2914          * is a deliberate copy-on-read then we don't want to ignore the error.
2915          * Simply report it in all cases.
2916          */
2917         goto err;
2918     }
2919
2920     skip_bytes = (sector_num - cluster_sector_num) * BDRV_SECTOR_SIZE;
2921     qemu_iovec_from_buf(qiov, 0, bounce_buffer + skip_bytes,
2922                         nb_sectors * BDRV_SECTOR_SIZE);
2923
2924 err:
2925     qemu_vfree(bounce_buffer);
2926     return ret;
2927 }
2928
2929 /*
2930  * Forwards an already correctly aligned request to the BlockDriver. This
2931  * handles copy on read and zeroing after EOF; any other features must be
2932  * implemented by the caller.
2933  */
2934 static int coroutine_fn bdrv_aligned_preadv(BlockDriverState *bs,
2935     BdrvTrackedRequest *req, int64_t offset, unsigned int bytes,
2936     int64_t align, QEMUIOVector *qiov, int flags)
2937 {
2938     BlockDriver *drv = bs->drv;
2939     int ret;
2940
2941     int64_t sector_num = offset >> BDRV_SECTOR_BITS;
2942     unsigned int nb_sectors = bytes >> BDRV_SECTOR_BITS;
2943
2944     assert((offset & (BDRV_SECTOR_SIZE - 1)) == 0);
2945     assert((bytes & (BDRV_SECTOR_SIZE - 1)) == 0);
2946
2947     /* Handle Copy on Read and associated serialisation */
2948     if (flags & BDRV_REQ_COPY_ON_READ) {
2949         /* If we touch the same cluster it counts as an overlap.  This
2950          * guarantees that allocating writes will be serialized and not race
2951          * with each other for the same cluster.  For example, in copy-on-read
2952          * it ensures that the CoR read and write operations are atomic and
2953          * guest writes cannot interleave between them. */
2954         mark_request_serialising(req, bdrv_get_cluster_size(bs));
2955     }
2956
2957     wait_serialising_requests(req);
2958
2959     if (flags & BDRV_REQ_COPY_ON_READ) {
2960         int pnum;
2961
2962         ret = bdrv_is_allocated(bs, sector_num, nb_sectors, &pnum);
2963         if (ret < 0) {
2964             goto out;
2965         }
2966
2967         if (!ret || pnum != nb_sectors) {
2968             ret = bdrv_co_do_copy_on_readv(bs, sector_num, nb_sectors, qiov);
2969             goto out;
2970         }
2971     }
2972
2973     /* Forward the request to the BlockDriver */
2974     if (!(bs->zero_beyond_eof && bs->growable)) {
2975         ret = drv->bdrv_co_readv(bs, sector_num, nb_sectors, qiov);
2976     } else {
2977         /* Read zeros after EOF of growable BDSes */
2978         int64_t len, total_sectors, max_nb_sectors;
2979
2980         len = bdrv_getlength(bs);
2981         if (len < 0) {
2982             ret = len;
2983             goto out;
2984         }
2985
2986         total_sectors = DIV_ROUND_UP(len, BDRV_SECTOR_SIZE);
2987         max_nb_sectors = MAX(0, ROUND_UP(total_sectors - sector_num,
2988                                          align >> BDRV_SECTOR_BITS));
2989         if (max_nb_sectors > 0) {
2990             ret = drv->bdrv_co_readv(bs, sector_num,
2991                                      MIN(nb_sectors, max_nb_sectors), qiov);
2992         } else {
2993             ret = 0;
2994         }
2995
2996         /* Reading beyond end of file is supposed to produce zeroes */
2997         if (ret == 0 && total_sectors < sector_num + nb_sectors) {
2998             uint64_t offset = MAX(0, total_sectors - sector_num);
2999             uint64_t bytes = (sector_num + nb_sectors - offset) *
3000                               BDRV_SECTOR_SIZE;
3001             qemu_iovec_memset(qiov, offset * BDRV_SECTOR_SIZE, 0, bytes);
3002         }
3003     }
3004
3005 out:
3006     return ret;
3007 }
3008
3009 /*
3010  * Handle a read request in coroutine context
3011  */
3012 static int coroutine_fn bdrv_co_do_preadv(BlockDriverState *bs,
3013     int64_t offset, unsigned int bytes, QEMUIOVector *qiov,
3014     BdrvRequestFlags flags)
3015 {
3016     BlockDriver *drv = bs->drv;
3017     BdrvTrackedRequest req;
3018
3019     /* TODO Lift BDRV_SECTOR_SIZE restriction in BlockDriver interface */
3020     uint64_t align = MAX(BDRV_SECTOR_SIZE, bs->request_alignment);
3021     uint8_t *head_buf = NULL;
3022     uint8_t *tail_buf = NULL;
3023     QEMUIOVector local_qiov;
3024     bool use_local_qiov = false;
3025     int ret;
3026
3027     if (!drv) {
3028         return -ENOMEDIUM;
3029     }
3030     if (bdrv_check_byte_request(bs, offset, bytes)) {
3031         return -EIO;
3032     }
3033
3034     if (bs->copy_on_read) {
3035         flags |= BDRV_REQ_COPY_ON_READ;
3036     }
3037
3038     /* throttling disk I/O */
3039     if (bs->io_limits_enabled) {
3040         /* TODO Switch to byte granularity */
3041         bdrv_io_limits_intercept(bs, bytes >> BDRV_SECTOR_BITS, false);
3042     }
3043
3044     /* Align read if necessary by padding qiov */
3045     if (offset & (align - 1)) {
3046         head_buf = qemu_blockalign(bs, align);
3047         qemu_iovec_init(&local_qiov, qiov->niov + 2);
3048         qemu_iovec_add(&local_qiov, head_buf, offset & (align - 1));
3049         qemu_iovec_concat(&local_qiov, qiov, 0, qiov->size);
3050         use_local_qiov = true;
3051
3052         bytes += offset & (align - 1);
3053         offset = offset & ~(align - 1);
3054     }
3055
3056     if ((offset + bytes) & (align - 1)) {
3057         if (!use_local_qiov) {
3058             qemu_iovec_init(&local_qiov, qiov->niov + 1);
3059             qemu_iovec_concat(&local_qiov, qiov, 0, qiov->size);
3060             use_local_qiov = true;
3061         }
3062         tail_buf = qemu_blockalign(bs, align);
3063         qemu_iovec_add(&local_qiov, tail_buf,
3064                        align - ((offset + bytes) & (align - 1)));
3065
3066         bytes = ROUND_UP(bytes, align);
3067     }
3068
3069     tracked_request_begin(&req, bs, offset, bytes, false);
3070     ret = bdrv_aligned_preadv(bs, &req, offset, bytes, align,
3071                               use_local_qiov ? &local_qiov : qiov,
3072                               flags);
3073     tracked_request_end(&req);
3074
3075     if (use_local_qiov) {
3076         qemu_iovec_destroy(&local_qiov);
3077         qemu_vfree(head_buf);
3078         qemu_vfree(tail_buf);
3079     }
3080
3081     return ret;
3082 }
3083
3084 static int coroutine_fn bdrv_co_do_readv(BlockDriverState *bs,
3085     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov,
3086     BdrvRequestFlags flags)
3087 {
3088     if (nb_sectors < 0 || nb_sectors > (UINT_MAX >> BDRV_SECTOR_BITS)) {
3089         return -EINVAL;
3090     }
3091
3092     return bdrv_co_do_preadv(bs, sector_num << BDRV_SECTOR_BITS,
3093                              nb_sectors << BDRV_SECTOR_BITS, qiov, flags);
3094 }
3095
3096 int coroutine_fn bdrv_co_readv(BlockDriverState *bs, int64_t sector_num,
3097     int nb_sectors, QEMUIOVector *qiov)
3098 {
3099     trace_bdrv_co_readv(bs, sector_num, nb_sectors);
3100
3101     return bdrv_co_do_readv(bs, sector_num, nb_sectors, qiov, 0);
3102 }
3103
3104 int coroutine_fn bdrv_co_copy_on_readv(BlockDriverState *bs,
3105     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov)
3106 {
3107     trace_bdrv_co_copy_on_readv(bs, sector_num, nb_sectors);
3108
3109     return bdrv_co_do_readv(bs, sector_num, nb_sectors, qiov,
3110                             BDRV_REQ_COPY_ON_READ);
3111 }
3112
3113 /* if no limit is specified in the BlockLimits use a default
3114  * of 32768 512-byte sectors (16 MiB) per request.
3115  */
3116 #define MAX_WRITE_ZEROES_DEFAULT 32768
3117
3118 static int coroutine_fn bdrv_co_do_write_zeroes(BlockDriverState *bs,
3119     int64_t sector_num, int nb_sectors, BdrvRequestFlags flags)
3120 {
3121     BlockDriver *drv = bs->drv;
3122     QEMUIOVector qiov;
3123     struct iovec iov = {0};
3124     int ret = 0;
3125
3126     int max_write_zeroes = bs->bl.max_write_zeroes ?
3127                            bs->bl.max_write_zeroes : MAX_WRITE_ZEROES_DEFAULT;
3128
3129     while (nb_sectors > 0 && !ret) {
3130         int num = nb_sectors;
3131
3132         /* Align request.  Block drivers can expect the "bulk" of the request
3133          * to be aligned.
3134          */
3135         if (bs->bl.write_zeroes_alignment
3136             && num > bs->bl.write_zeroes_alignment) {
3137             if (sector_num % bs->bl.write_zeroes_alignment != 0) {
3138                 /* Make a small request up to the first aligned sector.  */
3139                 num = bs->bl.write_zeroes_alignment;
3140                 num -= sector_num % bs->bl.write_zeroes_alignment;
3141             } else if ((sector_num + num) % bs->bl.write_zeroes_alignment != 0) {
3142                 /* Shorten the request to the last aligned sector.  num cannot
3143                  * underflow because num > bs->bl.write_zeroes_alignment.
3144                  */
3145                 num -= (sector_num + num) % bs->bl.write_zeroes_alignment;
3146             }
3147         }
3148
3149         /* limit request size */
3150         if (num > max_write_zeroes) {
3151             num = max_write_zeroes;
3152         }
3153
3154         ret = -ENOTSUP;
3155         /* First try the efficient write zeroes operation */
3156         if (drv->bdrv_co_write_zeroes) {
3157             ret = drv->bdrv_co_write_zeroes(bs, sector_num, num, flags);
3158         }
3159
3160         if (ret == -ENOTSUP) {
3161             /* Fall back to bounce buffer if write zeroes is unsupported */
3162             iov.iov_len = num * BDRV_SECTOR_SIZE;
3163             if (iov.iov_base == NULL) {
3164                 iov.iov_base = qemu_blockalign(bs, num * BDRV_SECTOR_SIZE);
3165                 memset(iov.iov_base, 0, num * BDRV_SECTOR_SIZE);
3166             }
3167             qemu_iovec_init_external(&qiov, &iov, 1);
3168
3169             ret = drv->bdrv_co_writev(bs, sector_num, num, &qiov);
3170
3171             /* Keep bounce buffer around if it is big enough for all
3172              * all future requests.
3173              */
3174             if (num < max_write_zeroes) {
3175                 qemu_vfree(iov.iov_base);
3176                 iov.iov_base = NULL;
3177             }
3178         }
3179
3180         sector_num += num;
3181         nb_sectors -= num;
3182     }
3183
3184     qemu_vfree(iov.iov_base);
3185     return ret;
3186 }
3187
3188 /*
3189  * Forwards an already correctly aligned write request to the BlockDriver.
3190  */
3191 static int coroutine_fn bdrv_aligned_pwritev(BlockDriverState *bs,
3192     BdrvTrackedRequest *req, int64_t offset, unsigned int bytes,
3193     QEMUIOVector *qiov, int flags)
3194 {
3195     BlockDriver *drv = bs->drv;
3196     bool waited;
3197     int ret;
3198
3199     int64_t sector_num = offset >> BDRV_SECTOR_BITS;
3200     unsigned int nb_sectors = bytes >> BDRV_SECTOR_BITS;
3201
3202     assert((offset & (BDRV_SECTOR_SIZE - 1)) == 0);
3203     assert((bytes & (BDRV_SECTOR_SIZE - 1)) == 0);
3204
3205     waited = wait_serialising_requests(req);
3206     assert(!waited || !req->serialising);
3207
3208     ret = notifier_with_return_list_notify(&bs->before_write_notifiers, req);
3209
3210     if (ret < 0) {
3211         /* Do nothing, write notifier decided to fail this request */
3212     } else if (flags & BDRV_REQ_ZERO_WRITE) {
3213         ret = bdrv_co_do_write_zeroes(bs, sector_num, nb_sectors, flags);
3214     } else {
3215         ret = drv->bdrv_co_writev(bs, sector_num, nb_sectors, qiov);
3216     }
3217
3218     if (ret == 0 && !bs->enable_write_cache) {
3219         ret = bdrv_co_flush(bs);
3220     }
3221
3222     bdrv_set_dirty(bs, sector_num, nb_sectors);
3223
3224     if (bs->wr_highest_sector < sector_num + nb_sectors - 1) {
3225         bs->wr_highest_sector = sector_num + nb_sectors - 1;
3226     }
3227     if (bs->growable && ret >= 0) {
3228         bs->total_sectors = MAX(bs->total_sectors, sector_num + nb_sectors);
3229     }
3230
3231     return ret;
3232 }
3233
3234 /*
3235  * Handle a write request in coroutine context
3236  */
3237 static int coroutine_fn bdrv_co_do_pwritev(BlockDriverState *bs,
3238     int64_t offset, unsigned int bytes, QEMUIOVector *qiov,
3239     BdrvRequestFlags flags)
3240 {
3241     BdrvTrackedRequest req;
3242     /* TODO Lift BDRV_SECTOR_SIZE restriction in BlockDriver interface */
3243     uint64_t align = MAX(BDRV_SECTOR_SIZE, bs->request_alignment);
3244     uint8_t *head_buf = NULL;
3245     uint8_t *tail_buf = NULL;
3246     QEMUIOVector local_qiov;
3247     bool use_local_qiov = false;
3248     int ret;
3249
3250     if (!bs->drv) {
3251         return -ENOMEDIUM;
3252     }
3253     if (bs->read_only) {
3254         return -EACCES;
3255     }
3256     if (bdrv_check_byte_request(bs, offset, bytes)) {
3257         return -EIO;
3258     }
3259
3260     /* throttling disk I/O */
3261     if (bs->io_limits_enabled) {
3262         /* TODO Switch to byte granularity */
3263         bdrv_io_limits_intercept(bs, bytes >> BDRV_SECTOR_BITS, true);
3264     }
3265
3266     /*
3267      * Align write if necessary by performing a read-modify-write cycle.
3268      * Pad qiov with the read parts and be sure to have a tracked request not
3269      * only for bdrv_aligned_pwritev, but also for the reads of the RMW cycle.
3270      */
3271     tracked_request_begin(&req, bs, offset, bytes, true);
3272
3273     if (offset & (align - 1)) {
3274         QEMUIOVector head_qiov;
3275         struct iovec head_iov;
3276
3277         mark_request_serialising(&req, align);
3278         wait_serialising_requests(&req);
3279
3280         head_buf = qemu_blockalign(bs, align);
3281         head_iov = (struct iovec) {
3282             .iov_base   = head_buf,
3283             .iov_len    = align,
3284         };
3285         qemu_iovec_init_external(&head_qiov, &head_iov, 1);
3286
3287         ret = bdrv_aligned_preadv(bs, &req, offset & ~(align - 1), align,
3288                                   align, &head_qiov, 0);
3289         if (ret < 0) {
3290             goto fail;
3291         }
3292
3293         qemu_iovec_init(&local_qiov, qiov->niov + 2);
3294         qemu_iovec_add(&local_qiov, head_buf, offset & (align - 1));
3295         qemu_iovec_concat(&local_qiov, qiov, 0, qiov->size);
3296         use_local_qiov = true;
3297
3298         bytes += offset & (align - 1);
3299         offset = offset & ~(align - 1);
3300     }
3301
3302     if ((offset + bytes) & (align - 1)) {
3303         QEMUIOVector tail_qiov;
3304         struct iovec tail_iov;
3305         size_t tail_bytes;
3306         bool waited;
3307
3308         mark_request_serialising(&req, align);
3309         waited = wait_serialising_requests(&req);
3310         assert(!waited || !use_local_qiov);
3311
3312         tail_buf = qemu_blockalign(bs, align);
3313         tail_iov = (struct iovec) {
3314             .iov_base   = tail_buf,
3315             .iov_len    = align,
3316         };
3317         qemu_iovec_init_external(&tail_qiov, &tail_iov, 1);
3318
3319         ret = bdrv_aligned_preadv(bs, &req, (offset + bytes) & ~(align - 1), align,
3320                                   align, &tail_qiov, 0);
3321         if (ret < 0) {
3322             goto fail;
3323         }
3324
3325         if (!use_local_qiov) {
3326             qemu_iovec_init(&local_qiov, qiov->niov + 1);
3327             qemu_iovec_concat(&local_qiov, qiov, 0, qiov->size);
3328             use_local_qiov = true;
3329         }
3330
3331         tail_bytes = (offset + bytes) & (align - 1);
3332         qemu_iovec_add(&local_qiov, tail_buf + tail_bytes, align - tail_bytes);
3333
3334         bytes = ROUND_UP(bytes, align);
3335     }
3336
3337     ret = bdrv_aligned_pwritev(bs, &req, offset, bytes,
3338                                use_local_qiov ? &local_qiov : qiov,
3339                                flags);
3340
3341 fail:
3342     tracked_request_end(&req);
3343
3344     if (use_local_qiov) {
3345         qemu_iovec_destroy(&local_qiov);
3346         qemu_vfree(head_buf);
3347         qemu_vfree(tail_buf);
3348     }
3349
3350     return ret;
3351 }
3352
3353 static int coroutine_fn bdrv_co_do_writev(BlockDriverState *bs,
3354     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov,
3355     BdrvRequestFlags flags)
3356 {
3357     if (nb_sectors < 0 || nb_sectors > (INT_MAX >> BDRV_SECTOR_BITS)) {
3358         return -EINVAL;
3359     }
3360
3361     return bdrv_co_do_pwritev(bs, sector_num << BDRV_SECTOR_BITS,
3362                               nb_sectors << BDRV_SECTOR_BITS, qiov, flags);
3363 }
3364
3365 int coroutine_fn bdrv_co_writev(BlockDriverState *bs, int64_t sector_num,
3366     int nb_sectors, QEMUIOVector *qiov)
3367 {
3368     trace_bdrv_co_writev(bs, sector_num, nb_sectors);
3369
3370     return bdrv_co_do_writev(bs, sector_num, nb_sectors, qiov, 0);
3371 }
3372
3373 int coroutine_fn bdrv_co_write_zeroes(BlockDriverState *bs,
3374                                       int64_t sector_num, int nb_sectors,
3375                                       BdrvRequestFlags flags)
3376 {
3377     trace_bdrv_co_write_zeroes(bs, sector_num, nb_sectors, flags);
3378
3379     if (!(bs->open_flags & BDRV_O_UNMAP)) {
3380         flags &= ~BDRV_REQ_MAY_UNMAP;
3381     }
3382
3383     return bdrv_co_do_writev(bs, sector_num, nb_sectors, NULL,
3384                              BDRV_REQ_ZERO_WRITE | flags);
3385 }
3386
3387 /**
3388  * Truncate file to 'offset' bytes (needed only for file protocols)
3389  */
3390 int bdrv_truncate(BlockDriverState *bs, int64_t offset)
3391 {
3392     BlockDriver *drv = bs->drv;
3393     int ret;
3394     if (!drv)
3395         return -ENOMEDIUM;
3396     if (!drv->bdrv_truncate)
3397         return -ENOTSUP;
3398     if (bs->read_only)
3399         return -EACCES;
3400     if (bdrv_in_use(bs))
3401         return -EBUSY;
3402     ret = drv->bdrv_truncate(bs, offset);
3403     if (ret == 0) {
3404         ret = refresh_total_sectors(bs, offset >> BDRV_SECTOR_BITS);
3405         bdrv_dev_resize_cb(bs);
3406     }
3407     return ret;
3408 }
3409
3410 /**
3411  * Length of a allocated file in bytes. Sparse files are counted by actual
3412  * allocated space. Return < 0 if error or unknown.
3413  */
3414 int64_t bdrv_get_allocated_file_size(BlockDriverState *bs)
3415 {
3416     BlockDriver *drv = bs->drv;
3417     if (!drv) {
3418         return -ENOMEDIUM;
3419     }
3420     if (drv->bdrv_get_allocated_file_size) {
3421         return drv->bdrv_get_allocated_file_size(bs);
3422     }
3423     if (bs->file) {
3424         return bdrv_get_allocated_file_size(bs->file);
3425     }
3426     return -ENOTSUP;
3427 }
3428
3429 /**
3430  * Length of a file in bytes. Return < 0 if error or unknown.
3431  */
3432 int64_t bdrv_getlength(BlockDriverState *bs)
3433 {
3434     BlockDriver *drv = bs->drv;
3435     if (!drv)
3436         return -ENOMEDIUM;
3437
3438     if (drv->has_variable_length) {
3439         int ret = refresh_total_sectors(bs, bs->total_sectors);
3440         if (ret < 0) {
3441             return ret;
3442         }
3443     }
3444     return bs->total_sectors * BDRV_SECTOR_SIZE;
3445 }
3446
3447 /* return 0 as number of sectors if no device present or error */
3448 void bdrv_get_geometry(BlockDriverState *bs, uint64_t *nb_sectors_ptr)
3449 {
3450     int64_t length;
3451     length = bdrv_getlength(bs);
3452     if (length < 0)
3453         length = 0;
3454     else
3455         length = length >> BDRV_SECTOR_BITS;
3456     *nb_sectors_ptr = length;
3457 }
3458
3459 void bdrv_set_on_error(BlockDriverState *bs, BlockdevOnError on_read_error,
3460                        BlockdevOnError on_write_error)
3461 {
3462     bs->on_read_error = on_read_error;
3463     bs->on_write_error = on_write_error;
3464 }
3465
3466 BlockdevOnError bdrv_get_on_error(BlockDriverState *bs, bool is_read)
3467 {
3468     return is_read ? bs->on_read_error : bs->on_write_error;
3469 }
3470
3471 BlockErrorAction bdrv_get_error_action(BlockDriverState *bs, bool is_read, int error)
3472 {
3473     BlockdevOnError on_err = is_read ? bs->on_read_error : bs->on_write_error;
3474
3475     switch (on_err) {
3476     case BLOCKDEV_ON_ERROR_ENOSPC:
3477         return (error == ENOSPC) ? BDRV_ACTION_STOP : BDRV_ACTION_REPORT;
3478     case BLOCKDEV_ON_ERROR_STOP:
3479         return BDRV_ACTION_STOP;
3480     case BLOCKDEV_ON_ERROR_REPORT:
3481         return BDRV_ACTION_REPORT;
3482     case BLOCKDEV_ON_ERROR_IGNORE:
3483         return BDRV_ACTION_IGNORE;
3484     default:
3485         abort();
3486     }
3487 }
3488
3489 /* This is done by device models because, while the block layer knows
3490  * about the error, it does not know whether an operation comes from
3491  * the device or the block layer (from a job, for example).
3492  */
3493 void bdrv_error_action(BlockDriverState *bs, BlockErrorAction action,
3494                        bool is_read, int error)
3495 {
3496     assert(error >= 0);
3497     bdrv_emit_qmp_error_event(bs, QEVENT_BLOCK_IO_ERROR, action, is_read);
3498     if (action == BDRV_ACTION_STOP) {
3499         vm_stop(RUN_STATE_IO_ERROR);
3500         bdrv_iostatus_set_err(bs, error);
3501     }
3502 }
3503
3504 int bdrv_is_read_only(BlockDriverState *bs)
3505 {
3506     return bs->read_only;
3507 }
3508
3509 int bdrv_is_sg(BlockDriverState *bs)
3510 {
3511     return bs->sg;
3512 }
3513
3514 int bdrv_enable_write_cache(BlockDriverState *bs)
3515 {
3516     return bs->enable_write_cache;
3517 }
3518
3519 void bdrv_set_enable_write_cache(BlockDriverState *bs, bool wce)
3520 {
3521     bs->enable_write_cache = wce;
3522
3523     /* so a reopen() will preserve wce */
3524     if (wce) {
3525         bs->open_flags |= BDRV_O_CACHE_WB;
3526     } else {
3527         bs->open_flags &= ~BDRV_O_CACHE_WB;
3528     }
3529 }
3530
3531 int bdrv_is_encrypted(BlockDriverState *bs)
3532 {
3533     if (bs->backing_hd && bs->backing_hd->encrypted)
3534         return 1;
3535     return bs->encrypted;
3536 }
3537
3538 int bdrv_key_required(BlockDriverState *bs)
3539 {
3540     BlockDriverState *backing_hd = bs->backing_hd;
3541
3542     if (backing_hd && backing_hd->encrypted && !backing_hd->valid_key)
3543         return 1;
3544     return (bs->encrypted && !bs->valid_key);
3545 }
3546
3547 int bdrv_set_key(BlockDriverState *bs, const char *key)
3548 {
3549     int ret;
3550     if (bs->backing_hd && bs->backing_hd->encrypted) {
3551         ret = bdrv_set_key(bs->backing_hd, key);
3552         if (ret < 0)
3553             return ret;
3554         if (!bs->encrypted)
3555             return 0;
3556     }
3557     if (!bs->encrypted) {
3558         return -EINVAL;
3559     } else if (!bs->drv || !bs->drv->bdrv_set_key) {
3560         return -ENOMEDIUM;
3561     }
3562     ret = bs->drv->bdrv_set_key(bs, key);
3563     if (ret < 0) {
3564         bs->valid_key = 0;
3565     } else if (!bs->valid_key) {
3566         bs->valid_key = 1;
3567         /* call the change callback now, we skipped it on open */
3568         bdrv_dev_change_media_cb(bs, true);
3569     }
3570     return ret;
3571 }
3572
3573 const char *bdrv_get_format_name(BlockDriverState *bs)
3574 {
3575     return bs->drv ? bs->drv->format_name : NULL;
3576 }
3577
3578 void bdrv_iterate_format(void (*it)(void *opaque, const char *name),
3579                          void *opaque)
3580 {
3581     BlockDriver *drv;
3582
3583     QLIST_FOREACH(drv, &bdrv_drivers, list) {
3584         it(opaque, drv->format_name);
3585     }
3586 }
3587
3588 /* This function is to find block backend bs */
3589 BlockDriverState *bdrv_find(const char *name)
3590 {
3591     BlockDriverState *bs;
3592
3593     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
3594         if (!strcmp(name, bs->device_name)) {
3595             return bs;
3596         }
3597     }
3598     return NULL;
3599 }
3600
3601 /* This function is to find a node in the bs graph */
3602 BlockDriverState *bdrv_find_node(const char *node_name)
3603 {
3604     BlockDriverState *bs;
3605
3606     assert(node_name);
3607
3608     QTAILQ_FOREACH(bs, &graph_bdrv_states, node_list) {
3609         if (!strcmp(node_name, bs->node_name)) {
3610             return bs;
3611         }
3612     }
3613     return NULL;
3614 }
3615
3616 /* Put this QMP function here so it can access the static graph_bdrv_states. */
3617 BlockDeviceInfoList *bdrv_named_nodes_list(void)
3618 {
3619     BlockDeviceInfoList *list, *entry;
3620     BlockDriverState *bs;
3621
3622     list = NULL;
3623     QTAILQ_FOREACH(bs, &graph_bdrv_states, node_list) {
3624         entry = g_malloc0(sizeof(*entry));
3625         entry->value = bdrv_block_device_info(bs);
3626         entry->next = list;
3627         list = entry;
3628     }
3629
3630     return list;
3631 }
3632
3633 BlockDriverState *bdrv_lookup_bs(const char *device,
3634                                  const char *node_name,
3635                                  Error **errp)
3636 {
3637     BlockDriverState *bs = NULL;
3638
3639     if ((!device && !node_name) || (device && node_name)) {
3640         error_setg(errp, "Use either device or node-name but not both");
3641         return NULL;
3642     }
3643
3644     if (device) {
3645         bs = bdrv_find(device);
3646
3647         if (!bs) {
3648             error_set(errp, QERR_DEVICE_NOT_FOUND, device);
3649             return NULL;
3650         }
3651
3652         return bs;
3653     }
3654
3655     bs = bdrv_find_node(node_name);
3656
3657     if (!bs) {
3658         error_set(errp, QERR_DEVICE_NOT_FOUND, node_name);
3659         return NULL;
3660     }
3661
3662     return bs;
3663 }
3664
3665 BlockDriverState *bdrv_next(BlockDriverState *bs)
3666 {
3667     if (!bs) {
3668         return QTAILQ_FIRST(&bdrv_states);
3669     }
3670     return QTAILQ_NEXT(bs, device_list);
3671 }
3672
3673 void bdrv_iterate(void (*it)(void *opaque, BlockDriverState *bs), void *opaque)
3674 {
3675     BlockDriverState *bs;
3676
3677     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
3678         it(opaque, bs);
3679     }
3680 }
3681
3682 const char *bdrv_get_device_name(BlockDriverState *bs)
3683 {
3684     return bs->device_name;
3685 }
3686
3687 int bdrv_get_flags(BlockDriverState *bs)
3688 {
3689     return bs->open_flags;
3690 }
3691
3692 int bdrv_flush_all(void)
3693 {
3694     BlockDriverState *bs;
3695     int result = 0;
3696
3697     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
3698         int ret = bdrv_flush(bs);
3699         if (ret < 0 && !result) {
3700             result = ret;
3701         }
3702     }
3703
3704     return result;
3705 }
3706
3707 int bdrv_has_zero_init_1(BlockDriverState *bs)
3708 {
3709     return 1;
3710 }
3711
3712 int bdrv_has_zero_init(BlockDriverState *bs)
3713 {
3714     assert(bs->drv);
3715
3716     /* If BS is a copy on write image, it is initialized to
3717        the contents of the base image, which may not be zeroes.  */
3718     if (bs->backing_hd) {
3719         return 0;
3720     }
3721     if (bs->drv->bdrv_has_zero_init) {
3722         return bs->drv->bdrv_has_zero_init(bs);
3723     }
3724
3725     /* safe default */
3726     return 0;
3727 }
3728
3729 bool bdrv_unallocated_blocks_are_zero(BlockDriverState *bs)
3730 {
3731     BlockDriverInfo bdi;
3732
3733     if (bs->backing_hd) {
3734         return false;
3735     }
3736
3737     if (bdrv_get_info(bs, &bdi) == 0) {
3738         return bdi.unallocated_blocks_are_zero;
3739     }
3740
3741     return false;
3742 }
3743
3744 bool bdrv_can_write_zeroes_with_unmap(BlockDriverState *bs)
3745 {
3746     BlockDriverInfo bdi;
3747
3748     if (bs->backing_hd || !(bs->open_flags & BDRV_O_UNMAP)) {
3749         return false;
3750     }
3751
3752     if (bdrv_get_info(bs, &bdi) == 0) {
3753         return bdi.can_write_zeroes_with_unmap;
3754     }
3755
3756     return false;
3757 }
3758
3759 typedef struct BdrvCoGetBlockStatusData {
3760     BlockDriverState *bs;
3761     BlockDriverState *base;
3762     int64_t sector_num;
3763     int nb_sectors;
3764     int *pnum;
3765     int64_t ret;
3766     bool done;
3767 } BdrvCoGetBlockStatusData;
3768
3769 /*
3770  * Returns true iff the specified sector is present in the disk image. Drivers
3771  * not implementing the functionality are assumed to not support backing files,
3772  * hence all their sectors are reported as allocated.
3773  *
3774  * If 'sector_num' is beyond the end of the disk image the return value is 0
3775  * and 'pnum' is set to 0.
3776  *
3777  * 'pnum' is set to the number of sectors (including and immediately following
3778  * the specified sector) that are known to be in the same
3779  * allocated/unallocated state.
3780  *
3781  * 'nb_sectors' is the max value 'pnum' should be set to.  If nb_sectors goes
3782  * beyond the end of the disk image it will be clamped.
3783  */
3784 static int64_t coroutine_fn bdrv_co_get_block_status(BlockDriverState *bs,
3785                                                      int64_t sector_num,
3786                                                      int nb_sectors, int *pnum)
3787 {
3788     int64_t length;
3789     int64_t n;
3790     int64_t ret, ret2;
3791
3792     length = bdrv_getlength(bs);
3793     if (length < 0) {
3794         return length;
3795     }
3796
3797     if (sector_num >= (length >> BDRV_SECTOR_BITS)) {
3798         *pnum = 0;
3799         return 0;
3800     }
3801
3802     n = bs->total_sectors - sector_num;
3803     if (n < nb_sectors) {
3804         nb_sectors = n;
3805     }
3806
3807     if (!bs->drv->bdrv_co_get_block_status) {
3808         *pnum = nb_sectors;
3809         ret = BDRV_BLOCK_DATA;
3810         if (bs->drv->protocol_name) {
3811             ret |= BDRV_BLOCK_OFFSET_VALID | (sector_num * BDRV_SECTOR_SIZE);
3812         }
3813         return ret;
3814     }
3815
3816     ret = bs->drv->bdrv_co_get_block_status(bs, sector_num, nb_sectors, pnum);
3817     if (ret < 0) {
3818         *pnum = 0;
3819         return ret;
3820     }
3821
3822     if (ret & BDRV_BLOCK_RAW) {
3823         assert(ret & BDRV_BLOCK_OFFSET_VALID);
3824         return bdrv_get_block_status(bs->file, ret >> BDRV_SECTOR_BITS,
3825                                      *pnum, pnum);
3826     }
3827
3828     if (!(ret & BDRV_BLOCK_DATA) && !(ret & BDRV_BLOCK_ZERO)) {
3829         if (bdrv_unallocated_blocks_are_zero(bs)) {
3830             ret |= BDRV_BLOCK_ZERO;
3831         } else if (bs->backing_hd) {
3832             BlockDriverState *bs2 = bs->backing_hd;
3833             int64_t length2 = bdrv_getlength(bs2);
3834             if (length2 >= 0 && sector_num >= (length2 >> BDRV_SECTOR_BITS)) {
3835                 ret |= BDRV_BLOCK_ZERO;
3836             }
3837         }
3838     }
3839
3840     if (bs->file &&
3841         (ret & BDRV_BLOCK_DATA) && !(ret & BDRV_BLOCK_ZERO) &&
3842         (ret & BDRV_BLOCK_OFFSET_VALID)) {
3843         ret2 = bdrv_co_get_block_status(bs->file, ret >> BDRV_SECTOR_BITS,
3844                                         *pnum, pnum);
3845         if (ret2 >= 0) {
3846             /* Ignore errors.  This is just providing extra information, it
3847              * is useful but not necessary.
3848              */
3849             ret |= (ret2 & BDRV_BLOCK_ZERO);
3850         }
3851     }
3852
3853     return ret;
3854 }
3855
3856 /* Coroutine wrapper for bdrv_get_block_status() */
3857 static void coroutine_fn bdrv_get_block_status_co_entry(void *opaque)
3858 {
3859     BdrvCoGetBlockStatusData *data = opaque;
3860     BlockDriverState *bs = data->bs;
3861
3862     data->ret = bdrv_co_get_block_status(bs, data->sector_num, data->nb_sectors,
3863                                          data->pnum);
3864     data->done = true;
3865 }
3866
3867 /*
3868  * Synchronous wrapper around bdrv_co_get_block_status().
3869  *
3870  * See bdrv_co_get_block_status() for details.
3871  */
3872 int64_t bdrv_get_block_status(BlockDriverState *bs, int64_t sector_num,
3873                               int nb_sectors, int *pnum)
3874 {
3875     Coroutine *co;
3876     BdrvCoGetBlockStatusData data = {
3877         .bs = bs,
3878         .sector_num = sector_num,
3879         .nb_sectors = nb_sectors,
3880         .pnum = pnum,
3881         .done = false,
3882     };
3883
3884     if (qemu_in_coroutine()) {
3885         /* Fast-path if already in coroutine context */
3886         bdrv_get_block_status_co_entry(&data);
3887     } else {
3888         co = qemu_coroutine_create(bdrv_get_block_status_co_entry);
3889         qemu_coroutine_enter(co, &data);
3890         while (!data.done) {
3891             qemu_aio_wait();
3892         }
3893     }
3894     return data.ret;
3895 }
3896
3897 int coroutine_fn bdrv_is_allocated(BlockDriverState *bs, int64_t sector_num,
3898                                    int nb_sectors, int *pnum)
3899 {
3900     int64_t ret = bdrv_get_block_status(bs, sector_num, nb_sectors, pnum);
3901     if (ret < 0) {
3902         return ret;
3903     }
3904     return
3905         (ret & BDRV_BLOCK_DATA) ||
3906         ((ret & BDRV_BLOCK_ZERO) && !bdrv_has_zero_init(bs));
3907 }
3908
3909 /*
3910  * Given an image chain: ... -> [BASE] -> [INTER1] -> [INTER2] -> [TOP]
3911  *
3912  * Return true if the given sector is allocated in any image between
3913  * BASE and TOP (inclusive).  BASE can be NULL to check if the given
3914  * sector is allocated in any image of the chain.  Return false otherwise.
3915  *
3916  * 'pnum' is set to the number of sectors (including and immediately following
3917  *  the specified sector) that are known to be in the same
3918  *  allocated/unallocated state.
3919  *
3920  */
3921 int bdrv_is_allocated_above(BlockDriverState *top,
3922                             BlockDriverState *base,
3923                             int64_t sector_num,
3924                             int nb_sectors, int *pnum)
3925 {
3926     BlockDriverState *intermediate;
3927     int ret, n = nb_sectors;
3928
3929     intermediate = top;
3930     while (intermediate && intermediate != base) {
3931         int pnum_inter;
3932         ret = bdrv_is_allocated(intermediate, sector_num, nb_sectors,
3933                                 &pnum_inter);
3934         if (ret < 0) {
3935             return ret;
3936         } else if (ret) {
3937             *pnum = pnum_inter;
3938             return 1;
3939         }
3940
3941         /*
3942          * [sector_num, nb_sectors] is unallocated on top but intermediate
3943          * might have
3944          *
3945          * [sector_num+x, nr_sectors] allocated.
3946          */
3947         if (n > pnum_inter &&
3948             (intermediate == top ||
3949              sector_num + pnum_inter < intermediate->total_sectors)) {
3950             n = pnum_inter;
3951         }
3952
3953         intermediate = intermediate->backing_hd;
3954     }
3955
3956     *pnum = n;
3957     return 0;
3958 }
3959
3960 const char *bdrv_get_encrypted_filename(BlockDriverState *bs)
3961 {
3962     if (bs->backing_hd && bs->backing_hd->encrypted)
3963         return bs->backing_file;
3964     else if (bs->encrypted)
3965         return bs->filename;
3966     else
3967         return NULL;
3968 }
3969
3970 void bdrv_get_backing_filename(BlockDriverState *bs,
3971                                char *filename, int filename_size)
3972 {
3973     pstrcpy(filename, filename_size, bs->backing_file);
3974 }
3975
3976 int bdrv_write_compressed(BlockDriverState *bs, int64_t sector_num,
3977                           const uint8_t *buf, int nb_sectors)
3978 {
3979     BlockDriver *drv = bs->drv;
3980     if (!drv)
3981         return -ENOMEDIUM;
3982     if (!drv->bdrv_write_compressed)
3983         return -ENOTSUP;
3984     if (bdrv_check_request(bs, sector_num, nb_sectors))
3985         return -EIO;
3986
3987     assert(QLIST_EMPTY(&bs->dirty_bitmaps));
3988
3989     return drv->bdrv_write_compressed(bs, sector_num, buf, nb_sectors);
3990 }
3991
3992 int bdrv_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
3993 {
3994     BlockDriver *drv = bs->drv;
3995     if (!drv)
3996         return -ENOMEDIUM;
3997     if (!drv->bdrv_get_info)
3998         return -ENOTSUP;
3999     memset(bdi, 0, sizeof(*bdi));
4000     return drv->bdrv_get_info(bs, bdi);
4001 }
4002
4003 ImageInfoSpecific *bdrv_get_specific_info(BlockDriverState *bs)
4004 {
4005     BlockDriver *drv = bs->drv;
4006     if (drv && drv->bdrv_get_specific_info) {
4007         return drv->bdrv_get_specific_info(bs);
4008     }
4009     return NULL;
4010 }
4011
4012 int bdrv_save_vmstate(BlockDriverState *bs, const uint8_t *buf,
4013                       int64_t pos, int size)
4014 {
4015     QEMUIOVector qiov;
4016     struct iovec iov = {
4017         .iov_base   = (void *) buf,
4018         .iov_len    = size,
4019     };
4020
4021     qemu_iovec_init_external(&qiov, &iov, 1);
4022     return bdrv_writev_vmstate(bs, &qiov, pos);
4023 }
4024
4025 int bdrv_writev_vmstate(BlockDriverState *bs, QEMUIOVector *qiov, int64_t pos)
4026 {
4027     BlockDriver *drv = bs->drv;
4028
4029     if (!drv) {
4030         return -ENOMEDIUM;
4031     } else if (drv->bdrv_save_vmstate) {
4032         return drv->bdrv_save_vmstate(bs, qiov, pos);
4033     } else if (bs->file) {
4034         return bdrv_writev_vmstate(bs->file, qiov, pos);
4035     }
4036
4037     return -ENOTSUP;
4038 }
4039
4040 int bdrv_load_vmstate(BlockDriverState *bs, uint8_t *buf,
4041                       int64_t pos, int size)
4042 {
4043     BlockDriver *drv = bs->drv;
4044     if (!drv)
4045         return -ENOMEDIUM;
4046     if (drv->bdrv_load_vmstate)
4047         return drv->bdrv_load_vmstate(bs, buf, pos, size);
4048     if (bs->file)
4049         return bdrv_load_vmstate(bs->file, buf, pos, size);
4050     return -ENOTSUP;
4051 }
4052
4053 void bdrv_debug_event(BlockDriverState *bs, BlkDebugEvent event)
4054 {
4055     if (!bs || !bs->drv || !bs->drv->bdrv_debug_event) {
4056         return;
4057     }
4058
4059     bs->drv->bdrv_debug_event(bs, event);
4060 }
4061
4062 int bdrv_debug_breakpoint(BlockDriverState *bs, const char *event,
4063                           const char *tag)
4064 {
4065     while (bs && bs->drv && !bs->drv->bdrv_debug_breakpoint) {
4066         bs = bs->file;
4067     }
4068
4069     if (bs && bs->drv && bs->drv->bdrv_debug_breakpoint) {
4070         return bs->drv->bdrv_debug_breakpoint(bs, event, tag);
4071     }
4072
4073     return -ENOTSUP;
4074 }
4075
4076 int bdrv_debug_remove_breakpoint(BlockDriverState *bs, const char *tag)
4077 {
4078     while (bs && bs->drv && !bs->drv->bdrv_debug_remove_breakpoint) {
4079         bs = bs->file;
4080     }
4081
4082     if (bs && bs->drv && bs->drv->bdrv_debug_remove_breakpoint) {
4083         return bs->drv->bdrv_debug_remove_breakpoint(bs, tag);
4084     }
4085
4086     return -ENOTSUP;
4087 }
4088
4089 int bdrv_debug_resume(BlockDriverState *bs, const char *tag)
4090 {
4091     while (bs && bs->drv && !bs->drv->bdrv_debug_resume) {
4092         bs = bs->file;
4093     }
4094
4095     if (bs && bs->drv && bs->drv->bdrv_debug_resume) {
4096         return bs->drv->bdrv_debug_resume(bs, tag);
4097     }
4098
4099     return -ENOTSUP;
4100 }
4101
4102 bool bdrv_debug_is_suspended(BlockDriverState *bs, const char *tag)
4103 {
4104     while (bs && bs->drv && !bs->drv->bdrv_debug_is_suspended) {
4105         bs = bs->file;
4106     }
4107
4108     if (bs && bs->drv && bs->drv->bdrv_debug_is_suspended) {
4109         return bs->drv->bdrv_debug_is_suspended(bs, tag);
4110     }
4111
4112     return false;
4113 }
4114
4115 int bdrv_is_snapshot(BlockDriverState *bs)
4116 {
4117     return !!(bs->open_flags & BDRV_O_SNAPSHOT);
4118 }
4119
4120 /* backing_file can either be relative, or absolute, or a protocol.  If it is
4121  * relative, it must be relative to the chain.  So, passing in bs->filename
4122  * from a BDS as backing_file should not be done, as that may be relative to
4123  * the CWD rather than the chain. */
4124 BlockDriverState *bdrv_find_backing_image(BlockDriverState *bs,
4125         const char *backing_file)
4126 {
4127     char *filename_full = NULL;
4128     char *backing_file_full = NULL;
4129     char *filename_tmp = NULL;
4130     int is_protocol = 0;
4131     BlockDriverState *curr_bs = NULL;
4132     BlockDriverState *retval = NULL;
4133
4134     if (!bs || !bs->drv || !backing_file) {
4135         return NULL;
4136     }
4137
4138     filename_full     = g_malloc(PATH_MAX);
4139     backing_file_full = g_malloc(PATH_MAX);
4140     filename_tmp      = g_malloc(PATH_MAX);
4141
4142     is_protocol = path_has_protocol(backing_file);
4143
4144     for (curr_bs = bs; curr_bs->backing_hd; curr_bs = curr_bs->backing_hd) {
4145
4146         /* If either of the filename paths is actually a protocol, then
4147          * compare unmodified paths; otherwise make paths relative */
4148         if (is_protocol || path_has_protocol(curr_bs->backing_file)) {
4149             if (strcmp(backing_file, curr_bs->backing_file) == 0) {
4150                 retval = curr_bs->backing_hd;
4151                 break;
4152             }
4153         } else {
4154             /* If not an absolute filename path, make it relative to the current
4155              * image's filename path */
4156             path_combine(filename_tmp, PATH_MAX, curr_bs->filename,
4157                          backing_file);
4158
4159             /* We are going to compare absolute pathnames */
4160             if (!realpath(filename_tmp, filename_full)) {
4161                 continue;
4162             }
4163
4164             /* We need to make sure the backing filename we are comparing against
4165              * is relative to the current image filename (or absolute) */
4166             path_combine(filename_tmp, PATH_MAX, curr_bs->filename,
4167                          curr_bs->backing_file);
4168
4169             if (!realpath(filename_tmp, backing_file_full)) {
4170                 continue;
4171             }
4172
4173             if (strcmp(backing_file_full, filename_full) == 0) {
4174                 retval = curr_bs->backing_hd;
4175                 break;
4176             }
4177         }
4178     }
4179
4180     g_free(filename_full);
4181     g_free(backing_file_full);
4182     g_free(filename_tmp);
4183     return retval;
4184 }
4185
4186 int bdrv_get_backing_file_depth(BlockDriverState *bs)
4187 {
4188     if (!bs->drv) {
4189         return 0;
4190     }
4191
4192     if (!bs->backing_hd) {
4193         return 0;
4194     }
4195
4196     return 1 + bdrv_get_backing_file_depth(bs->backing_hd);
4197 }
4198
4199 BlockDriverState *bdrv_find_base(BlockDriverState *bs)
4200 {
4201     BlockDriverState *curr_bs = NULL;
4202
4203     if (!bs) {
4204         return NULL;
4205     }
4206
4207     curr_bs = bs;
4208
4209     while (curr_bs->backing_hd) {
4210         curr_bs = curr_bs->backing_hd;
4211     }
4212     return curr_bs;
4213 }
4214
4215 /**************************************************************/
4216 /* async I/Os */
4217
4218 BlockDriverAIOCB *bdrv_aio_readv(BlockDriverState *bs, int64_t sector_num,
4219                                  QEMUIOVector *qiov, int nb_sectors,
4220                                  BlockDriverCompletionFunc *cb, void *opaque)
4221 {
4222     trace_bdrv_aio_readv(bs, sector_num, nb_sectors, opaque);
4223
4224     return bdrv_co_aio_rw_vector(bs, sector_num, qiov, nb_sectors, 0,
4225                                  cb, opaque, false);
4226 }
4227
4228 BlockDriverAIOCB *bdrv_aio_writev(BlockDriverState *bs, int64_t sector_num,
4229                                   QEMUIOVector *qiov, int nb_sectors,
4230                                   BlockDriverCompletionFunc *cb, void *opaque)
4231 {
4232     trace_bdrv_aio_writev(bs, sector_num, nb_sectors, opaque);
4233
4234     return bdrv_co_aio_rw_vector(bs, sector_num, qiov, nb_sectors, 0,
4235                                  cb, opaque, true);
4236 }
4237
4238 BlockDriverAIOCB *bdrv_aio_write_zeroes(BlockDriverState *bs,
4239         int64_t sector_num, int nb_sectors, BdrvRequestFlags flags,
4240         BlockDriverCompletionFunc *cb, void *opaque)
4241 {
4242     trace_bdrv_aio_write_zeroes(bs, sector_num, nb_sectors, flags, opaque);
4243
4244     return bdrv_co_aio_rw_vector(bs, sector_num, NULL, nb_sectors,
4245                                  BDRV_REQ_ZERO_WRITE | flags,
4246                                  cb, opaque, true);
4247 }
4248
4249
4250 typedef struct MultiwriteCB {
4251     int error;
4252     int num_requests;
4253     int num_callbacks;
4254     struct {
4255         BlockDriverCompletionFunc *cb;
4256         void *opaque;
4257         QEMUIOVector *free_qiov;
4258     } callbacks[];
4259 } MultiwriteCB;
4260
4261 static void multiwrite_user_cb(MultiwriteCB *mcb)
4262 {
4263     int i;
4264
4265     for (i = 0; i < mcb->num_callbacks; i++) {
4266         mcb->callbacks[i].cb(mcb->callbacks[i].opaque, mcb->error);
4267         if (mcb->callbacks[i].free_qiov) {
4268             qemu_iovec_destroy(mcb->callbacks[i].free_qiov);
4269         }
4270         g_free(mcb->callbacks[i].free_qiov);
4271     }
4272 }
4273
4274 static void multiwrite_cb(void *opaque, int ret)
4275 {
4276     MultiwriteCB *mcb = opaque;
4277
4278     trace_multiwrite_cb(mcb, ret);
4279
4280     if (ret < 0 && !mcb->error) {
4281         mcb->error = ret;
4282     }
4283
4284     mcb->num_requests--;
4285     if (mcb->num_requests == 0) {
4286         multiwrite_user_cb(mcb);
4287         g_free(mcb);
4288     }
4289 }
4290
4291 static int multiwrite_req_compare(const void *a, const void *b)
4292 {
4293     const BlockRequest *req1 = a, *req2 = b;
4294
4295     /*
4296      * Note that we can't simply subtract req2->sector from req1->sector
4297      * here as that could overflow the return value.
4298      */
4299     if (req1->sector > req2->sector) {
4300         return 1;
4301     } else if (req1->sector < req2->sector) {
4302         return -1;
4303     } else {
4304         return 0;
4305     }
4306 }
4307
4308 /*
4309  * Takes a bunch of requests and tries to merge them. Returns the number of
4310  * requests that remain after merging.
4311  */
4312 static int multiwrite_merge(BlockDriverState *bs, BlockRequest *reqs,
4313     int num_reqs, MultiwriteCB *mcb)
4314 {
4315     int i, outidx;
4316
4317     // Sort requests by start sector
4318     qsort(reqs, num_reqs, sizeof(*reqs), &multiwrite_req_compare);
4319
4320     // Check if adjacent requests touch the same clusters. If so, combine them,
4321     // filling up gaps with zero sectors.
4322     outidx = 0;
4323     for (i = 1; i < num_reqs; i++) {
4324         int merge = 0;
4325         int64_t oldreq_last = reqs[outidx].sector + reqs[outidx].nb_sectors;
4326
4327         // Handle exactly sequential writes and overlapping writes.
4328         if (reqs[i].sector <= oldreq_last) {
4329             merge = 1;
4330         }
4331
4332         if (reqs[outidx].qiov->niov + reqs[i].qiov->niov + 1 > IOV_MAX) {
4333             merge = 0;
4334         }
4335
4336         if (merge) {
4337             size_t size;
4338             QEMUIOVector *qiov = g_malloc0(sizeof(*qiov));
4339             qemu_iovec_init(qiov,
4340                 reqs[outidx].qiov->niov + reqs[i].qiov->niov + 1);
4341
4342             // Add the first request to the merged one. If the requests are
4343             // overlapping, drop the last sectors of the first request.
4344             size = (reqs[i].sector - reqs[outidx].sector) << 9;
4345             qemu_iovec_concat(qiov, reqs[outidx].qiov, 0, size);
4346
4347             // We should need to add any zeros between the two requests
4348             assert (reqs[i].sector <= oldreq_last);
4349
4350             // Add the second request
4351             qemu_iovec_concat(qiov, reqs[i].qiov, 0, reqs[i].qiov->size);
4352
4353             reqs[outidx].nb_sectors = qiov->size >> 9;
4354             reqs[outidx].qiov = qiov;
4355
4356             mcb->callbacks[i].free_qiov = reqs[outidx].qiov;
4357         } else {
4358             outidx++;
4359             reqs[outidx].sector     = reqs[i].sector;
4360             reqs[outidx].nb_sectors = reqs[i].nb_sectors;
4361             reqs[outidx].qiov       = reqs[i].qiov;
4362         }
4363     }
4364
4365     return outidx + 1;
4366 }
4367
4368 /*
4369  * Submit multiple AIO write requests at once.
4370  *
4371  * On success, the function returns 0 and all requests in the reqs array have
4372  * been submitted. In error case this function returns -1, and any of the
4373  * requests may or may not be submitted yet. In particular, this means that the
4374  * callback will be called for some of the requests, for others it won't. The
4375  * caller must check the error field of the BlockRequest to wait for the right
4376  * callbacks (if error != 0, no callback will be called).
4377  *
4378  * The implementation may modify the contents of the reqs array, e.g. to merge
4379  * requests. However, the fields opaque and error are left unmodified as they
4380  * are used to signal failure for a single request to the caller.
4381  */
4382 int bdrv_aio_multiwrite(BlockDriverState *bs, BlockRequest *reqs, int num_reqs)
4383 {
4384     MultiwriteCB *mcb;
4385     int i;
4386
4387     /* don't submit writes if we don't have a medium */
4388     if (bs->drv == NULL) {
4389         for (i = 0; i < num_reqs; i++) {
4390             reqs[i].error = -ENOMEDIUM;
4391         }
4392         return -1;
4393     }
4394
4395     if (num_reqs == 0) {
4396         return 0;
4397     }
4398
4399     // Create MultiwriteCB structure
4400     mcb = g_malloc0(sizeof(*mcb) + num_reqs * sizeof(*mcb->callbacks));
4401     mcb->num_requests = 0;
4402     mcb->num_callbacks = num_reqs;
4403
4404     for (i = 0; i < num_reqs; i++) {
4405         mcb->callbacks[i].cb = reqs[i].cb;
4406         mcb->callbacks[i].opaque = reqs[i].opaque;
4407     }
4408
4409     // Check for mergable requests
4410     num_reqs = multiwrite_merge(bs, reqs, num_reqs, mcb);
4411
4412     trace_bdrv_aio_multiwrite(mcb, mcb->num_callbacks, num_reqs);
4413
4414     /* Run the aio requests. */
4415     mcb->num_requests = num_reqs;
4416     for (i = 0; i < num_reqs; i++) {
4417         bdrv_co_aio_rw_vector(bs, reqs[i].sector, reqs[i].qiov,
4418                               reqs[i].nb_sectors, reqs[i].flags,
4419                               multiwrite_cb, mcb,
4420                               true);
4421     }
4422
4423     return 0;
4424 }
4425
4426 void bdrv_aio_cancel(BlockDriverAIOCB *acb)
4427 {
4428     acb->aiocb_info->cancel(acb);
4429 }
4430
4431 /**************************************************************/
4432 /* async block device emulation */
4433
4434 typedef struct BlockDriverAIOCBSync {
4435     BlockDriverAIOCB common;
4436     QEMUBH *bh;
4437     int ret;
4438     /* vector translation state */
4439     QEMUIOVector *qiov;
4440     uint8_t *bounce;
4441     int is_write;
4442 } BlockDriverAIOCBSync;
4443
4444 static void bdrv_aio_cancel_em(BlockDriverAIOCB *blockacb)
4445 {
4446     BlockDriverAIOCBSync *acb =
4447         container_of(blockacb, BlockDriverAIOCBSync, common);
4448     qemu_bh_delete(acb->bh);
4449     acb->bh = NULL;
4450     qemu_aio_release(acb);
4451 }
4452
4453 static const AIOCBInfo bdrv_em_aiocb_info = {
4454     .aiocb_size         = sizeof(BlockDriverAIOCBSync),
4455     .cancel             = bdrv_aio_cancel_em,
4456 };
4457
4458 static void bdrv_aio_bh_cb(void *opaque)
4459 {
4460     BlockDriverAIOCBSync *acb = opaque;
4461
4462     if (!acb->is_write)
4463         qemu_iovec_from_buf(acb->qiov, 0, acb->bounce, acb->qiov->size);
4464     qemu_vfree(acb->bounce);
4465     acb->common.cb(acb->common.opaque, acb->ret);
4466     qemu_bh_delete(acb->bh);
4467     acb->bh = NULL;
4468     qemu_aio_release(acb);
4469 }
4470
4471 static BlockDriverAIOCB *bdrv_aio_rw_vector(BlockDriverState *bs,
4472                                             int64_t sector_num,
4473                                             QEMUIOVector *qiov,
4474                                             int nb_sectors,
4475                                             BlockDriverCompletionFunc *cb,
4476                                             void *opaque,
4477                                             int is_write)
4478
4479 {
4480     BlockDriverAIOCBSync *acb;
4481
4482     acb = qemu_aio_get(&bdrv_em_aiocb_info, bs, cb, opaque);
4483     acb->is_write = is_write;
4484     acb->qiov = qiov;
4485     acb->bounce = qemu_blockalign(bs, qiov->size);
4486     acb->bh = qemu_bh_new(bdrv_aio_bh_cb, acb);
4487
4488     if (is_write) {
4489         qemu_iovec_to_buf(acb->qiov, 0, acb->bounce, qiov->size);
4490         acb->ret = bs->drv->bdrv_write(bs, sector_num, acb->bounce, nb_sectors);
4491     } else {
4492         acb->ret = bs->drv->bdrv_read(bs, sector_num, acb->bounce, nb_sectors);
4493     }
4494
4495     qemu_bh_schedule(acb->bh);
4496
4497     return &acb->common;
4498 }
4499
4500 static BlockDriverAIOCB *bdrv_aio_readv_em(BlockDriverState *bs,
4501         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
4502         BlockDriverCompletionFunc *cb, void *opaque)
4503 {
4504     return bdrv_aio_rw_vector(bs, sector_num, qiov, nb_sectors, cb, opaque, 0);
4505 }
4506
4507 static BlockDriverAIOCB *bdrv_aio_writev_em(BlockDriverState *bs,
4508         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
4509         BlockDriverCompletionFunc *cb, void *opaque)
4510 {
4511     return bdrv_aio_rw_vector(bs, sector_num, qiov, nb_sectors, cb, opaque, 1);
4512 }
4513
4514
4515 typedef struct BlockDriverAIOCBCoroutine {
4516     BlockDriverAIOCB common;
4517     BlockRequest req;
4518     bool is_write;
4519     bool *done;
4520     QEMUBH* bh;
4521 } BlockDriverAIOCBCoroutine;
4522
4523 static void bdrv_aio_co_cancel_em(BlockDriverAIOCB *blockacb)
4524 {
4525     BlockDriverAIOCBCoroutine *acb =
4526         container_of(blockacb, BlockDriverAIOCBCoroutine, common);
4527     bool done = false;
4528
4529     acb->done = &done;
4530     while (!done) {
4531         qemu_aio_wait();
4532     }
4533 }
4534
4535 static const AIOCBInfo bdrv_em_co_aiocb_info = {
4536     .aiocb_size         = sizeof(BlockDriverAIOCBCoroutine),
4537     .cancel             = bdrv_aio_co_cancel_em,
4538 };
4539
4540 static void bdrv_co_em_bh(void *opaque)
4541 {
4542     BlockDriverAIOCBCoroutine *acb = opaque;
4543
4544     acb->common.cb(acb->common.opaque, acb->req.error);
4545
4546     if (acb->done) {
4547         *acb->done = true;
4548     }
4549
4550     qemu_bh_delete(acb->bh);
4551     qemu_aio_release(acb);
4552 }
4553
4554 /* Invoke bdrv_co_do_readv/bdrv_co_do_writev */
4555 static void coroutine_fn bdrv_co_do_rw(void *opaque)
4556 {
4557     BlockDriverAIOCBCoroutine *acb = opaque;
4558     BlockDriverState *bs = acb->common.bs;
4559
4560     if (!acb->is_write) {
4561         acb->req.error = bdrv_co_do_readv(bs, acb->req.sector,
4562             acb->req.nb_sectors, acb->req.qiov, acb->req.flags);
4563     } else {
4564         acb->req.error = bdrv_co_do_writev(bs, acb->req.sector,
4565             acb->req.nb_sectors, acb->req.qiov, acb->req.flags);
4566     }
4567
4568     acb->bh = qemu_bh_new(bdrv_co_em_bh, acb);
4569     qemu_bh_schedule(acb->bh);
4570 }
4571
4572 static BlockDriverAIOCB *bdrv_co_aio_rw_vector(BlockDriverState *bs,
4573                                                int64_t sector_num,
4574                                                QEMUIOVector *qiov,
4575                                                int nb_sectors,
4576                                                BdrvRequestFlags flags,
4577                                                BlockDriverCompletionFunc *cb,
4578                                                void *opaque,
4579                                                bool is_write)
4580 {
4581     Coroutine *co;
4582     BlockDriverAIOCBCoroutine *acb;
4583
4584     acb = qemu_aio_get(&bdrv_em_co_aiocb_info, bs, cb, opaque);
4585     acb->req.sector = sector_num;
4586     acb->req.nb_sectors = nb_sectors;
4587     acb->req.qiov = qiov;
4588     acb->req.flags = flags;
4589     acb->is_write = is_write;
4590     acb->done = NULL;
4591
4592     co = qemu_coroutine_create(bdrv_co_do_rw);
4593     qemu_coroutine_enter(co, acb);
4594
4595     return &acb->common;
4596 }
4597
4598 static void coroutine_fn bdrv_aio_flush_co_entry(void *opaque)
4599 {
4600     BlockDriverAIOCBCoroutine *acb = opaque;
4601     BlockDriverState *bs = acb->common.bs;
4602
4603     acb->req.error = bdrv_co_flush(bs);
4604     acb->bh = qemu_bh_new(bdrv_co_em_bh, acb);
4605     qemu_bh_schedule(acb->bh);
4606 }
4607
4608 BlockDriverAIOCB *bdrv_aio_flush(BlockDriverState *bs,
4609         BlockDriverCompletionFunc *cb, void *opaque)
4610 {
4611     trace_bdrv_aio_flush(bs, opaque);
4612
4613     Coroutine *co;
4614     BlockDriverAIOCBCoroutine *acb;
4615
4616     acb = qemu_aio_get(&bdrv_em_co_aiocb_info, bs, cb, opaque);
4617     acb->done = NULL;
4618
4619     co = qemu_coroutine_create(bdrv_aio_flush_co_entry);
4620     qemu_coroutine_enter(co, acb);
4621
4622     return &acb->common;
4623 }
4624
4625 static void coroutine_fn bdrv_aio_discard_co_entry(void *opaque)
4626 {
4627     BlockDriverAIOCBCoroutine *acb = opaque;
4628     BlockDriverState *bs = acb->common.bs;
4629
4630     acb->req.error = bdrv_co_discard(bs, acb->req.sector, acb->req.nb_sectors);
4631     acb->bh = qemu_bh_new(bdrv_co_em_bh, acb);
4632     qemu_bh_schedule(acb->bh);
4633 }
4634
4635 BlockDriverAIOCB *bdrv_aio_discard(BlockDriverState *bs,
4636         int64_t sector_num, int nb_sectors,
4637         BlockDriverCompletionFunc *cb, void *opaque)
4638 {
4639     Coroutine *co;
4640     BlockDriverAIOCBCoroutine *acb;
4641
4642     trace_bdrv_aio_discard(bs, sector_num, nb_sectors, opaque);
4643
4644     acb = qemu_aio_get(&bdrv_em_co_aiocb_info, bs, cb, opaque);
4645     acb->req.sector = sector_num;
4646     acb->req.nb_sectors = nb_sectors;
4647     acb->done = NULL;
4648     co = qemu_coroutine_create(bdrv_aio_discard_co_entry);
4649     qemu_coroutine_enter(co, acb);
4650
4651     return &acb->common;
4652 }
4653
4654 void bdrv_init(void)
4655 {
4656     module_call_init(MODULE_INIT_BLOCK);
4657 }
4658
4659 void bdrv_init_with_whitelist(void)
4660 {
4661     use_bdrv_whitelist = 1;
4662     bdrv_init();
4663 }
4664
4665 void *qemu_aio_get(const AIOCBInfo *aiocb_info, BlockDriverState *bs,
4666                    BlockDriverCompletionFunc *cb, void *opaque)
4667 {
4668     BlockDriverAIOCB *acb;
4669
4670     acb = g_slice_alloc(aiocb_info->aiocb_size);
4671     acb->aiocb_info = aiocb_info;
4672     acb->bs = bs;
4673     acb->cb = cb;
4674     acb->opaque = opaque;
4675     return acb;
4676 }
4677
4678 void qemu_aio_release(void *p)
4679 {
4680     BlockDriverAIOCB *acb = p;
4681     g_slice_free1(acb->aiocb_info->aiocb_size, acb);
4682 }
4683
4684 /**************************************************************/
4685 /* Coroutine block device emulation */
4686
4687 typedef struct CoroutineIOCompletion {
4688     Coroutine *coroutine;
4689     int ret;
4690 } CoroutineIOCompletion;
4691
4692 static void bdrv_co_io_em_complete(void *opaque, int ret)
4693 {
4694     CoroutineIOCompletion *co = opaque;
4695
4696     co->ret = ret;
4697     qemu_coroutine_enter(co->coroutine, NULL);
4698 }
4699
4700 static int coroutine_fn bdrv_co_io_em(BlockDriverState *bs, int64_t sector_num,
4701                                       int nb_sectors, QEMUIOVector *iov,
4702                                       bool is_write)
4703 {
4704     CoroutineIOCompletion co = {
4705         .coroutine = qemu_coroutine_self(),
4706     };
4707     BlockDriverAIOCB *acb;
4708
4709     if (is_write) {
4710         acb = bs->drv->bdrv_aio_writev(bs, sector_num, iov, nb_sectors,
4711                                        bdrv_co_io_em_complete, &co);
4712     } else {
4713         acb = bs->drv->bdrv_aio_readv(bs, sector_num, iov, nb_sectors,
4714                                       bdrv_co_io_em_complete, &co);
4715     }
4716
4717     trace_bdrv_co_io_em(bs, sector_num, nb_sectors, is_write, acb);
4718     if (!acb) {
4719         return -EIO;
4720     }
4721     qemu_coroutine_yield();
4722
4723     return co.ret;
4724 }
4725
4726 static int coroutine_fn bdrv_co_readv_em(BlockDriverState *bs,
4727                                          int64_t sector_num, int nb_sectors,
4728                                          QEMUIOVector *iov)
4729 {
4730     return bdrv_co_io_em(bs, sector_num, nb_sectors, iov, false);
4731 }
4732
4733 static int coroutine_fn bdrv_co_writev_em(BlockDriverState *bs,
4734                                          int64_t sector_num, int nb_sectors,
4735                                          QEMUIOVector *iov)
4736 {
4737     return bdrv_co_io_em(bs, sector_num, nb_sectors, iov, true);
4738 }
4739
4740 static void coroutine_fn bdrv_flush_co_entry(void *opaque)
4741 {
4742     RwCo *rwco = opaque;
4743
4744     rwco->ret = bdrv_co_flush(rwco->bs);
4745 }
4746
4747 int coroutine_fn bdrv_co_flush(BlockDriverState *bs)
4748 {
4749     int ret;
4750
4751     if (!bs || !bdrv_is_inserted(bs) || bdrv_is_read_only(bs)) {
4752         return 0;
4753     }
4754
4755     /* Write back cached data to the OS even with cache=unsafe */
4756     BLKDBG_EVENT(bs->file, BLKDBG_FLUSH_TO_OS);
4757     if (bs->drv->bdrv_co_flush_to_os) {
4758         ret = bs->drv->bdrv_co_flush_to_os(bs);
4759         if (ret < 0) {
4760             return ret;
4761         }
4762     }
4763
4764     /* But don't actually force it to the disk with cache=unsafe */
4765     if (bs->open_flags & BDRV_O_NO_FLUSH) {
4766         goto flush_parent;
4767     }
4768
4769     BLKDBG_EVENT(bs->file, BLKDBG_FLUSH_TO_DISK);
4770     if (bs->drv->bdrv_co_flush_to_disk) {
4771         ret = bs->drv->bdrv_co_flush_to_disk(bs);
4772     } else if (bs->drv->bdrv_aio_flush) {
4773         BlockDriverAIOCB *acb;
4774         CoroutineIOCompletion co = {
4775             .coroutine = qemu_coroutine_self(),
4776         };
4777
4778         acb = bs->drv->bdrv_aio_flush(bs, bdrv_co_io_em_complete, &co);
4779         if (acb == NULL) {
4780             ret = -EIO;
4781         } else {
4782             qemu_coroutine_yield();
4783             ret = co.ret;
4784         }
4785     } else {
4786         /*
4787          * Some block drivers always operate in either writethrough or unsafe
4788          * mode and don't support bdrv_flush therefore. Usually qemu doesn't
4789          * know how the server works (because the behaviour is hardcoded or
4790          * depends on server-side configuration), so we can't ensure that
4791          * everything is safe on disk. Returning an error doesn't work because
4792          * that would break guests even if the server operates in writethrough
4793          * mode.
4794          *
4795          * Let's hope the user knows what he's doing.
4796          */
4797         ret = 0;
4798     }
4799     if (ret < 0) {
4800         return ret;
4801     }
4802
4803     /* Now flush the underlying protocol.  It will also have BDRV_O_NO_FLUSH
4804      * in the case of cache=unsafe, so there are no useless flushes.
4805      */
4806 flush_parent:
4807     return bdrv_co_flush(bs->file);
4808 }
4809
4810 void bdrv_invalidate_cache(BlockDriverState *bs)
4811 {
4812     if (bs->drv && bs->drv->bdrv_invalidate_cache) {
4813         bs->drv->bdrv_invalidate_cache(bs);
4814     }
4815 }
4816
4817 void bdrv_invalidate_cache_all(void)
4818 {
4819     BlockDriverState *bs;
4820
4821     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
4822         bdrv_invalidate_cache(bs);
4823     }
4824 }
4825
4826 void bdrv_clear_incoming_migration_all(void)
4827 {
4828     BlockDriverState *bs;
4829
4830     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
4831         bs->open_flags = bs->open_flags & ~(BDRV_O_INCOMING);
4832     }
4833 }
4834
4835 int bdrv_flush(BlockDriverState *bs)
4836 {
4837     Coroutine *co;
4838     RwCo rwco = {
4839         .bs = bs,
4840         .ret = NOT_DONE,
4841     };
4842
4843     if (qemu_in_coroutine()) {
4844         /* Fast-path if already in coroutine context */
4845         bdrv_flush_co_entry(&rwco);
4846     } else {
4847         co = qemu_coroutine_create(bdrv_flush_co_entry);
4848         qemu_coroutine_enter(co, &rwco);
4849         while (rwco.ret == NOT_DONE) {
4850             qemu_aio_wait();
4851         }
4852     }
4853
4854     return rwco.ret;
4855 }
4856
4857 typedef struct DiscardCo {
4858     BlockDriverState *bs;
4859     int64_t sector_num;
4860     int nb_sectors;
4861     int ret;
4862 } DiscardCo;
4863 static void coroutine_fn bdrv_discard_co_entry(void *opaque)
4864 {
4865     DiscardCo *rwco = opaque;
4866
4867     rwco->ret = bdrv_co_discard(rwco->bs, rwco->sector_num, rwco->nb_sectors);
4868 }
4869
4870 /* if no limit is specified in the BlockLimits use a default
4871  * of 32768 512-byte sectors (16 MiB) per request.
4872  */
4873 #define MAX_DISCARD_DEFAULT 32768
4874
4875 int coroutine_fn bdrv_co_discard(BlockDriverState *bs, int64_t sector_num,
4876                                  int nb_sectors)
4877 {
4878     int max_discard;
4879
4880     if (!bs->drv) {
4881         return -ENOMEDIUM;
4882     } else if (bdrv_check_request(bs, sector_num, nb_sectors)) {
4883         return -EIO;
4884     } else if (bs->read_only) {
4885         return -EROFS;
4886     }
4887
4888     bdrv_reset_dirty(bs, sector_num, nb_sectors);
4889
4890     /* Do nothing if disabled.  */
4891     if (!(bs->open_flags & BDRV_O_UNMAP)) {
4892         return 0;
4893     }
4894
4895     if (!bs->drv->bdrv_co_discard && !bs->drv->bdrv_aio_discard) {
4896         return 0;
4897     }
4898
4899     max_discard = bs->bl.max_discard ?  bs->bl.max_discard : MAX_DISCARD_DEFAULT;
4900     while (nb_sectors > 0) {
4901         int ret;
4902         int num = nb_sectors;
4903
4904         /* align request */
4905         if (bs->bl.discard_alignment &&
4906             num >= bs->bl.discard_alignment &&
4907             sector_num % bs->bl.discard_alignment) {
4908             if (num > bs->bl.discard_alignment) {
4909                 num = bs->bl.discard_alignment;
4910             }
4911             num -= sector_num % bs->bl.discard_alignment;
4912         }
4913
4914         /* limit request size */
4915         if (num > max_discard) {
4916             num = max_discard;
4917         }
4918
4919         if (bs->drv->bdrv_co_discard) {
4920             ret = bs->drv->bdrv_co_discard(bs, sector_num, num);
4921         } else {
4922             BlockDriverAIOCB *acb;
4923             CoroutineIOCompletion co = {
4924                 .coroutine = qemu_coroutine_self(),
4925             };
4926
4927             acb = bs->drv->bdrv_aio_discard(bs, sector_num, nb_sectors,
4928                                             bdrv_co_io_em_complete, &co);
4929             if (acb == NULL) {
4930                 return -EIO;
4931             } else {
4932                 qemu_coroutine_yield();
4933                 ret = co.ret;
4934             }
4935         }
4936         if (ret && ret != -ENOTSUP) {
4937             return ret;
4938         }
4939
4940         sector_num += num;
4941         nb_sectors -= num;
4942     }
4943     return 0;
4944 }
4945
4946 int bdrv_discard(BlockDriverState *bs, int64_t sector_num, int nb_sectors)
4947 {
4948     Coroutine *co;
4949     DiscardCo rwco = {
4950         .bs = bs,
4951         .sector_num = sector_num,
4952         .nb_sectors = nb_sectors,
4953         .ret = NOT_DONE,
4954     };
4955
4956     if (qemu_in_coroutine()) {
4957         /* Fast-path if already in coroutine context */
4958         bdrv_discard_co_entry(&rwco);
4959     } else {
4960         co = qemu_coroutine_create(bdrv_discard_co_entry);
4961         qemu_coroutine_enter(co, &rwco);
4962         while (rwco.ret == NOT_DONE) {
4963             qemu_aio_wait();
4964         }
4965     }
4966
4967     return rwco.ret;
4968 }
4969
4970 /**************************************************************/
4971 /* removable device support */
4972
4973 /**
4974  * Return TRUE if the media is present
4975  */
4976 int bdrv_is_inserted(BlockDriverState *bs)
4977 {
4978     BlockDriver *drv = bs->drv;
4979
4980     if (!drv)
4981         return 0;
4982     if (!drv->bdrv_is_inserted)
4983         return 1;
4984     return drv->bdrv_is_inserted(bs);
4985 }
4986
4987 /**
4988  * Return whether the media changed since the last call to this
4989  * function, or -ENOTSUP if we don't know.  Most drivers don't know.
4990  */
4991 int bdrv_media_changed(BlockDriverState *bs)
4992 {
4993     BlockDriver *drv = bs->drv;
4994
4995     if (drv && drv->bdrv_media_changed) {
4996         return drv->bdrv_media_changed(bs);
4997     }
4998     return -ENOTSUP;
4999 }
5000
5001 /**
5002  * If eject_flag is TRUE, eject the media. Otherwise, close the tray
5003  */
5004 void bdrv_eject(BlockDriverState *bs, bool eject_flag)
5005 {
5006     BlockDriver *drv = bs->drv;
5007
5008     if (drv && drv->bdrv_eject) {
5009         drv->bdrv_eject(bs, eject_flag);
5010     }
5011
5012     if (bs->device_name[0] != '\0') {
5013         bdrv_emit_qmp_eject_event(bs, eject_flag);
5014     }
5015 }
5016
5017 /**
5018  * Lock or unlock the media (if it is locked, the user won't be able
5019  * to eject it manually).
5020  */
5021 void bdrv_lock_medium(BlockDriverState *bs, bool locked)
5022 {
5023     BlockDriver *drv = bs->drv;
5024
5025     trace_bdrv_lock_medium(bs, locked);
5026
5027     if (drv && drv->bdrv_lock_medium) {
5028         drv->bdrv_lock_medium(bs, locked);
5029     }
5030 }
5031
5032 /* needed for generic scsi interface */
5033
5034 int bdrv_ioctl(BlockDriverState *bs, unsigned long int req, void *buf)
5035 {
5036     BlockDriver *drv = bs->drv;
5037
5038     if (drv && drv->bdrv_ioctl)
5039         return drv->bdrv_ioctl(bs, req, buf);
5040     return -ENOTSUP;
5041 }
5042
5043 BlockDriverAIOCB *bdrv_aio_ioctl(BlockDriverState *bs,
5044         unsigned long int req, void *buf,
5045         BlockDriverCompletionFunc *cb, void *opaque)
5046 {
5047     BlockDriver *drv = bs->drv;
5048
5049     if (drv && drv->bdrv_aio_ioctl)
5050         return drv->bdrv_aio_ioctl(bs, req, buf, cb, opaque);
5051     return NULL;
5052 }
5053
5054 void bdrv_set_guest_block_size(BlockDriverState *bs, int align)
5055 {
5056     bs->guest_block_size = align;
5057 }
5058
5059 void *qemu_blockalign(BlockDriverState *bs, size_t size)
5060 {
5061     return qemu_memalign(bdrv_opt_mem_align(bs), size);
5062 }
5063
5064 /*
5065  * Check if all memory in this vector is sector aligned.
5066  */
5067 bool bdrv_qiov_is_aligned(BlockDriverState *bs, QEMUIOVector *qiov)
5068 {
5069     int i;
5070     size_t alignment = bdrv_opt_mem_align(bs);
5071
5072     for (i = 0; i < qiov->niov; i++) {
5073         if ((uintptr_t) qiov->iov[i].iov_base % alignment) {
5074             return false;
5075         }
5076         if (qiov->iov[i].iov_len % alignment) {
5077             return false;
5078         }
5079     }
5080
5081     return true;
5082 }
5083
5084 BdrvDirtyBitmap *bdrv_create_dirty_bitmap(BlockDriverState *bs, int granularity)
5085 {
5086     int64_t bitmap_size;
5087     BdrvDirtyBitmap *bitmap;
5088
5089     assert((granularity & (granularity - 1)) == 0);
5090
5091     granularity >>= BDRV_SECTOR_BITS;
5092     assert(granularity);
5093     bitmap_size = (bdrv_getlength(bs) >> BDRV_SECTOR_BITS);
5094     bitmap = g_malloc0(sizeof(BdrvDirtyBitmap));
5095     bitmap->bitmap = hbitmap_alloc(bitmap_size, ffs(granularity) - 1);
5096     QLIST_INSERT_HEAD(&bs->dirty_bitmaps, bitmap, list);
5097     return bitmap;
5098 }
5099
5100 void bdrv_release_dirty_bitmap(BlockDriverState *bs, BdrvDirtyBitmap *bitmap)
5101 {
5102     BdrvDirtyBitmap *bm, *next;
5103     QLIST_FOREACH_SAFE(bm, &bs->dirty_bitmaps, list, next) {
5104         if (bm == bitmap) {
5105             QLIST_REMOVE(bitmap, list);
5106             hbitmap_free(bitmap->bitmap);
5107             g_free(bitmap);
5108             return;
5109         }
5110     }
5111 }
5112
5113 BlockDirtyInfoList *bdrv_query_dirty_bitmaps(BlockDriverState *bs)
5114 {
5115     BdrvDirtyBitmap *bm;
5116     BlockDirtyInfoList *list = NULL;
5117     BlockDirtyInfoList **plist = &list;
5118
5119     QLIST_FOREACH(bm, &bs->dirty_bitmaps, list) {
5120         BlockDirtyInfo *info = g_malloc0(sizeof(BlockDirtyInfo));
5121         BlockDirtyInfoList *entry = g_malloc0(sizeof(BlockDirtyInfoList));
5122         info->count = bdrv_get_dirty_count(bs, bm);
5123         info->granularity =
5124             ((int64_t) BDRV_SECTOR_SIZE << hbitmap_granularity(bm->bitmap));
5125         entry->value = info;
5126         *plist = entry;
5127         plist = &entry->next;
5128     }
5129
5130     return list;
5131 }
5132
5133 int bdrv_get_dirty(BlockDriverState *bs, BdrvDirtyBitmap *bitmap, int64_t sector)
5134 {
5135     if (bitmap) {
5136         return hbitmap_get(bitmap->bitmap, sector);
5137     } else {
5138         return 0;
5139     }
5140 }
5141
5142 void bdrv_dirty_iter_init(BlockDriverState *bs,
5143                           BdrvDirtyBitmap *bitmap, HBitmapIter *hbi)
5144 {
5145     hbitmap_iter_init(hbi, bitmap->bitmap, 0);
5146 }
5147
5148 void bdrv_set_dirty(BlockDriverState *bs, int64_t cur_sector,
5149                     int nr_sectors)
5150 {
5151     BdrvDirtyBitmap *bitmap;
5152     QLIST_FOREACH(bitmap, &bs->dirty_bitmaps, list) {
5153         hbitmap_set(bitmap->bitmap, cur_sector, nr_sectors);
5154     }
5155 }
5156
5157 void bdrv_reset_dirty(BlockDriverState *bs, int64_t cur_sector, int nr_sectors)
5158 {
5159     BdrvDirtyBitmap *bitmap;
5160     QLIST_FOREACH(bitmap, &bs->dirty_bitmaps, list) {
5161         hbitmap_reset(bitmap->bitmap, cur_sector, nr_sectors);
5162     }
5163 }
5164
5165 int64_t bdrv_get_dirty_count(BlockDriverState *bs, BdrvDirtyBitmap *bitmap)
5166 {
5167     return hbitmap_count(bitmap->bitmap);
5168 }
5169
5170 /* Get a reference to bs */
5171 void bdrv_ref(BlockDriverState *bs)
5172 {
5173     bs->refcnt++;
5174 }
5175
5176 /* Release a previously grabbed reference to bs.
5177  * If after releasing, reference count is zero, the BlockDriverState is
5178  * deleted. */
5179 void bdrv_unref(BlockDriverState *bs)
5180 {
5181     assert(bs->refcnt > 0);
5182     if (--bs->refcnt == 0) {
5183         bdrv_delete(bs);
5184     }
5185 }
5186
5187 void bdrv_set_in_use(BlockDriverState *bs, int in_use)
5188 {
5189     assert(bs->in_use != in_use);
5190     bs->in_use = in_use;
5191 }
5192
5193 int bdrv_in_use(BlockDriverState *bs)
5194 {
5195     return bs->in_use;
5196 }
5197
5198 void bdrv_iostatus_enable(BlockDriverState *bs)
5199 {
5200     bs->iostatus_enabled = true;
5201     bs->iostatus = BLOCK_DEVICE_IO_STATUS_OK;
5202 }
5203
5204 /* The I/O status is only enabled if the drive explicitly
5205  * enables it _and_ the VM is configured to stop on errors */
5206 bool bdrv_iostatus_is_enabled(const BlockDriverState *bs)
5207 {
5208     return (bs->iostatus_enabled &&
5209            (bs->on_write_error == BLOCKDEV_ON_ERROR_ENOSPC ||
5210             bs->on_write_error == BLOCKDEV_ON_ERROR_STOP   ||
5211             bs->on_read_error == BLOCKDEV_ON_ERROR_STOP));
5212 }
5213
5214 void bdrv_iostatus_disable(BlockDriverState *bs)
5215 {
5216     bs->iostatus_enabled = false;
5217 }
5218
5219 void bdrv_iostatus_reset(BlockDriverState *bs)
5220 {
5221     if (bdrv_iostatus_is_enabled(bs)) {
5222         bs->iostatus = BLOCK_DEVICE_IO_STATUS_OK;
5223         if (bs->job) {
5224             block_job_iostatus_reset(bs->job);
5225         }
5226     }
5227 }
5228
5229 void bdrv_iostatus_set_err(BlockDriverState *bs, int error)
5230 {
5231     assert(bdrv_iostatus_is_enabled(bs));
5232     if (bs->iostatus == BLOCK_DEVICE_IO_STATUS_OK) {
5233         bs->iostatus = error == ENOSPC ? BLOCK_DEVICE_IO_STATUS_NOSPACE :
5234                                          BLOCK_DEVICE_IO_STATUS_FAILED;
5235     }
5236 }
5237
5238 void
5239 bdrv_acct_start(BlockDriverState *bs, BlockAcctCookie *cookie, int64_t bytes,
5240         enum BlockAcctType type)
5241 {
5242     assert(type < BDRV_MAX_IOTYPE);
5243
5244     cookie->bytes = bytes;
5245     cookie->start_time_ns = get_clock();
5246     cookie->type = type;
5247 }
5248
5249 void
5250 bdrv_acct_done(BlockDriverState *bs, BlockAcctCookie *cookie)
5251 {
5252     assert(cookie->type < BDRV_MAX_IOTYPE);
5253
5254     bs->nr_bytes[cookie->type] += cookie->bytes;
5255     bs->nr_ops[cookie->type]++;
5256     bs->total_time_ns[cookie->type] += get_clock() - cookie->start_time_ns;
5257 }
5258
5259 void bdrv_img_create(const char *filename, const char *fmt,
5260                      const char *base_filename, const char *base_fmt,
5261                      char *options, uint64_t img_size, int flags,
5262                      Error **errp, bool quiet)
5263 {
5264     QEMUOptionParameter *param = NULL, *create_options = NULL;
5265     QEMUOptionParameter *backing_fmt, *backing_file, *size;
5266     BlockDriver *drv, *proto_drv;
5267     BlockDriver *backing_drv = NULL;
5268     Error *local_err = NULL;
5269     int ret = 0;
5270
5271     /* Find driver and parse its options */
5272     drv = bdrv_find_format(fmt);
5273     if (!drv) {
5274         error_setg(errp, "Unknown file format '%s'", fmt);
5275         return;
5276     }
5277
5278     proto_drv = bdrv_find_protocol(filename, true);
5279     if (!proto_drv) {
5280         error_setg(errp, "Unknown protocol '%s'", filename);
5281         return;
5282     }
5283
5284     create_options = append_option_parameters(create_options,
5285                                               drv->create_options);
5286     create_options = append_option_parameters(create_options,
5287                                               proto_drv->create_options);
5288
5289     /* Create parameter list with default values */
5290     param = parse_option_parameters("", create_options, param);
5291
5292     set_option_parameter_int(param, BLOCK_OPT_SIZE, img_size);
5293
5294     /* Parse -o options */
5295     if (options) {
5296         param = parse_option_parameters(options, create_options, param);
5297         if (param == NULL) {
5298             error_setg(errp, "Invalid options for file format '%s'.", fmt);
5299             goto out;
5300         }
5301     }
5302
5303     if (base_filename) {
5304         if (set_option_parameter(param, BLOCK_OPT_BACKING_FILE,
5305                                  base_filename)) {
5306             error_setg(errp, "Backing file not supported for file format '%s'",
5307                        fmt);
5308             goto out;
5309         }
5310     }
5311
5312     if (base_fmt) {
5313         if (set_option_parameter(param, BLOCK_OPT_BACKING_FMT, base_fmt)) {
5314             error_setg(errp, "Backing file format not supported for file "
5315                              "format '%s'", fmt);
5316             goto out;
5317         }
5318     }
5319
5320     backing_file = get_option_parameter(param, BLOCK_OPT_BACKING_FILE);
5321     if (backing_file && backing_file->value.s) {
5322         if (!strcmp(filename, backing_file->value.s)) {
5323             error_setg(errp, "Error: Trying to create an image with the "
5324                              "same filename as the backing file");
5325             goto out;
5326         }
5327     }
5328
5329     backing_fmt = get_option_parameter(param, BLOCK_OPT_BACKING_FMT);
5330     if (backing_fmt && backing_fmt->value.s) {
5331         backing_drv = bdrv_find_format(backing_fmt->value.s);
5332         if (!backing_drv) {
5333             error_setg(errp, "Unknown backing file format '%s'",
5334                        backing_fmt->value.s);
5335             goto out;
5336         }
5337     }
5338
5339     // The size for the image must always be specified, with one exception:
5340     // If we are using a backing file, we can obtain the size from there
5341     size = get_option_parameter(param, BLOCK_OPT_SIZE);
5342     if (size && size->value.n == -1) {
5343         if (backing_file && backing_file->value.s) {
5344             BlockDriverState *bs;
5345             uint64_t size;
5346             char buf[32];
5347             int back_flags;
5348
5349             /* backing files always opened read-only */
5350             back_flags =
5351                 flags & ~(BDRV_O_RDWR | BDRV_O_SNAPSHOT | BDRV_O_NO_BACKING);
5352
5353             bs = bdrv_new("");
5354
5355             ret = bdrv_open(bs, backing_file->value.s, NULL, back_flags,
5356                             backing_drv, &local_err);
5357             if (ret < 0) {
5358                 error_setg_errno(errp, -ret, "Could not open '%s': %s",
5359                                  backing_file->value.s,
5360                                  error_get_pretty(local_err));
5361                 error_free(local_err);
5362                 local_err = NULL;
5363                 bdrv_unref(bs);
5364                 goto out;
5365             }
5366             bdrv_get_geometry(bs, &size);
5367             size *= 512;
5368
5369             snprintf(buf, sizeof(buf), "%" PRId64, size);
5370             set_option_parameter(param, BLOCK_OPT_SIZE, buf);
5371
5372             bdrv_unref(bs);
5373         } else {
5374             error_setg(errp, "Image creation needs a size parameter");
5375             goto out;
5376         }
5377     }
5378
5379     if (!quiet) {
5380         printf("Formatting '%s', fmt=%s ", filename, fmt);
5381         print_option_parameters(param);
5382         puts("");
5383     }
5384     ret = bdrv_create(drv, filename, param, &local_err);
5385     if (ret == -EFBIG) {
5386         /* This is generally a better message than whatever the driver would
5387          * deliver (especially because of the cluster_size_hint), since that
5388          * is most probably not much different from "image too large". */
5389         const char *cluster_size_hint = "";
5390         if (get_option_parameter(create_options, BLOCK_OPT_CLUSTER_SIZE)) {
5391             cluster_size_hint = " (try using a larger cluster size)";
5392         }
5393         error_setg(errp, "The image size is too large for file format '%s'"
5394                    "%s", fmt, cluster_size_hint);
5395         error_free(local_err);
5396         local_err = NULL;
5397     }
5398
5399 out:
5400     free_option_parameters(create_options);
5401     free_option_parameters(param);
5402
5403     if (error_is_set(&local_err)) {
5404         error_propagate(errp, local_err);
5405     }
5406 }
5407
5408 AioContext *bdrv_get_aio_context(BlockDriverState *bs)
5409 {
5410     /* Currently BlockDriverState always uses the main loop AioContext */
5411     return qemu_get_aio_context();
5412 }
5413
5414 void bdrv_add_before_write_notifier(BlockDriverState *bs,
5415                                     NotifierWithReturn *notifier)
5416 {
5417     notifier_with_return_list_add(&bs->before_write_notifiers, notifier);
5418 }
5419
5420 int bdrv_amend_options(BlockDriverState *bs, QEMUOptionParameter *options)
5421 {
5422     if (bs->drv->bdrv_amend_options == NULL) {
5423         return -ENOTSUP;
5424     }
5425     return bs->drv->bdrv_amend_options(bs, options);
5426 }
5427
5428 /* Used to recurse on single child block filters.
5429  * Single child block filter will store their child in bs->file.
5430  */
5431 bool bdrv_generic_is_first_non_filter(BlockDriverState *bs,
5432                                       BlockDriverState *candidate)
5433 {
5434     if (!bs->drv) {
5435         return false;
5436     }
5437
5438     if (!bs->drv->authorizations[BS_IS_A_FILTER]) {
5439         if (bs == candidate) {
5440             return true;
5441         } else {
5442             return false;
5443         }
5444     }
5445
5446     if (!bs->drv->authorizations[BS_FILTER_PASS_DOWN]) {
5447         return false;
5448     }
5449
5450     if (!bs->file) {
5451         return false;
5452     }
5453
5454     return bdrv_recurse_is_first_non_filter(bs->file, candidate);
5455 }
5456
5457 bool bdrv_recurse_is_first_non_filter(BlockDriverState *bs,
5458                                       BlockDriverState *candidate)
5459 {
5460     if (bs->drv && bs->drv->bdrv_recurse_is_first_non_filter) {
5461         return bs->drv->bdrv_recurse_is_first_non_filter(bs, candidate);
5462     }
5463
5464     return bdrv_generic_is_first_non_filter(bs, candidate);
5465 }
5466
5467 /* This function checks if the candidate is the first non filter bs down it's
5468  * bs chain. Since we don't have pointers to parents it explore all bs chains
5469  * from the top. Some filters can choose not to pass down the recursion.
5470  */
5471 bool bdrv_is_first_non_filter(BlockDriverState *candidate)
5472 {
5473     BlockDriverState *bs;
5474
5475     /* walk down the bs forest recursively */
5476     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
5477         bool perm;
5478
5479         if (!bs->file) {
5480             continue;
5481         }
5482
5483         perm = bdrv_recurse_is_first_non_filter(bs->file, candidate);
5484
5485         /* candidate is the first non filter */
5486         if (perm) {
5487             return true;
5488         }
5489     }
5490
5491     return false;
5492 }