@@ -215,20 +215,24 @@ static void io_worker_release(struct io_worker *worker)
complete(&worker->ref_done);
}
-static inline struct io_wqe_acct *io_get_acct(struct io_wqe *wqe, bool bound)
+static inline struct io_wqe_acct *io_get_acct(struct io_wqe *wqe, bool bound,
+ bool fixed)
{
- return &wqe->acct[bound ? IO_WQ_ACCT_BOUND : IO_WQ_ACCT_UNBOUND];
+ unsigned index = bound ? IO_WQ_ACCT_BOUND : IO_WQ_ACCT_UNBOUND;
+
+ return fixed ? &wqe->fixed_acct[index] : &wqe->acct[index];
}
static inline struct io_wqe_acct *io_work_get_acct(struct io_wqe *wqe,
struct io_wq_work *work)
{
- return io_get_acct(wqe, !(work->flags & IO_WQ_WORK_UNBOUND));
+ return io_get_acct(wqe, !(work->flags & IO_WQ_WORK_UNBOUND), false);
}
static inline struct io_wqe_acct *io_wqe_get_acct(struct io_worker *worker)
{
- return io_get_acct(worker->wqe, worker->flags & IO_WORKER_F_BOUND);
+ return io_get_acct(worker->wqe, worker->flags & IO_WORKER_F_BOUND,
+ worker->flags & IO_WORKER_F_FIXED);
}
static void io_worker_ref_put(struct io_wq *wq)
@@ -1131,7 +1135,7 @@ static void io_wqe_cancel_pending_work(struct io_wqe *wqe,
int i;
retry:
for (i = 0; i < IO_WQ_ACCT_NR; i++) {
- struct io_wqe_acct *acct = io_get_acct(wqe, i == 0);
+ struct io_wqe_acct *acct = io_get_acct(wqe, i == 0, false);
if (io_acct_cancel_pending_work(wqe, acct, match)) {
if (match->cancel_all)