Fix calculation of table_size

I was confused about which table I was sizing.
This is the table of which there are several in the segusage  files.

Signed-off-by: NeilBrown <neilb@suse.de>

Minor formatting improvements.

Signed-off-by: NeilBrown <neilb@suse.de>

Fix bug in sort_block

It doesn't handle 2 blocks the same - which isn't a big deal, but it
is best to have the code 'right'

Signed-off-by: NeilBrown <neilb@suse.de>

Update filesys mtime

Do this when inode is dirtied.  Maybe this isn't the perfect time,
but it is fairly good for now.

Signed-off-by: NeilBrown <neilb@suse.de>

use i_mtime for file-set update time.

No need to have a separate field in the inode.

Signed-off-by: NeilBrown <neilb@suse.de>

Process orphan file during mount.

We need to read the orphan file to set nextfree, and then to
add all the blocks to the orphan list.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

roll-forward: update youth block for new segments.

Any new segments found during roll-forward need their youth value set.

Signed-off-by: NeilBrown <neilb@suse.de>

Update youth during seg_apply_all

If we added blocks to a segment is seg_apply_all, make sure the youth
has been updated properly.

Signed-off-by: NeilBrown <neilb@suse.de>

split out set_youth.

Setting of the youth value is now a separate function.

Signed-off-by: NeilBrown <neilb@suse.de>

Generalise segunused to seg_pop

And use seg_pop more broadly,
and re-arrange some code.

Signed-off-by: NeilBrown <neilb@suse.de>

Introduce DelayYouth

When writing out the accounting blocks we need to not update the youth
block if we happen to start a new segment.
We already do that at unmount time, so generalise it with a new flag.

Signed-Off-By: NeilBrown <neilb@suse.de>

Use segsum rather than separate dblock for youth in lafs_free_get

As segsum now always have a youthblk for ss==0, we don't need to
separately find a data block.

Signed-off-by: NeilBrown <neilb@suse.de>

segment.c: allow the else branch to just fall-through

The 'then' branch does a goto, so we don't need the else.
This patch is mostly just re-indenting.

Signed-off-by: NeilBrown <neilb@suse.de>

segments: swap then/else branches.

Swap 'then' and 'else' branches, inverting condition

Signed-off-by: NeilBrown <neilb@suse.de>

Factor out seg_add_new

We had multiple places that add entries to the segtracker.  Now we
only have one.

Signed-off-by: NeilBrown <neilb@suse.de>

add_block_address: be careful with physaddr == 0

An address of '0' is not consecutive with and address of '1' and while
it is very unlikely to ever be a problem, make sure we don't try to
combine those addresses into a range in the uninc table.

Also remove a comment about a possible problem that doesn't seem to be
a real problem.

Signed-off-by: NeilBrown <neilb@suse.de>

Simplify test in lafs_refile

If index block has non-zero pending_cnt, then it must be
dirty or realloc, so we can drop a test here.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_refile: lots of locking and refcount changes.

See the comments added to lafs.h for more detail.

There are really several changes and fixes in here but I don't think
it is worth the effort to separate them all out.

Signed-off-by: NeilBrown <neilb@suse.de>

re-indent lafs_file.

This patch is simply a re-indent.  No code change.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_refile:  group all functionality that requires refcnt==0

There are multiple silly (racy) tests on refcnt==dec.  Combine all
these tests into a single 'if' which is run only when the refcnt
reaches zero.

This patch just changes the code without fixing the indentation.  That
makes it easier to review.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_refile: factor out check for unpinnable data blocks.

Data blocks can be unpinned while refcounts are still present.

Factor that case out into a stand-alone test.

We still test for datablocks being unpinnable in the 'refcnt==0'
case as PinPending might have only just been cleared.

This leaves a large bulk of tests all of which depend on
refcnt reaching zero which can be improved in a subsequent patch.

Signed-off-by: NeilBrown <neilb@suse.de>

Small lafs_refile clean up

We don't need the 'onlru' variable any more.
And we shouldn't really delete data  blocks from the lru at that
point, as they could be on a cluster or io-pending list.
Index blocks are safe as their refcount is zero, so they can only
be on the leaf lru.

Signed-off-by: NeilBrown <neilb@suse.de>

Don't hold counted reference while on leafs list.

Doing so makes the refcount calculations in lafs_refile messy.

We don't drop a block while it is dirty etc anyway so there is no loss

Signed-off-by: NeilBrown <neilb@suse.de>

Hold reference while erasing blocks in lafs_invalidate_page

else we sometimes violate assertions about having non-zero refcount

Signed-off-by: NeilBrown <neilb@suse.de>

Take a ref on dblock whenever the InoIdx block has a ->parent link.

This will be needed to ensure the dblock stays referenced when we stop
holding a reference to blocks on the 'leafs' lists.

Signed-off-by: NeilBrown <neilb@suse.de>

getiref_locked fixes

The #defines were a bit wrong here, so it would not have compiled
properly without DEBUG_REF

Signed-off-by: NeilBrown <neilb@suse.de>

Change readpage to use ->chain instead of ->lru

->lru is rather overused, and ->chain is certainly never used on
non-B_Valid blocks, so convert readpage to use chain instead.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_refile - split out set_lru

setting the lru is not dependent on other changes so it can be move to
the top and outside the lock.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_refile: separate out consistency checking

lafs_refile is too big and clumsy.  Time to tidy up.

Signed-off-by: NeilBrown <neilb@suse.de>

README update and some comment fixes.

Still working through the TODO list.

Signed-off-by: NeilBrown <neilb@suse.de>

Make sure checkpoint happens after a timeout.

If anything has been written since last check point, ensure another
checkpoint happens within 30 seconds.

This is partly to ensure that index block don't remain dirty forever.

Signed-off-by: NeilBrown <neilb@suse.de>

tidy lafs_get_flushable a bit.

There is some code in the wrong place - probably a hang over from a
previous arrangement before we made lafs_is_leaf a function.
No function change here.

Signed-off-by: NeilBrown <neilb@suse.de>

Remove old comment

that issue is already resolved - commit f90959e6f492b6

Log symlink creation

We cannot include it in an update, so just make sure it goes in the
next write cluster.  This will be before an sync or fsync and
roll-forward should pick it up, so all is OK

Signed-off-by: NeilBrown <neilb@suse.de>

Remove lafs_space_use

it is identical to lafs_space_return, and no-one uses it
anyway.

Signed-off-by: NeilBrown <neilb@suse.de>

cluster_allocate - minor code rearrangement.

extract common code and general clean up

Signed-off-by: NeilBrown <neilb@suse.de>

Get SegRef on parent of phys==0 blocks.

We still need those parents to be segrefed!

Signed-off-by: NeilBrown <neilb@suse.de>

Remove pinning of iblock in place of dblock

We now allow both iblock and dblock to be pinned at the same time.
So when pinning the inode dblock, just do it and don't go bothering
the inode iblock.

Signed-off-by: NeilBrown <neilb@suse.de>

Refinements for triggering checkpoint when we are low on space.

This is getting messy but seems to work.

Not sure now on the difference between CleanerBlocks and
EmergencyPending.
I guess the one makes sure the cleaner does what it can and then
triggers a checkpoint.
The other prepares for EmergencyClean to be set after the next
checkpoint.

Signed-off-by: NeilBrown <neilb@suse.de>

Clean up error returns in lafs_reserve_block

We only want to consider EAGAIN if lafs_prealloc returns an error.
When other calls return an error, we want to pass exactly that error
back.

Signed-off-by: NeilBrown <neilb@suse.de>

Never set SegRef on an InoIdx block

An InoIdx block doesn't have a uptodate ->physaddr, that is only
updated in the data block.  So setting SegRef on it is pointless.

Instead, when we find an InoIdx block while setting SegRef, use the
data block instead.

Signed-off-by: NeilBrown <neilb@suse.de>

Wait for a checkpoint before returning ENOSPC

If we seem to run out of space, it is worth waiting for
a checkpoint as that might free up some space.  So add
an extra step to the sequence leading from 'no space' to 'ENOSPC'.

Signed-off-by: NeilBrown <neilb@suse.de>

clean.c - assorted tidy-ups

Change some magic constants into named constants, and
improves some comments.

Signed-off-by: NeilBrown <neilb@suse.de>

Check if dirblock can be orphan before making it one.

Only certain sorts of deletions can make a directory block
into and orphan - check them out before committing resources.

Signed-off-by: NeilBrown <neilb@suse.de>

flush orphans when renaming to empty directory just like rmdir

Signed-off-by: NeilBrown <neilb@suse.de>

Cleaner: add a memory barrier to ensure we see i_size promptly.

There is a possible race that we need a barrier to protect against.
I think... or hope.

Signed-off-by: NeilBrown <neilb@suse.de>

Cleaner: remove pointless signed compare.

bcnt can never be negative, so don't pretend.

Signed-off-by: NeilBrown <neilb@suse.de>

Allow cleaner to skip new filesystems.

If we can tell the a subset-filesystem is too new to
match what we find in the write-cluster, we can skip it
quickly.

Signed-off-by: NeilBrown <neilb@suse.de>

When cleaner finds a block beyond EOF, ignore whole descriptor.

All other blocks in descriptor must also be beyond EOF,
so ignore them all at once.

Signed-off-by: NeilBrown <neilb@suse.de>

Update trunc_gen whenever we truncate a file to zero.

That allows some minor optimisations in the cleaner to work.

Signed-off-by: NeilBrown <neilb@suse.de>

cleaner_parse: use truncate number to avoid looking at old inodes.

That is why we have the truncnumber in the cluster head after all.

Signed-off-by: NeilBrown <neilb@suse.de>

Allow cleaner_parse to request multiple inodes at once.

Currently cleaner_parse stops when it hits an inode that it cannot
load immediately.  This reduced the opportunities for parallelism.

Instream allow up to 16 -EAGAINs from inode lookups.
This requires that we mark headers for inodes which failed, and
always start again from the beginning of the cluster head.
We already reduce the bcnt to 0, so for inodes that can be
found, we won't lookup the blocks twice.

Signed-off-by: NeilBrown <neilb@suse.de>

Refactor try_clean

It is a very big function - change it to 3 moderate sized functions.

Signed-off-by: NeilBrown <neilb@suse.de>

Give to_clean.ss a meaningful name.

It is a flag set when we have a valid segment address.

Signed-off-by: NeilBrown <neilb@suse.de>

Keep track of 'seq' number in cleaner

When reading cluster-heads, track the seq number, both for validation
and, later, for optimisation.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

Clean up interaction between cleaner and checkpoint.

If a checkpoint is wanted, the cleaner shouldn't start any more work.
If the cleaner or segscan is active a checkpoint cannot start, but
when they complete they should wake the checkpoint process.

Signed-off-by: NeilBrown <neilb@suse.de>

Release stray B_Async blocks if we find them.

There could still be some stray index blocks...
maybe fix that later.

Signed-off-by: NeilBrown <neilb@suse.de>

Combine cleaning and orphan list_heads.

A datablock is very rarely both an orphan and requiring cleaning, so
having two list_heads is a waste.

If is an orphan it will have full parent linkage and addresses already
so it will be handled promptly and removed from the cleaning list.

So arrange that if a block wants to be both, it is preferentially on
the cleaning list, and when removed from the cleaning list is gets
added back to the pending_orphan list in case it needs processing.

Note that only directory and inode blocks can ever be orphans so some
optimisation of spinlocks is possible.

Signed-off-by: NeilBrown <neilb@suse.de>

Change when orphan blocks are refcounted.

Count when while B_Orphan is set, rather than while on a list.

This gives us some freedom to do different things with the list,
and ensures that we never lose the flag by the block disappearing.

Signed-off-by: NeilBrown <neilb@suse.de>

Use a new flag to identify blocks being processed by the cleaner.

This will help future patch which will unify cleaning and orphans
list_heads, and make is clear when a refcount is being help.

Signed-off-by: NeilBrown <neilb@suse.de>

Apply single-exit pattern in try_clean

This removes a lot of duplications

Signed-off-by: NeilBrown <neilb@suse.de>

Implement youth decay.

 - After a checkpoint, check if we are close enough to the end
   of youth space to need a decay.
 - when we record a new youth number, un-decay it if the block hasn't
   been decayed yet (and convert endian properly)
 - Change scan_seg to updates free_block/free_dev atomically in just
   one place, and do a block worth of decay at that point.
   As part of this, the youth block is only released at one place now.

Signed-off-by: NeilBrown <neilb@suse.de>

Use the right value of creation_age of subsets.

It should be cluster seq number.  This never wraps and
is used to compare against write cluster to trim searches of new
filesets early.

Signed-off-by: NeilBrown <neilb@suse.de>

Ensure lafs_orphan_release doesn't block too much

Make sure orphan->i_mutex isn't held for long
periods, and ensure that orphan_abort doesn't block in
erase_dblock.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

Tune checkpoint freq by segments, not blocks.

If nothing else does, we should force a checkpoint
every few segments rather than every so-many blocks.

Signed-off-by: NeilBrown <neilb@suse.de>

Separate thread management from the cleaning.

The thread does a lot more than just 'clean' so don't call it the
'cleaner' any more - just the 'thread' or 'lafsd'.

Signed-off-by: NeilBrown <neilb@suse.de>

roll: don't update index if block address hasn't changed.

This is quite possible if the block was pushed out in the previous
phase, and could save some work

Signed-off-by: NeilBrown <neilb@suse.de>

Create a backing_dev_info for a lafs filesystem.

As a lafs filesystem can span multiple devices, we need our own
bdi to handle congestion notification and unplugging.

Signed-off-by: NeilBrown <neilb@suse.de>

Give subset objects their own operations

And make sure they 'stat' like the sort of directory
that can be used to create them.

Signed-off-by: NeilBrown <neilb@suse.de>

Add missing set_anon_super for subset mounts

oops - missed that.

Signed-off-by: NeilBrown <neilb@suse.de>

Add test code for subset mounts.

Signed-off-by: NeilBrown <neilb@suse.de>

Maybe add a bug-on in dirty_dblock

I think we want this bug_on, but it doesn't quite work
yet - leave it as a reminder of '15ca/' in README

Signed-off-by: NeilBrown <neilb@suse.de>

Better handling of changing a Directory into an InodeFile

- actually change the type !!!
- make sure the on-disk block gets a proper index update.

Note that the checkpointing before creating things in the FS is
important for this to be correct.

Signed-off-by: NeilBrown <neilb@suse.de>

Various fixes for lafs_get_subset

- make sure root directory is created if it doesn't exist
- also create inode usage map.
- hold a ref on the inode while the fs is mounted.
- free the sb_key at unmount.
- set s_bdi from the prime_sb

lafs_get_subset: balance locks properly

We drop the mutex outside the 'if' so we must take it outside
the 'if' too - which is safer as well.

Signed-off-by: NeilBrown <neilb@suse.de>

Fix lafs_put_super for subset mounts.

- we still need a checkpoint - though not a final one - to ensure
  that all dirty blocks from the fileset are written.

- We it isn't the root for a snapshot, we don't want to put
  to root inode - the root inode will be in the main filesystem,
  not in this one.

Signed-off-by: NeilBrown <neilb@suse.de>

Improve lafs_iget_fs

Allow getting inodes in other filesystem.

This isn't quite perfect yet though.

Signed-off-by: NeilBrown <neilb@suse.de>

Set PinPending in flush_data_to_inode.

Should always have this set when we pin a block.
It keeps the block pinned until it is dirtied.
As lafs_pin_block does a refile at the end, it can drop the Pinned
state as soon as it is set.

Signed-off-by: NeilBrown <neilb@suse.de>

iget_my_inode - fix for case of ino == NULL

igrab doesn't handle NULL inodes, so we must.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_write_end: set new file size correctly.

We were setting the size to the start of the write, not the end!!

Signed-off-by: NeilBrown <neilb@suse.de>

Discard filesys field from lafs_inode

i_sb can be used just as well.

Signed-off-by: NeilBrown <neilb@suse.de>

Change filesys arg of lafs_new_inode to struct super_block

It is more direct in most cases to use a super_block rather
than a filesys inode.

Signed-off-by: NeilBrown <neilb@suse.de>

Make lafs_new_inode work when given an explicit inode number.

In this case imni->mb isn't set, so we have to cope with that.

Signed-off-by: NeilBrown <neilb@suse.de>

Choose_free_inum: never return number below 16

They are for internal use.

Also fix a missing B_PinPending setting.

Signed-off-by: NeilBrown <neilb@suse.de>

Add 'filesys' arg to lafs_new_inode

This allows it to be called with dir == NULL - when creating an inode
that isn't in a directory.

Signed-off-by: NeilBrown <neilb@suse.de>

Make dir arg to lafs_new_inode optional.

After all, some inodes will be created without a directory (root and
other special inodes).

Make inodbp optional too.

Signed-off-by: NeilBrown <neilb@suse.de>

Revise handling of filesystem inconsistency: nlink == 0

Our handling wasn't really correct, and made the less-safe
assumption.
So change it to simply increment the linkcount.

Signed-off-by: NeilBrown <neilb@suse.de>

checkpoint must wait for both dblock and iblock of root to change phase.

Only waiting for iblock isn't enough - dblock might still be in the
old phase, which gets rather confusing.

Signed-off-by: NeilBrown <neilb@suse.de>

Unpin data blocks from previous phase before allowing them to be dirty.

While checkpointing will unpin PinPending blocks, it might not
manage to do it before the block gets Dirtied again.
So before we Pin the block - which is a required precursor to dirtying
them, unpin the block.

Signed-off-by: NeilBrown <neilb@suse.de>

Be more careful about waking cleaner in cluster_end_io.

If done was set as well as wake, we didn't wake the cleaner
so *FlushNeeded wouldn't necessarily be effective.

Signed-off-by: NeilBrown <neilb@suse.de>

Don't release an orphan just because an inode cannot be found.

This is over-reacting.  We could be between last_iput and setting
I_Delete for example, so orphan_release would be premature and wrong.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

Use async erase_block in inode orphan handling

otherwise we could deadlock.

Signed-off-by: NeilBrown <neilb@suse.de>

Add tracing for when we actually wait for writeback.

This helps track deadlock bugs, just like the similar code
in lafs_iolock_block.

Signed-off-by: NeilBrown <neilb@suse.de>

rcu locking protection for ->my_inode

We use rcu to free inodes, and use rcu locking to protect
access to ->my_inode.

Part of this required that once I_Deleting is set it stays set,
so remove the pointless clearing of it.

Signed-off-by: NeilBrown <neilb@suse.de>

Use lafs_iget_fs rather than multiple get_blocks in orphan lookup.

When compacting the orphan table so so changing the orphan
slot for a block, use lafs_iget_fs to help find the orphan block.
This avoids allocating blocks if the inodes exist (which they
should).

Signed-off-by: NeilBrown <neilb@suse.de>

hold ref to inode for directory orphans.

When we directory block is an orphan, make sure we hold
a reference on the inode so it cannot disappear on us.

Signed-off-by: NeilBrown <neilb@suse.de>