SQLite WAL 机制探索

什么是WAL机制

SQLite 的 WAL（Write-Ahead Logging）机制是一种高效的事务日志机制，用于将修改操作写入一个独立的 .sqlite-wal 文件中，而不是直接写入主数据库文件 .sqlite 文件中。这种机制可以提高写入性能，同时保证数据一致性和完整性。

在 WAL 机制下，当一个事务开始时，SQLite 会将所有的修改操作写入一个独立的写入日志文件中（也就是 .sqlite-wal 文件），并且同时将这些修改操作应用到一个临时内存数据库中。当事务提交时，SQLite 会将写入日志文件中的所有修改操作同步到主数据库文件 .sqlite 中，使得主数据库文件中的数据与事务提交后的状态一致。

在 WAL 机制下，读取操作可以同时读取主数据库文件和写入日志文件中的数据，从而提高读取性能。同时，多个事务可以并发地进行修改操作，从而提高写入性能。这种机制的实现依赖于 SQLite 的 MVCC（Multi-Version Concurrency Control）机制，它可以保证并发事务的一致性和隔离性，避免了多个事务之间的冲突和死锁。

需要注意的是，如果在一个事务提交之前，程序崩溃或被强制终止，那么写入日志文件中的修改操作可能只部分应用到主数据库文件中，导致主数据库文件中的数据不完整。因此，如果使用了 WAL 机制，就需要定期地将写入日志文件中的修改操作同步到主数据库文件中，以避免数据丢失。

WAL机制的特性

WAL 机制还有以下特点

1. WAL 机制可以减少磁盘 I/O 操作。在传统的数据库事务日志机制中，写入日志文件和主数据库文件的操作是串行执行的，这意味着每个事务需要至少执行两次磁盘 I/O 操作。而在 WAL 机制下，写入日志文件和主数据库文件的操作是并行执行的，这样可以大大减少磁盘 I/O 操作次数，提高写入性能。
2. WAL 机制可以支持更高的并发访问。在传统的数据库事务日志机制中，写入日志文件和主数据库文件的操作都需要独占磁盘资源，这样就会对并发访问性能造成影响。而在 WAL 机制下，写入日志文件和主数据库文件的操作是并行执行的，可以支持更高的并发访问。
3. WAL 机制可以减少锁竞争。在传统的数据库事务日志机制中，为了保证多个事务之间的一致性和隔离性，需要使用各种锁机制，这会增加锁竞争，降低并发性能。而在 WAL 机制下，多个事务可以并发地进行修改操作，避免了锁竞争问题。

需要注意的是，WAL 机制也有一些限制。比如，WAL 机制对于大型数据库来说，可能会占用较大的磁盘空间。此外，在某些场景下，WAL 机制可能会降低查询性能，因为读取操作需要同时读取主数据库文件和写入日志文件中的数据。

总之，WAL 机制是 SQLite 中一种高效的事务日志机制，可以提高读写性能和保证数据一致性，同时还可以支持更高的并发访问和减少锁竞争。

WAL机制流程

以下是 WAL 机制的工作流程图：

                   ------------- 
                  |    Client   |
                   ------ ------ 
                         |
                         |
                         |
           --------------v---------------- 
          |              |                |
 --------- ----------    |    ------------ ---------- 
|  Begin Transaction  |   |   |  Write-Ahead Log Buffer |
 --------- ----------    |    ------------ ---------- 
          |              |                |
          |              |                |
          |              |                |
          |              v                |
          |        ------ ------          |
          |       |             |         |
           ------->  Main DB   <--------- 
                  |             |
                   ------ ------ 
                         |
                         |
                         |
 ------------------------v------------------------ 
|                        |                        |
|         WAL File       |         Main DB         |
|                        |                        |
|  ------------------    |    ------------------  |
| |  Page 1 Changes  |   |   |   Original Page   | |
|  ------------------    |    ------------------  |
| |  Page 2 Changes  |   |   |   Original Page   | |
|  ------------------    |    ------------------  |
| |  Page 3 Changes  |   |   |   Original Page   | |
|  ------------------    |    ------------------  |
| |  ...             |   |   |  ...             | |
|  ------------------    |    ------------------  |
| |  Page n Changes  |   |   |   Original Page   | |
|  ------------------    |    ------------------  |
|                        |                        |
 -------------------------------------------------- 

WAL 的工作流程大致如下：

1. 客户端发起事务操作时，数据库启动 WAL 机制，并在内存中开辟一个 WAL 缓冲区，用于保存所有未提交的事务的修改操作。
2. 客户端对数据库进行修改时，先将修改操作写入 WAL 缓冲区中，等待事务提交后再将修改操作写入到主数据库文件中。
3. 当事务提交时，WAL 缓冲区中的修改操作会被写入到 WAL 文件中，同时也会将修改操作应用到主数据库文件中。
4. 当查询一个数据页时，数据库会首先检查 WAL 文件中是否存在该页的修改记录，如果存在，则需要将最近的修改应用到该页中。
5. 当系统发生异常情况时，可以通过重放 WAL 日志文件来还原数据，保证数据一致性。

WAL机制的优缺点

WAL（Write-Ahead Logging）机制是一种数据库事务日志机制，相比于传统的日志机制，WAL 机制具有以下优缺点：

优点：

1. 提高写入性能：在传统的数据库事务日志机制中，每个事务需要至少执行两次磁盘 I/O 操作，即写入日志文件和主数据库文件的操作。而在 WAL 机制下，写入日志文件和主数据库文件的操作是并行执行的，这样可以大大减少磁盘 I/O 操作次数，提高写入性能。
2. 提高并发访问能力：WAL 机制可以支持更高的并发访问，因为写入日志文件和主数据库文件的操作是并行执行的，可以避免磁盘资源独占和锁竞争问题。
3. 减少锁竞争：在传统的数据库事务日志机制中，为了保证多个事务之间的一致性和隔离性，需要使用各种锁机制，这会增加锁竞争，降低并发性能。而在 WAL 机制下，多个事务可以并发地进行修改操作，避免了锁竞争问题。
4. 保证数据一致性：WAL 机制在写入日志文件之前，会先将修改的数据写入内存中的缓冲区，当写入到磁盘后，就保证了数据一致性，即使在写入过程中发生系统崩溃或断电等异常情况，也可以通过重放 WAL 日志文件来还原数据。

缺点：

1. 占用磁盘空间：WAL 机制需要维护一个磁盘上的 WAL 文件，该文件需要不断地写入、读取和维护，因此可能占用较大的磁盘空间。
2. 需要额外的磁盘 I/O 操作：WAL 机制需要将修改的数据同时写入 WAL 文件和主数据库文件，因此相比传统的日志机制，WAL 机制需要更多的磁盘 I/O 操作。
3. 可能影响查询性能：WAL 机制在查询一个数据页时，需要首先检查 WAL 文件中是否存在该页的修改记录，如果存在，则需要将最近的修改应用到该页中，这会增加查询的时间和系统开销。
4. 可能增加内存开销：WAL 机制需要在内存中维护一个 WAL 缓冲区，用于保存所有未提交的事务的修改操作，这会增加内存开销。

如何将WAL文件中的Log日志存储到Sqlite文件中

WAL 文件中的数据可以通过 SQLite 提供的命令行工具 sqlite3 或者其他可视化工具来更新到 .sqlite 文件中。下面是一个基本的命令行示例：

1. 将 .sqlite 文件和 .sqlite-wal 文件放在同一目录下，然后打开命令行窗口。

2. 进入该目录，执行如下命令，以便让 SQLite 识别 WAL 文件：

   sqlite3 <your-database>.sqlite
   PRAGMA journal_mode = TRUNCATE;
   PRAGMA wal_checkpoint(TRUNCATE);
   .exit
   

   这个命令用于设置数据库的日志模式为 TRUNCATE，并将 WAL 日志文件中的数据应用到主数据库文件中。.exit 命令用于退出 sqlite3。

3. 执行完上述命令后，.sqlite 文件已经被更新，其中包含了 WAL 文件中的所有数据。

注意⚠️：

在应用 WAL 日志文件时，应确保数据文件和日志文件的兼容性，即它们的 schema（数据结构）必须相同，否则应用 WAL 日志文件可能会出现错误。同时，也应该备份数据文件和日志文件，以便出现错误时能够恢复数据。

SQLite WAL模式下的写数据库

在 SQLite 数据库中，WAL (Write-Ahead Logging) 模式可以提高写入操作的性能和并发能力。在 WAL 模式下，所有的写入操作都被记录到 WAL 文件中，而数据库文件则只用来保存最终的结果。当 WAL 文件变得太大时，SQLite 会将其合并到数据库文件中。

以下是在 WAL 模式下的写入操作流程：

1. 当一个写操作被发起时，它首先会被写入到 WAL 文件中，而不是直接写入到数据库文件中。这个操作是原子的，因此 WAL 文件中的所有记录都是有序的。
2. 在 WAL 文件中，写入操作的顺序是先进先出的。也就是说，先发起的写入操作会被先写入到 WAL 文件中，后发起的写入操作会被后写入到 WAL 文件中。
3. WAL 文件中的写入操作会定期地被合并到数据库文件中。这个过程通常由一个专门的线程来完成。当 WAL 文件变得太大时，SQLite 会启动合并过程，并将 WAL 文件中的所有写入操作应用到数据库文件中。在这个过程中，数据库文件是被锁定的，其他的读写操作需要等待合并过程完成后才能继续执行。
4. 如果合并过程被中断，比如系统崩溃或者断电，那么下一次打开数据库时，SQLite 会自动将 WAL 文件中的所有未合并的写入操作应用到数据库文件中。这个过程通常是自动完成的，用户不需要进行任何额外的操作。

在 WAL 模式下，所有的写入操作都是被记录到 WAL 文件中的。这样可以提高写入操作的性能和并发能力，但是同时也会增加文件的数量和大小。如果在使用 SQLite 数据库时需要提高写入操作的性能和并发能力，可以考虑使用 WAL 模式。

SQLite WAL模式下读数据

在 WAL 模式下，所有的写入操作都被记录到 WAL 文件中，而数据库文件则只用来保存最终的结果。这样，在 WAL 模式下进行读取操作时，就不需要对数据库文件进行加锁了，因此可以提高并发能力。

以下是在 WAL 模式下的读取操作流程：

1. 当一个读取操作被发起时，它会首先查看 WAL 文件中是否有需要的数据。如果 WAL 文件中存在需要的数据，那么读取操作就可以直接从 WAL 文件中获取到结果，而不需要对数据库文件进行读取操作。
2. 如果 WAL 文件中不存在需要的数据，那么读取操作就需要对数据库文件进行读取操作了。这个读取操作是独立的，不会对 WAL 文件进行任何操作。
3. WAL 文件和数据库文件是独立的，它们之间并没有直接的关联。因此，WAL 文件中的数据和数据库文件中的数据可能会存在一定的差异。如果应用程序需要获取到最新的数据，可以通过读取数据库文件来获取最新的结果。

在 WAL 模式下，读取操作可以直接从 WAL 文件中获取数据，这样可以提高读取操作的性能和并发能力。但是同时也需要注意 WAL 文件中的数据和数据库文件中的数据可能会存在差异，因此在应用程序中需要适当地处理这种情况。

SQLite WAL模式下同时读写

在 SQLite 数据库的 WAL 模式下，同时进行读和写操作时，读取操作和写入操作的流程如下：

1. 当一个写入操作被发起时，它会首先写入到 WAL 文件中，然后再更新数据库文件。在此期间，如果有读取操作发起，那么读取操作会继续读取 WAL 文件中的数据。
2. 在写入操作完成后，如果 WAL 文件的大小超过了预设的阈值，那么 SQLite 就会将 WAL 文件中的数据同步到数据库文件中。这个同步过程称为“checkpoint”。
3. 在 checkpoint 过程中，WAL 文件中的所有数据都会被同步到数据库文件中。如果有读取操作发起，那么读取操作也会从数据库文件中获取最新的数据。
4. checkpoint 过程完成后，WAL 文件会被清空，以便于继续记录新的写入操作。
5. 在 checkpoint 过程中，由于 WAL 文件中的所有数据都会被同步到数据库文件中，因此可能会对读取操作的性能产生一定的影响。如果应用程序需要尽可能地保证读取操作的性能，可以考虑增加 WAL 文件的大小限制，这样就可以减少 checkpoint 的频率，从而提高读取操作的性能。

在 WAL 模式下同时进行读写操作时，写入操作会首先写入到 WAL 文件中，然后再更新数据库文件。当 WAL 文件的大小超过预设的阈值时，会进行 checkpoint 过程，将 WAL 文件中的所有数据同步到数据库文件中。这个过程可能会对读取操作的性能产生一定的影响，但可以通过增加 WAL 文件的大小限制来减少 checkpoint 的频率，从而提高读取操作的性能。

什么是CheckPoint

Checkpoint 是 SQLite 数据库中一个重要的机制，它用于将 WAL（Write-Ahead Logging）文件中的数据同步到数据库文件中。在 SQLite 数据库的 WAL 模式下，所有的写入操作都会首先写入到 WAL 文件中，然后再更新数据库文件。因此，在 WAL 模式下，WAL 文件中的数据和数据库文件中的数据是不一致的。Checkpoint 机制的作用就是将 WAL 文件中的数据同步到数据库文件中，以保证数据的一致性。

Checkpoint 机制的具体实现方式是：

• 当 WAL 文件中的数据达到一定的大小或时间阈值时，SQLite 就会启动一个 checkpoint 过程。
• 在 checkpoint 过程中，SQLite 会将 WAL 文件中的数据同步到数据库文件中，并将 WAL 文件重置为一个空文件。
• 在 checkpoint 过程中，SQLite 会使用一种称为“Checkpointer”的内部线程来执行同步操作。
• Checkpointer 线程会持续地将 WAL 文件中的数据同步到数据库文件中，直到 WAL 文件中的所有数据都被同步完成。

SQLite 默认的 checkpoint 阈值是在 WAL 文件大小达到 1000 页（每页大小默认为 4096 字节）时触发。这个值可以通过 PRAGMA wal_autocheckpoint 命令进行设置，例如：

PRAGMA wal_autocheckpoint = 5000;

上面的命令将 checkpoint 阈值设置为 5000 页。

Checkpoint 机制对 SQLite 数据库的性能有一定的影响。如果 WAL 文件的大小设置得过小，就会导致频繁地启动 checkpoint 过程，从而影响数据库的性能。因此，在实际应用中，需要根据实际情况来调整 WAL 文件的大小，以及 checkpoint 的触发条件，以达到最佳的性能和稳定性。

Checkpoint机制触发时机

在 SQLite 中，会在以下几种情况下触发 checkpoint：

1. WAL 文件大小超过阈值。在 WAL 模式下，当 WAL 文件的大小超过一定的阈值时，SQLite 会自动触发一个 checkpoint。这个阈值可以通过 PRAGMA 命令进行设置。
2. 手动执行 PRAGMA wal_checkpoint 命令。可以通过手动执行 PRAGMA wal_checkpoint命令来触发一个 checkpoint。
3. 关闭数据库连接时。当关闭数据库连接时，如果 WAL 文件中还有未提交的事务，则 SQLite 会自动触发一个 checkpoint。
4. 在共享缓存模式下，当最后一个连接关闭时。在共享缓存模式下，如果所有连接都关闭了，SQLite 会自动触发一个 checkpoint。

需要注意的是，触发 checkpoint 会导致数据库的写入操作被阻塞，直到 checkpoint 完成。因此，在实际应用中，需要根据具体的场景来决定 checkpoint 的触发时机和阈值，以达到最佳的性能和稳定性。

WAL机制下SQlite数据库的进行并发控制

SQLite 数据库的并发控制主要依靠两个机制：读写锁和版本控制。

在 WAL 模式下，读操作和写操作是可以同时进行的，因为读操作只需要获取共享锁，而写操作则需要获取排他锁。SQLite 使用读写锁（ReadWrite Lock）来实现并发控制，读写锁可以允许多个读操作同时进行，但是只能有一个写操作进行。

另外，WAL 模式下的版本控制机制，可以确保每个事务的读操作始终读取到同一版本的数据。SQLite 使用版本号来标识每个事务对应的版本，写操作会在 WAL 文件中创建一个新的版本，而读操作则始终读取 WAL 文件中的最新版本。当一个事务要提交时，SQLite 会把它所对应的版本号写入到 WAL 文件中，以告知读操作应该读取的是哪个版本的数据。

SQLite中并发控制的锁

SQLite 中的并发控制采用了读写锁（ReadWrite Lock）的机制。读写锁是一种特殊的锁，可以允许多个读操作同时进行，但是只允许一个写操作进行。SQLite 采用的读写锁是互斥锁（Mutex）。

SQLite 中的读写锁包括以下几种类型：

1. 共享锁（Shared Lock）：可以让多个事务同时持有共享锁，用于读操作。当一个事务获得了共享锁之后，其他事务可以继续获取共享锁，但是不能获取排他锁。共享锁和排他锁是互斥的。
2. 排他锁（Exclusive Lock）：只能让一个事务持有，用于写操作。当一个事务获得了排他锁之后，其他事务不能获取共享锁和排他锁。排他锁和共享锁是互斥的。
3. 自动增量锁（Auto-vacuum Lock）：在自动增量模式下使用，用于在事务结束时防止自动增量的线程（auto-vacuum thread）读取和修改数据库的内容。
4. RESERVED锁：在SQLite的内部使用，不暴露给应用程序。
5. PENDING锁：在SQLite的内部使用，不暴露给应用程序。
6. EXCLUSIVE_SCHEMA锁：用于数据库的模式修改，一次只能有一个模式修改事务持有。

SQLite 会根据事务的类型和访问模式自动获取适当的锁类型。SQLite 的读写锁机制可以有效地控制并发访问数据库的行为，同时也保证了数据的完整性和一致性。

参考资料：

https://www.cnblogs.com/frydsh/archive/2013/04/13/3018666.html
https://juejin.cn/post/7182817252012621881#heading-6

这篇好文章是转载于：学新通技术网