《WebKit 技术内幕》学习之五（2）： HTML解释器和DOM 模型
2.HTML 解释器
2.1 解释过程
HTML 解释器的工作就是将网络或者本地磁盘获取的 HTML 网页和资源从字节流解释成 DOM 树结构。
这一过程中，WebKit 内部对网页内容在各个阶段的结构表示。 WebKit 中这一过程如下：首先是字节流，经过解码之后是字符流，然后通过词法分析器会被解释成词语（Tokens），之后经过语法分析器构建成节点，最后这些节点被组建成一棵 DOM 树。
WebKit为完成这一过程，引入比较复杂的基础设施类。
左边部分网页框结构，框对应于Frame类，而文档对应于HTMLDocument类，所以框包含文档、HTMLDocument类继承自Document类。也是遵循DOM标准的，因为Document有两个子类，另外一个是XMLDocument。这里没有描述内嵌的复杂框结构，但是足以说明网页基本结构内部表示。在实际应用中，网页内嵌框也会重复这样的动作。
右边部分是WebKit为建立网页框结构所建立的设施，先看FrameLoder类，它是框中内容的加载器，类似于资源和资源加载器。因为Frame对象中包含Document对象，所以WebKit同样需要DocumentLoader类帮助加载HTML文档并从字节流到构建的DOM树，DocumentWriter类是一个辅助类，它会创建DOM树的根节点HTMLDocument对象，同时该类包括两个成员变量，一个用于文档的字符解码类，另一个就是HTML解释器HTMLDocumentParser类。
HTMLDocumentParser类是一个管理类，包括了用于各种工作的其他类，如字符串到词语需要用到词法分析器HTMLTokenizer类。该管理类读入字符串，输出一个词语，这些词语经过XSSAuditor做完安全检查之后，就会输出到HTMLTreeBuilder类。
HTML Tree Builder类负责DOM树的建立，它本身能够通过词语创建一个个的节点对象，然后，借由HTMLConstructionSite类来将这些点对象构建成一颗树。
下图是WebKit收到网络回复的字节流的时候，从字节流到构建DOM树的时序图，详述了调用过程，但省略了一些次要调用。ResourceLoader类和CachedRawResource类收到网络栈的数据后，调用DocumentLoader类的commitData方法，然后DocumentWriter类会创建一个根节点HTMLDocument对象，然后将数据append输送到HTMLDocumentParser对象，后面就是将其解释成词语，创建节点对象然后建立以HTMLDocument为根的DOM树。
2.2 词法分析
在进行词法分析之前，解释器首先要做的事情就是检查该网页内容使用的编码格式，以便后面使用合适的解码器。如果解释器在 HTML 网页中找到了设置的编码格式， WebKit 会使用相应的解码器来将字节流转换成特定格式的字符串。如果没有特殊格式，词法分析器 HTMLTokenizer 类可以直接进行词法分析。
词法分析的工作都是由 HTMLTokenizer 来完成 ，简单来说，它就是一个状态机—输入的是字符串，输出的是一个个词语。因为字节流可能是分段的，所以输入的字符串可能也是分段的，但是这对词法分析器来说没有什么特别之处，它会自己维护内部的状态信息。
词法分析器的主要接口是 “nextToken” 函数，调用者只需要关键字符串传入，然后就会得到一个词语，并对传入的字符串设置相应的信息，表示当前处理完的位置，如此循环，如果词法分析器遇到错误，则报告状态错误码，主要逻辑在图中给予了描述。
对于 “nextToken” 函数的调用者而言，它首先设置输入需要解释的字符串，然后循环调用 NextToken 函数,直到处理结束。 “nextToken” 方法每次输出一个词语，同时会标记输入的字符串，表明哪些字符已经被处理过了。因此，每次词法分析器都会根据上次设置的内部状态和上次处理之后的字符串来生成一个新的词语。 “nextToken” 函数内部使用了超过 70 种状态，图中只显示了 3 种状态。对于每个不同的状态，都有相应的处理逻辑。
而对于词语的类别，WebKit只定义了很少，HTMLToken类定义了6种词语类别，包括DOCTYPE、StartTag、EndTag、Comment、Character和EndOfFile，这里不涉及HTML的标签类型等信息，那是后面语法分析的工作。
2.3 XSSAuditor 验证词语
当词语生成之后，WebKit 需要使用 XSSAuditor 来验证词语流（Token Stream）。XSS 指的是 Cross Site Security , 主要是针对安全方面的考虑。
根据 XSS 的安全机制，对于解析出来的这些词语，可能会阻碍某些内容的进一步执行，所以 XSSAuditor 类主要负责过滤这些被阻止的内容，只有通过的词语才会作后面的处理。
2.4 词语到节点
经过词法分析器解释之后的词语随之被 XSSAuditor 过滤并且在没有被阻止之后，将被 WebKit 用来构建 DOM 节点。从词语到构建节点的步骤是由 HTMLDocumentParser 类调用 HTMLTreeBuilder 类的 “constructTree” 函数来实现。该函数实际上是利用ProcessToken函数来处理6种词语类型。
2.5 节点到 DOM 树
从节点到构建 DOM 树，包括为树中的元素节点创建属性节点等工作由 HTMLConstructionSite 类来完成。正如前面介绍的，该类包含一个 DOM 树的根节点 ——HTMLDocument 对象，其他的元素节点都是它的后代。
因为 HTML 文档的 Tag 标签是有开始和结束标记的，所以构建这一过程可以使用栈结构来帮忙。HTMLConstructionSite 类中包含一个 “HTMLElementStack” 变量，它是一个保存元素节点的栈，其中的元素节点是当前有开始标记但是还没有结束标记的元素节点。想象一下 HTML 文档的特点，例如一个片段 “<body><div><img></img></div><.body>”，当解释到 img 元素的开始标记时，栈中的元素就是 body 、div 和 img ,当遇到 img 的结束标记时，img 退栈， img 是 div 元素的子女；当遇到 div 的结束标记时，div 退栈，表明 div 和它的子女都已处理完，以此类推。
根据DOM标准中的定义，节点有很多类型，如元素节点、属性节点等。同 DOM 标准一样，一切的基础都是 Node 类。在 WebKit 中， DOM 中的接口 Interface 对应于 C++ 的类，Node 类是其他类的基类，在下面的图中 显示了 DOM 的主要相关节点类。图中的 Node 类实际上继承自 EventTarget 类，它表明 Node 类能够接受事件，这个会在 DOM 事件处理中介绍。Node 类还继承自另外一个基类 ——ScriptWrappable，这个跟 JavaScript 引擎相关。
Node 的子类就是 DOM 中定义的同名接口，元素类，文档类和属性类均继承自一个抽象出来的 ContainerNode 类，表明它们能够包含其他的节点对象。回到 HTML 文档来说，元素和文档对应的类注是 HTMLElement 类和 HTMLDocument 类，实际上 HTML 规范还包含众多的 HTMLElement 子类，用于表示 HTML 语法中众多的标签。
2.6 网页基础设施
上面介绍了 Frame 、Document 等 WebKit 中的基础类，这些都是网页内部的概念，实际上，WebKit 提供了更高层次的设施，用于表示整个网页的一些类，WebKit 中的 接口部分 就是基于它们来提供的，表示网页的类既提供了构建 DOM 树等操作，同时也提供了接口用于布局。渲染等操作。
在上图中右边的部分还有一些WebKit表示网页的一些基础设施类，来描述WebKit是如何被该移植使用从而提供对外使用的接口，它们实际上是Chromium项目调用WebKit项目的接口。右边是WebKit中的WebCore提供的部分类，这些类都是公共的，也就是被不同的WebKit移植所共享。如Frame、Chrome（是个类）、ChromeClient和Page类。图中左边是WebKit的Chromium移植实现使用的接口类，其中RenderViewImpl来自Chromium项目，是Chromium使用WebKit的主要桥接类，用于Renderer进程。在WebKit的Chromium移植中，WebView和WebFrame是不得不提的两个类，它们是Chromium项目用于表示网页和网页框的接口类，另外两个类WebViewImpl和WebFrameImpl是这两个类的子类，它们负责使用Page、Frame等WebCore中类来支持两个对外类的接口。
图中右上角是Chrome（类）和ChromeClient类，这两个类很重要，它们使用一个WebKit普遍使用设计模式：
- Chrome类需要具备获取各个平台资源的能力，可以调用Chrome类来创建一个新窗口。
- Chrome类需要把WebKit的状态和进度等信息派发给外部的调用者或者说是WebKit的使用者。
WebKit内部同这两类需求相关的要求都是通过Chrome类的接口来完成的，WebKit使用ChromeClient抽象类ChromeClient抽象类来解决既让webKIt和外部调用者既不紧密耦合，又能方便地支持不同的平台 。Chrome类是一些公共的操作流程，而ChromeClient类是Chrome需要用到的一些接口，这些接口在不同的移植上必须有不同的实现。WebKit的Chromium移植中有ChromeClientImpl实现类。ChromeClient类可以有两类接口，第一类用来监听WebKit的内部状态信息，这其实是回调函数；第二类用来实现Chrome类所需要的跟移植相关的工作。
当Chrome类接收到网页的大小发生改变的消息时，它就会调用ChromeClient类的contentSizeChanged函数来通知Chromium浏览器。而当Chrome类需要创建一个窗口的时候，WebKit同样使用ChromeClient类来帮助创建，因为Chrome类本身没有能力创建与移植相关的这些信息。
综上所述Chrome类，它是一个非常重要的类，是WebKit与它的使用者之间的桥梁，主要负责用户界面和渲染相关的需求，实现这些需求会用到平台的接口，以上是它的这些功能。
- 跟用户界面和渲染显示相关的需要各个移植实现接口的结合类，
- 继承自HostWindow（宿主窗口）类，该类包含一系列接口，用来通知重绘或者更新整个窗口、滚动窗口等。
- 窗口相关操作，如显示、隐藏窗口等。
- 显示和隐藏窗口中的工具栏、状态栏、滚动条等。
- 显示JavaScript相关的窗口，如JavaScript的alert、confirm、prompt窗口。
2.7 线程化的解释器
在 Renderer 进程中有一个线程，该线程用来处理 HTML 文档的解释任务，在 HTML 解释器的步骤中，WebKit 的 Chromium 移植跟其他的 WebKit 移植也存在不同之处。
线程化的解释器就是利用单独的线程来解释 HTML 文档。因为在WebKit 中，网络资源的字节流自 IO 线程传递给渲染线程之后，后面的解释、布局和渲染等工作基本上就是工作在该线程，也就是渲染线程完成的（这不是绝对的）。因为 DOM 树只能在渲染线程上创建和访问，这也就是说构建 DOM 树的过程只能在渲染线程中进行。但是，从字符到词语这个阶段可以交给单独的线程来做，Chromium 浏览器使用的就是这个思想。
具体的实现过程：
字符串 （传给）=> HTMLDocumentParser类 （创建一个新的对象）=> BackgroundHTMLParser 来负责处理 （交给）=> 前一步创建的对象
WebKit 会检查是否需要创建用于解释字符串的线程 HTMLParserThread 。如果该线程已存在，WebKit 就将刚刚的任务传递给这一新线程， 下图描述了这一过程。
在 HTMLParserThread 线程中，WebKit 所做的事情包括将字符串解释成一个个词语，然后使用之前提到的 XSSAuditor 进行安全检查。这是在一个新的线程中执行。主要区别在于解释成词语之后，WebKit 会分批次地将结果词语传递给渲染线程。
2.8 JavaScript 的执行
在 HTML 解释器的工作过程中，可能会有 JavaScript 代码（全局作用域的代码）需要执行，它发生在将字符串解释成词语之后、创建各种节点的时候。这也是全局执行的 JavaScript 代码不能访问 DOM 树的原因——因为 DOM 树还没有被创建完。
WebKit将DOM树创建过程中需要执行的JavaScript代码交由HTMLScriptRunner类来负责。工作方式很简单，就是利用JavaScript引擎来执行Node节点中包含的代码。细节见HTML Script Runner::excuteParsingBlockingScript方法。
因为JavaScript代码可能会调用如“document.write()”来修改文档结构，所以JavaScript代码的执行会阻碍后面节点的创建，同时当然也会组在后面资源的下载，这时候WebKit对需要什么资源一无所知，这导致了资源不能够并发地下载这一严重影响性能的问题。下图示例一，JavaScript代码的执行阻碍了后面img图片的下载。当该Script节点使用src属性的时候，情况变得更差，因为WebKit还需要等待网络获取JavaScript文档，所以关于JavaScript的使用有以下两点建议。
1、将 “script” 元素加上 “async” 属性，表明这是一个可以异步执行的 JavaScript 代码。在HTMLScriptRunner类中就有相应的函数执行异步的JavaScript代码，图中示例二给出了使用方法。
2、 将 “script” 元素放在 “body” 元素的最后，这样它不会阻碍其他资源的并发下载。
但是不这样做的时候，WebKit 使用预扫描和预加载机制来实现资源的并发下载而不被 JavaScript 的执行所阻碍。
具体做法是：当遇到需要执行 JavaScript 代码的时候，WebKit 先暂停当前 JavaScript 代码的执行，使用预先扫描器 HTMLPreloadScanner 类来扫描后面的词语。如果 WebKit 发现它们需要使用其他资源，那么使用预资源加载器 HTMLPreloadScanner 类来发送请求，在这之后，才执行 JavaScript代码。预先扫描器本身并不创建节点对象，也不会构建 DOM 树，所以速度比较快。
当 DOM 树构建完之后，WebKit 触发 “DOMContentLoaded” 事件，注册在该事件上的 JavaScript 函数会被调用。当所在资源都被加载完之后，WebKit 触发 “onload” 事件。
2.9 实践：理解DOM树
实际查看网页的DOM树结构，具体的步骤如下：
（1）打开Chrome浏览器的开发者工具，点击console控制台按钮。
（2）在控制台中输入“document”，可以看到整个文档，而且有“#document”表示的根节点，这个是额外附加在上面的，表示的是HTMLDocumen。下图左边第一行显示的就是document节点。另外，还可以尝试输入”document.firstChild“,显然是html节点。接下来就是对DOM树的遍历，可以使用firstChild获得第一个子女，然后使用nextSibling来获得子女的兄弟。
（3）在控制台中输入”document“，会看到Chrome浏览器提供一个候选列表，该列表中列举了所有的Document对象的属性和方法，可以得到一个非常长的列表，这些方法和属性在JavaScript代码中都可以被访问或者调用、
相关文章：
《WebKit 技术内幕》学习之五（2）： HTML解释器和DOM 模型
2.HTML 解释器 2.1 解释过程 HTML 解释器的工作就是将网络或者本地磁盘获取的 HTML 网页和资源从字节流解释成 DOM 树结构。 这一过程中，WebKit 内部对网页内容在各个阶段的结构表示。 WebKit 中这一过程如下：首先是字节流，经过解码之…...
Redis实战之-分布式锁-redission
一、分布式锁-redission功能介绍 基于setnx实现的分布式锁存在下面的问题： 重入问题：重入问题是指 获得锁的线程可以再次进入到相同的锁的代码块中，可重入锁的意义在于防止死锁，比如HashTable这样的代码中，他的方法都…...
离线数据仓库-关于增量和全量
数据同步策略 数据仓库同步策略概述一、数据的全量同步二、数据的增量同步三、数据同步策略的选择 数据仓库同步策略概述 应用系统所产生的业务数据是数据仓库的重要数据来源，我们需要每日定时从业务数据库中抽取数据，传输到数据仓库中，之后…...
09 STM32 - PWM
9.1 PWM简介 脉冲宽度调制(Pulse Width Modulation,简称PWM)，是利用微处理器的数字输出来对模拟电路进行控制的一种非常有效的技术。简单一点，就是对脉冲宽度的控制。 9.2 PWM波原理 如下图所示，使用定时器定时，从0开始&#x…...
三勾点餐系统java+springboot+vue3，开源系统小程序点餐系统
项目简述 前台实现：用户浏览菜单、菜品分类筛选、查看菜品详情、菜品多属性、菜品加料、添加购物车、购物车结算、个人订单查询、门店自提、外卖配送、菜品打包等。 后台实现：菜品管理、订单管理、会员管理、系统管理、权限管理等。 项目介绍 三勾点…...
《WebKit 技术内幕》学习之五（1）： HTML解释器和DOM 模型
第五章 HTML 解释器和 DOM 模型 1.DOM 模型 1.1 DOM标准 DOM （Document Object Model）的全称是文档对象模型，它可以以一种独立于平台和语言的方式访问和修改一个文档的内容和结构。这里的文档可以是 HTML 文档、XML 文档或者 XHTML 文档。D…...
小程序学习-21
目前小程序分包大小有以下限制： 整个小程序所有分包大小不超过 20M单个分包/主包大小不能超过 2M 独立分包："independent": true...
Spring第七天(AOP)
简介 AOP(Aspect Oriented Programing)面向切面编程，一种编程范式，指导开发者如何组织程序结构 作用 在不惊动原始设计的基础上为其进行功能增强 Spring理念：无入侵式/无侵入式 基本概念 连接点(JoinPoint) : 程序执行过程中的任意位置&a…...
【0247】PG内核checkpoint实现机制分析（2）
文章目录 1. 前言2. checkpoint2.1 checkpoint工作机制2.2 项目实战3. 故障恢复（recovery）3.1 故障模拟3.2 规章恢复相关文章：...
单例模式分享
Java的单例模式详解与案例解析 单例模式是一种常见的设计模式，它确保一个类只有一个实例，并提供一个全局访问点。在Java中，实现单例模式有多种方式，我们将深入讨论其中的几种，并通过丰富的案例演示它们的用法。 1. 饿…...
Linux查找日志常用命令
tail tail命令常使用选项-f -f, --follow[{name|descriptor}]output appended data as the file grows;an absent option argument means descriptor例如： tail -1000f sys.log按回车键增加空白行，按Ctrl C 结束 vi / vim vi 文件名 如：…...
中国国际光伏展
中国国际光伏展是一个专注于光伏技术和行业的展览会。该展览会每年在中国举办，吸引了来自全球各地的光伏企业、专业人士和观众参加。 中国国际光伏展展览的主要内容包括光伏组件、光伏电池、光伏逆变器、光伏并网系统、光伏材料、光伏维护和管理等。展览会同时举办一…...
openai assistants api接入微信机器人，实现类GPTs功能
chatgpt网址:https://chat.xutongbao.top 比普通gpt多了代码解释器功能，和上传训练数据文件的功能，这两个功能就是GPTs拥有的，而普通gpt没有拥有的...
性能优化-OpenCL kernel 开发
「发表于知乎专栏《移动端算法优化》」 本文主要介绍OpenCL的 Kernel，包括代码的实例以及使用注意的详解。 🎬个人简介：一个全栈工程师的升级之路！ 📋个人专栏：高性能（HPC）开发基础教…...
systick定时器
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：…...
Unity学习-逐帧图集动画制作
首先在文件部分创建一个Sprite Library Asset 然后点击创建出来的文件 点下面的加号添加对应的图 添加完成之后点一下Apply 然后新建一个物体 添加这三个组件 其中SpriteLibrary里面 把你刚刚创建的图集文件拉过来 Sprite Resolver选择对应的动作和图片 然后开始制作动画 An…...
鸿蒙使用第三方SO库
一、示例： 使用第三方SO库以导入OpenCV和MNN的SO库为例 1、将MNN和Opencv的so文件(包括.407文件)，放入模块下libs目录对应的版本(arm64-v8a和armeabi-v7a) entry/libs/arm64-v8a/xxx.so2、配置模块目录下的build-profile.json5的buildOption字段&…...
宝塔FTP文件传输服务结合cpolar内网穿透实现远程连接本地服务
⛳️ 推荐 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 文章目录 ⛳️ 推荐1. Linux安装Cpolar2. 创建FTP公网地址3. 宝塔FTP服务设置4. FTP服务远程连接小结 5. 固定FTP公网地址6. 固…...
【ARMv8M Cortex-M33 系列 7.4 -- 如何使能 usagefault | memmange fault | bus fault 中断】
请阅读【嵌入式开发学习必备专栏 之 ARM Cortex-Mx专栏】 文章目录 背景异常使能配置 背景 由于文章【ARMv8M Cortex-M33 系列 7.2 – HardFault 问题定位 1】 中提到了HardFault 的发生是由于其它异常所升级导致的，所以就需要调查下如何是能其它异常中断。 异常使…...
Android Studio安卓开发--ListView学习整理
ListView允许用户通过手指上下滑动的方式将屏幕外的数据滚动到屏幕内，同时屏幕上原有的数据则会滚动出屏幕。 1.ListView的简单用法 （1）activity_main.xml布局中加入ListView控件：（先占满整个布局的空间）…...
hyperf 和 laravel、lumen防止xss攻击中间件封装
hyperf 防止xss攻击自定义中间件封装 <?phpdeclare(strict_types1);namespace App\Middleware;use Psr\Container\ContainerInterface; use Psr\Http\Message\ResponseInterface; use Psr\Http\Server\MiddlewareInterface; use Psr\Http\Message\ServerRequestInterface;…...
flask web 学习之用户认证与会话管理
文章目录 一、安装及初始化二、设置用户加载回调函数三、定义User类四、实现登陆操作五、自定义登陆过程六、使用请求加载器自定义登录七、匿名用户功能八、记住我功能 Flask-Login是一个用于处理用户认证和会话管理的Flask插件。它简化了在Flask应用程序中实现用户登录、登出以…...
更改wpf原始默认按钮的样式
样式 代码 <Window x:Class"WpfApp4.Window1"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://schemas.microsoft.com/expression/blend/2008…...
【协议】HTTP、HTTPS和HTTP2.0学习总结
1. TCP/IP四层协议 记得大学学网络课程的时候，学的都是OSI/RM七层协议，应用层 -> 表示层 -> 会话层 -> 传输层->网络层->数据链路层->物理层，当时学的时候，感觉太抽象了，学得个一知半解。大脑在接收…...
[数据结构]顺序表
1、顺序表的概念及结构 1.1 线性表 线性表（ linear list ）是n个具有相同特性的数据元素的有限序列。 线性表是⼀种在实际中广泛使用的数据结构，常见的线性表：顺序表、链表、栈、队列、字符串... 线性表在逻辑上是线性结构&#…...
北斗卫星为野外科考人员提供安全保障
北斗卫星为野外科考人员提供安全保障 自第二次青藏高原综合科学考察研究启动以来，青海不断提升科考服务保障能力，推动科考全程信息化，有效促进科考成果转化。 为保障科考人员的人身安全，青海省青藏科学考察服务中心开发了基于北…...
Linux的一些快捷键（hot keyboard）
Ctrl Alt t：打开bash（就是命令框窗口） Ctrl Alt F3~F6：打开tty终端（纯命令行终端，每个Linux发行版不相同，我的是Ubuntu20版） Alt F4：关闭当前窗口（Windo…...
Charles将证书安装到系统的方法(adb）
基本情况参考此帖：Charles 安卓抓包 unknown 和证书无效的解决方案（无需改代码）_client ssl handshake failed: an unknown issue occu-CSDN博客 此解决方案仅适用于已root设备默认已经在电脑上安装并配置了Charles，安卓手机也下载…...
git 常用指令 （先收藏再说）
Git Git是一种分布式版本控制系统，用于记录一个或若干个文件内容的变化，以便查阅和回溯。 它的工作原理可以概括为以下几点： 工作区（Workspace）：这是你在电脑上看到的目录，工作区是你用来修改文…...
2024问题汇总
2024问题汇总 Linux1.df-h / df -i 命令2.为多网卡Linux云服务器配置策略路由 Windows1.快速进入控制面板 网络连接指令 Linux 1.df-h / df -i 命令 df -h / df -i 都表示查看磁盘空间使用信息 如果遇到磁盘快满的情况，用这两个命令区别如下 df -h 是去删除比较大 …...