-
SVD分解初步
数据降维问题大数据的变量(维数)较多,产生了巨大的分析与计算复杂度。而这些变量之间是存在关联的。人们希望通过克服相关性、重叠性,用较少的变量来代替原来较多的变量,这就是一种降维的思想。考虑以下矩阵:\[\begin{bmatrix} a\\\\ b\\\\ c\\\\\end{bmatrix}=\begin{bmatrix} 1 & 2 & 1\\\\ -2 & -3 & 1\\\\ ...…
-
操作系统的进程
进程的基本信息进程的概念进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动,是操作系统进行资源分派和调度的独立单位。进程的组成一个进程由以下的五元组定义: OS负责管理的进程数据结构P 程序的内存代码C 程序的内存数据D 程序的通用寄存器信息R 程序状态字PSW当同时打开两份相同的程序时,这两份程序具有相同的C,但其他四个元素不同,所以是不同的进程进程的状态概念状态 运行态:程序占有处理器运行 就绪态:具备运行条件,等待处理器运行 等待态:由于等待资源、输入输出...…
-
操作系统的中断
中断与异常中断有广义和狭义的中断。广义的中断是操作系统遇到需要处理的中断事件时,中断当前程序的执行,处理相应的中断处理程序,处理完毕后再处理被中断的程序。狭义中断来源于处理器外的中断,即与当前指令无关的中断事件,例如IO、时钟等事件。这种中断也认为是异步中断,因为它会异步执行操作系统提供的中断回调函数,在中断发生后执行权转为操作系统,由OS的中断装置处理。异步中断不会对原程序的执行产生可见的影响,对被中断程序是透明的。异常是当前指令引起的中断事件,如地址异常(如页缺失)、算术异常、处理器硬...…
-
云数据中心
云数据中心架构物理机器->虚拟机->资源管理和分配->用户、代理商管理的主要工作 服务请求监控 定价和计费 虚拟机监控器和分配器IaaS DaaS PaaS SaaS IaaS:计算、存储、网络设备 DaaS:状态数据库 PaaS:监控器、启动器、分配器、设备虚拟化 SaaS:用户接口云数据中心特征:高设备利用率 通过虚拟化技术(服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化)将云平台系统与数据中心硬件资源整合,减少物理服务器数量 优化资源利用率、简化...…
-
Springboot中Cache相关注解
在开发中,数据库与缓存是十分常见的概念。而其中,Redis常常作为缓存。为什么使用Redis作为缓存相比于大部分将数据保存在硬盘的数据库,Redis的存取都是在内存中完成的(也有和硬盘的交互,但其次数少),对内存的存取速度往往比硬盘高几个数量级。同时,Redis的KV存储结构也适合缓存的快速搜索。基于这些原因,Redis成为了开发中常用的缓存数据库。Springboot中集成Redis缓存Springboot中提供了快速集成Redis的方法。引入依赖: <depende...…
-
类防火墙算法
类防火墙是一个类级别的测试依赖分析算法。其思想是利用类关系计算类变更时其他受影响的类。类型间关系图对于给定的程序$P$,其类型间关系图IRG为三元组$<N,E_I,E_U>$,其中$N$为节点的集合,节点表示一种类型。$E_I$为类型间表示继承关系的有向边集,$E_U$表示类型间使用关系的有向边集。基于IRG,类防火墙为可以通过边直接或间接到达变更类型的类型集合。对于一组给定的变更类型$\tau \in N$,利用依赖关系$D=(E_I \cup E_U)^{-1}$的传递闭包...…
-
测试用例优先级度量
在获得测试用例优先级排序后,我们还需要进行度量。度量主要从性能、开销进行度量APFD指标:平均故障检测百分比。可以给出测试用例执行过程中检测到缺陷的平均累计比例。取值为0-100%之间,越高则检测缺陷越快。给定程序包含m个故障$F={f_1,f_2,…,f_m}$和n个测试用例,$T^{‘}$为$T$的一个优先级排列。$TF_i$为$T^{‘}$中第一个检测到故障$f_i$的测试用例下标,则其APFD值为:\(APFD=1-\frac{TF_1+TF_2+...+TF_m}{n*m}+\f...…
-
链接分析
很多时候我们面对的是十分“稀疏”的数据——图数据。图数据处理在网页权重排序、社交检测、灌水检测等方面发挥重要作用。新型数据——图数据图数据在各种地方存在。例如社交网络(著名的六度分割理论,在Facebook社交图谱上只需四度多)、媒体网络(政治博客的关联)、信息网络(科技领域的交错关联、网络拓扑)、技术网络(七桥问题)。将Web表示为图Web表示为有向图: 节点:网页 边:超链接网页组织与检索方式一:网页索引(人工编辑)Yahoo、DMOZ、LookSmart等早期网页的方法,效率低方...…
-
模糊测试(一)
起源与发展模糊测试起源于Barton P. Miller的一次经验:在一次雷雨交加的通话中,雷电导致了一些通信的字符变成了乱码,而这些乱码竟导致了程序的崩溃。于是他就提出了模糊测试。他的技术构想是: 核心组件:一组用于产生随机字符的程序 中心思想:以随机字符串作为输入,运行操作系统组件,观察是否崩溃 最终结果:保留能够产生崩溃的字符串输入,分析崩溃类型,对崩溃进行分类概念与框架模糊测试最初的构想中包含三个要素:一个(套)工具——模糊器、一个目标——待测程序、一个循环——执行程序–崩溃...…
-
嵌入式设备的IO(一)
串行通信字符分别传输重要的参数:波特率、每字符的位数、校验位(奇/偶校验)、停止bit长度分类方式从属关系系统设备:OS启动时已注册的设备 如NOR、NAND闪存、触摸面板等 OS中有驱动与管理程序 用户只需调用OS提供的API用户设备:OS启动时未注册的设备 驱动程序由用户提供 包括U盘、SD卡等使用专用设备:单一进程使用的设备,被一个进程独占、互斥共享设备:可被多个进程同时寻址的设备。可被随机寻址,可用提高每个设备的利用率虚拟设备:通过虚拟技术将一台独占设备虚拟成多台逻辑设备...…
-
IR与三地址码
编译器与静态分析源代码被编译为机器码的过程: 通过Scanner进行词法分析,得到一系列Tokens 通过Parser进行语法分析,得到抽象语法树AST 通过Type Checker进行语义分析,得到增强AST 通过转换器变成中间表示IR 通过静态分析器进行静态分析,得到优化过的IR 通过代码生成器生成机器码AST与IRAST的特点: 层次更高、更靠近语法结构 与语言有关 适合类型检查 缺少控制流信息IR的特点: 层次更低、更靠近机器代码 一般与语言无关 较为精简...…
-
测试用例优先级策略
在测试成本过高时,需要通过测试用例优先级策略对测试用例进行排序,以保证最大化的测试效果。 测试用例优先级(TCP)选择策略包括: 基于贪心的TCP策略 基于相似性的TCP策略 基于搜索的TCP策略 基于机器学习的TCP策略基于贪心的TCP策略全局贪心算法 每轮优先挑选覆盖最多代码单元的测试用例 多个用例相同则随机选择 额外贪心算法 每轮优先挑选覆盖最多,且未被已选择用例覆盖代码单元的测试用例 所有代码单元均已被覆盖则重置优先级排序过程 ...…
-
查询优化
查询优化1.引言当我们学习SQL时,我们提供了一个有用的模型来解释查询是如何被执行的。首先,我们通过From子句得到了所有的行,然后我们通过Where子句过滤掉那些不需要的行,然后等等。这种模型可以保证我们能得到正确的查询结果,但它并不是数据库实际执行的过程。数据库可以改变这些操作的顺序来达到更好的性能。在这门课(CS186)中,我们通过I/O的次数来衡量一个操作的性能。查询优化主要关注的便是找到最小化需要I/O次数的查询计划。查询计划是指能够得到正确查询结果的操作序列,我们会用关系代数来...…