中国科学技术大学：《信息检索与数据挖掘》课程教学资源（课件讲稿）第4章 索引构建与索引压缩 4.1 索引构建

信息检索与数据挖掘 2019/3/7 12 硬件基础：计算机/O能力可能还有很大空间 Intel'Core2 Duo Processor Display support for 8.5 GB/s HDML UDL DID.MEC.ADD2 Intel'Graphics Media Accelerator X3000 Intel'Clear Video Technology G965 12.8 GMCH DDR2 PCI Express GB/s x16 Graphics GB/s DDR2 2 GB/s DMI 10 Hi-Speed USB 2.0 Ports: 60 Intel'High Dual EHCI:USB disable MB/s Definition Audio Intel'Quiet System 6 PCI Express'x1 500 G965 Technology MB/s ICH8 each x1 6 Serial ATA Ports Gb/s each Intel'Matrix Storage Intel"GbE LAN LPC or SPl Technology BIOS/Firmware .Optional 若硬盘Cache16MB? 若16个硬盘的光通道阵列，顺序排列数据块？

信息检索与数据挖掘 2019/3/7 12 硬件基础：计算机I/O能力可能还有很大空间 若硬盘Cache 16MB？ 若16个硬盘的光通道阵列，顺序排列数据块？ 12

信息检索与数据挖掘 2019/3/7 13 硬件基础：计算机的I/O能力 Intel Skylake Microarchitecture 32K L1 Instruction BPU Cache MSROM Decoded Icache Legacy Decode (DSB) Pipeline 4 uops/cyde 6 uops/cyde 5 uops/cyde Instruction Decode Queue(IDQ,,or micro-op queue) Allocate/Rename/Retire/MoveElimination/Zeroldiom Scheduler 256K L2 Cache Port 2 (Unified) Port0 Port1 Port5 Port 6 LD/STA Int ALU, Int ALU, Int ALU, Vec FMA, Fast LEA, Fast LEA, Int ALU, Port3 Vec MUL, Vec FMA, Vec SHUF, Int Shft, LD/STA Vec Add, Vec MUL, Vec ALU, Branch1, Vec ALU, Vec Add, CVT Port4 32K L1 Data Cache Vec Shft, Vec ALU, Divide, Vec Shft, STD Branch2 Int MUL, Slow LEA Port 7 IntelR 64 and IA-32 Architectures Optimization Reference Manual,Sep 2015 STA http://www.intel.com/content/www/us/en/architecture-and-technology/64-ia-32-architectures-optimization-manual.html

信息检索与数据挖掘 2019/3/7 13 硬件基础：计算机的I/O能力 Intel Skylake Microarchitecture Intel® 64 and IA-32 Architectures Optimization Reference Manual, Sep 2015 13 http://www.intel.com/content/www/us/en/architecture-and-technology/64-ia-32-architectures-optimization-manual.html

信息检索与数据挖掘 2019/3/714 硬件基础：计算机的计算能力(2015.10) MIPS:Millions of instructions per second 。1978年Intel8086,0.33MIPS@5MHz 。1989年Intel i486DX,8.7MIPS@25MHz PC Multimedia PC ·2015年Intel i76700k,24182MIPS@4GHz FLOPS:FLOating-point operations per second 。1989年Intel i486DX,50000 FLOPS 2015Intel i7 6700k(HD Graphics 530,441.6G FLOPS) iPhone6(PowerVR GX6650,115.2GFLOPS@300MHz) 手机 价格￥ GPU FLOPS 小米4 1500 Adreno 330 129.6G 魅蓝2 800 Mali T720 81.6G P8 3500 Mali-T628 76.8G 14

信息检索与数据挖掘 2019/3/7 14 硬件基础：计算机的计算能力(2015.10) • MIPS: Millions of instructions per second • 1978年Intel 8086，0.33 MIPS@5MHz • 1989年Intel i486DX，8.7 MIPS@25MHz • 2015年Intel i7 6700k，24182 MIPS@4GHz • FLOPS: FLOating-point operations per second • 1989年Intel i486DX，50000 FLOPS • 2015年Intel i7 6700k(HD Graphics 530，441.6G FLOPS) • iPhone6 (PowerVR GX6650，115.2GFLOPS@300MHz) 14 手机 价格￥ GPU FLOPS 小米4 1500 Adreno 330 129.6G 魅蓝2 800 Mali T720 81.6G P8 3500 Mali-T628 76.8G

信息检索与数据挖掘 2019/3/715 小结：硬件基础 ·任何时代硬件的能力有上限 ·存储（硬磁盘/SSD、内存） ·计算(CPU架构、主频) ·I/O(磁盘←→内存←→CPU) ·R算法对存储、计算、/O的需求？ ·在存储、计算、/O受限条件下的算法 15

信息检索与数据挖掘 2019/3/7 15 小结：硬件基础 • 任何时代硬件的能力有上限 • 存储（硬磁盘/SSD、内存） • 计算（CPU架构、主频） • I/O（磁盘内存 CPU） • IR算法对存储、计算、I/O的需求？ • 在存储、计算、I/O受限条件下的算法 15

信息检索与数据挖掘 2019/3/716 索引构建 ·硬件基础 ·语料库介绍 ·索引构建算法 ·分布式索引构建 ·动态索引 16

信息检索与数据挖掘 2019/3/7 16 索引构建 • 硬件基础 • 语料库介绍 • 索引构建算法 • 分布式索引构建 • 动态索引 16