存储引擎 MyISAM 不支持事务、只支持表锁设计，默认fulltext 全文索引 索引文件和数据文件分开存储，存储引擎表由MYD和MYI组成，MYD用来存放数据文件，MYI用来存放索引文件 是MySQL的默认存储引擎 它是在Web、数据仓储和其他应用......
Lookreco数据架构整理 一、源数据抽取 采用jdbc方式从神策抽取数据存放到hive 需要分析的事件 AddCart CollectionView PayOrderDetail PayOrder ProductView Search SubmitOrderDetail SubmitOrder 数据抽取过程 所有事件过程类似，以ProductView为例 直接执行任务 spark-submit --executor-cores 4 --executor-memory 4g --master yarn --deploy-mode cluster --driver-memory 4g --conf spark.sql.autoBroadcastJoinThreshold=33554432 --conf spark.core.connection.ack......
JVM三大核心部分：运行时数据区，类加载器和执行引擎。 执行顺序： 类加载器：解析 .class文件 转为虚拟机可以识别的二进制机器码 执行引擎：解析 字节码文件 使用执行引擎 驱动去加载机器码 运行时数......
# 开启定时任务 xml <task:executor id="asyncTask" pool-size="20" /> <task:annotation-driven executor="asyncTask" /> 注解 @EnableScheduling Demo 每隔 n 分钟执行一次 // 每隔5分钟执行一次 @Scheduled(cron = "0 0/5 * * * ?") 定点执行任务 // 每天3点、15点执行一次任务 @Scheduled(cron = "0 0 3,15......
overweight 超重 2.4077606 investment 投资 2.3305572 Generation 代 2.3756917 unemployed 失业 2.3750858 newspaper 报纸 2.2356268 involuntary 非自愿的 2.3667842 agricultural 农业的 2.3660215 immigration 移民 2.3633107 emotionally 情感上 2.3603616 immigrant 移民 2.2186755 officially 正式 2.3524406 identity 身份 2.132099 discrimination 歧视 2.3511983 representative 代表 2.3214329 hospitalization 住院治疗 2.3501396 communicating 沟通 2.3500997 classified 分类的 2......
rest client https://www.elastic.co/guide/en/elasticsearch/client/java-rest/6.5/_usage.html https://www.elastic.co/guide/en/elasticsearch/client/java-rest/6.5/java-rest-high-supported-apis.html es document https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html 创建新索引的技巧 重建索引 和创建普通索引一样创建新索引。这里值得一提的时，当数据量很大的时候，需要设置刷新时间间隔，在此期间写入的数据不能搜到，从而......
Springboot属性配置文件，环境区分 http://blog.didispace.com/springbootproperties
开源库： https://github.com/coobird/thumbnailator 版本依赖： dependencies { compile 'net.coobird:thumbnailator:0.4.8' } Java示例代码 public static byte[] resize(InputStream inputStream) throws IOException { ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); BufferedImage bufferedImage = ImageIO.read(inputStream); int width = bufferedImage.getWidth(); int height = bufferedImage.getHeight(); if (width > 200 && width < 1024 && height > 200 && height < 1024) { ImageIO.write(bufferedImage, "jpg", outputStream); return outputStream.toByteArray(); } if (width < 200) { width = 200; } if (width > 1024) { width = 1024; } if......
下载es-hadoop 下载 es-hadoop，解压会有多个jar包，我们只使用这个elasticsearch-hadoop-6.3.2.jar 创建hadoop和es关联表 打开hive控制台 -- 亲测这种无效 （原因待查） add jar /root/xuminghao/jars/elasticsearch-hadoop-6.4.3.jar; -- 创建表 -- 'es.nodes.wan.only'='true', 集群设置 CREATE EXTERNAL TABLE tmp.es_product1( product_id string, product_name string ) STORED BY 'org.elasticsearch.hadoop.hive......