maxrocray
- 浏览: 90393 次
- 性别:
- 来自: 长沙
-
最新评论
-
maxrocray：
两种方式： 1. 配置indexmapping. 这样可以为每 ...
Elasticsearch 10版本插件安装 -
rmn190：
请问下， 用mongo river导数据时， 中文分词成功没？ ...
Elasticsearch 10版本插件安装
文章列表
阿里云安装java8
安装JDK
yum list java*
yum install -y java-1.8.0-openjdk*
java -version
配置环境变量
打开 vim /etc/profile 添加一下内容
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64 1:1.8.0.191.b12-0.el7_5
export PATH=$PATH:$JAVA_HOME/bin
修改完成之后，使其生效
source /etc/profile
安装GIT
yum install -y git
git --vers ...
Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供 ...
CentOS安装Git服务器 Centos 6.4 + Git 1.8.2.2 + gitosis (实测 笔记)
1.显示服务器版本cat /etc/redhat-release#CentOS release 6.4 (Final)ipconfig#服务器IP192.168.1.225 域名www.domain.com SSH端口8200(默认为22)2.安装gityum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel perl-devel#下载git-1.8.2.2.tar.gz ...
msgpack， 传说比protocolbuffer快4倍，比json快10倍的序列化lib.
有空用下。
官网：http://msgpack.org/
git ：https://github.com/msgpack
提高索引性能和速度从几下方面着手：
1. 增大索引实时时间设置：index.engine.robin.refresh_interval :10s (默认为1s)
2. 增大内存缓冲区： indices.memory.index_buffer_size:20% (默认为heap大小的10%)
3. 增加translog方面的设置： index.translog.flush_threshold:10000 (默认为5000）
4. 增加分配给ES的内存， 默认为1g.
5. 减小replaca. 索引时可设置为0. 完成索引后再设置成想要的。
6. 增加机器数。
7 ...
本文介绍ES的数据迁移方案：
由于ES更新速度比较快，很大程度上， 我们需要更新版本、插件、甚至更新分词器， 单纯的upgrade很有可能不能满足业务需求， 更坏的情况下， 可能需要重建索引。本文从Java API 的角度来介绍ES的数据迁移（或数据重新索引）。基于以下逻辑实现，个人已测试过2亿数据的迁移，可以放心使用。
1. 获取clientl连接。本文选择transportClient。
public class ClientUtil
{
static Settings defaultSettings = ImmutableSettings.settin ...
Lucene在做大量term值查询时， 如果这值过多， 超1024个term的话， 会出现
TooManyClauses[maxClauseCount is set to 1024] 的异常，因此建议在term过多的情况下采用filter, 而不是query。
以下是该情形在ES中的测试。
Settings defaultSettings = ImmutableSettings.settingsBuilder().put("client.transport.sniff", true).build();
Settings finalSettings ...
Tomcat内存溢出的三种类型：
1.OutOfMemoryError: Java heap space --堆溢出
2.OutOfMemoryError: PermGen space --永久保存区域溢出
3.OutOfMemoryError: unable to create new native thread --无法创建新的线程（不是在JVM中创建，实际上是在
操作系统中创建）。
解决办法：
1. 设置 Xms 和 Xmx , 一般设置成一样比较好。如：set JAVA_OPTS= -Xms1024m -Xmx1024
解决方法：
1./etc/pam.d/login 添加
/lib/security/pam_limits.so
2. /etc/security/limits.conf 添加
* – nofile 1006154
3.重启机器。
解决步骤如下：
1.输入*#*#6961#*#*开启一些隐藏的设置2.进入 “设置”->“辅助功能”->“应用程序”->“全部”，找到"Flyme桌面"，点“清除数据”
ES默认的分词器为standard， 想要改变这个， 可以设置成自定义的analyzer.
例，想要改变成配置好的ik分词器， 在config/elasticsearch.yml文件中添加如下配置即可：
index.analysis.analyzer.default.type:ik
前提当然是你已经安装了ik分词。
1. 下载drools.
http://www.jboss.org/drools/downloads
2.安装eclipse plugin.
在线安装地址：http://download.jboss.org/drools/release/5.5.0.Final/org.drools.updatesite/
3.配置drools runtime.
Eclipse-->Preferences->Drools->Installed Drools Runtimes下新建， 指定下载的drools binaries目录即可。
如： Drools\dro ...
插件作用： 用于做搜索提示，如搜索 ’中‘ 时， 提示’中国‘，’中华‘，’中央‘等以’中‘开头的词。
安装： plugin -url https://github.com/downloads/spinscale/elasticsearch-suggest-plugin/elasticsearch-suggest-0.0.4-0.19.0.zip -install suggest
安装时，需要注意ES版本与插件版本的一致性。
编程示例：
//通过索引字段field及索引index中获取size个以keyword开头的提示单词。
public List<St ...
git 插件：http://download.eclipse.org/egit/updates
svn 插件：
http://subclipse.tigris.org/update_1.6.x
maven 插件： http://m2eclipse.sonatype.org/sites/m2e http://download.eclipse.org/technology/m2e/releases
Mongodb插件：http://www.jumperz.net/update/
testNG: http://beust.com/eclipse
so ...
解决方案有下：
1.设置cache大小和过期时间。
index.cache.field.max_size
index.cache.field.expire
例如设置：
index.cache.field.max_size: 50000 //index中每个segment中可包含的最大的entries数目
index.cache.field.expire: 10m //过期时间为10分钟
2.改变cache类型。
index.cache.field.type: soft
默认类型为resident， 字面意思是常驻（居民）， 一直增加，直到内 ...