Python将json文件写入ES数据库的方法

Elasticsearch环境搭建与Head插件配置

首先，需要在本地环境中安装Elasticsearch数据库软件。

注意：在执行上述步骤前，必须确保计算机已正确安装Java SE运行环境，这是Elasticsearch运行的基础依赖。

下载并解压elasticsearch-6.5.2版本文件。进入解压后的/elasticsearch-6.5.2/bin目录，双击运行elasticsearch.bat启动服务。随后打开浏览器，访问http://localhost:9200，若页面返回包含版本信息的JSON数据，则表明Elasticsearch安装成功。

为了更直观地查看和管理ES数据，建议安装Head插件（也可选择使用Kibana作为替代管理工具）。

Head插件依赖于Node.js环境，首先需从官网https://nodejs.org/en/下载并安装Nodejs。

接着下载elasticsearch-head-master压缩包，将其解压至/elasticsearch-6.5.2/目录下（百度网盘链接: https://pan.baidu.com/s/1q3kokFhpuJ2Q3otPgu7ldg）。

解压时请注意使用提取码: 1rpp。

修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml，根据实际需求调整相关参数配置。

进入elasticsearch-head-master目录，依次执行npm install -g grunt-cli和npm install命令，以安装必要的依赖包。

在elasticsearch-head-master目录下找到Gruntfile.js文件，修改其中的服务器监听地址配置，以匹配本地运行环境。

配置完成后，执行grunt server命令即可启动Head服务。

启动成功后，在浏览器中访问http://localhost:9100/即可进入Head管理页面，查看集群状态及索引信息。

Python脚本实现JSON数据写入ES

完成ES环境搭建后，接下来通过Python脚本将JSON文件数据写入ES数据库。具体Python实现代码见下文。

# -*- coding: UTF-8 -*-
from itertools import islice
import json , sys
from elasticsearch import Elasticsearch , helpers
import threading
_index = 'indextest' #修改为索引名
_type = 'string'  #修改为类型名
es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器
reload(sys)
sys.setdefaultencoding('utf-8')
es = Elasticsearch(es_url)
es.indices.create(index=_index, ignore=400)
chunk_len = 10
num = 0
def bulk_es(chunk_data):
 bulks=[]
 try:
  for i in xrange(chunk_len):
   bulks.append({
     "_index": _index,
     "_type": _type,
     "_source": chunk_data[i]
    })
  helpers.bulk(es, bulks)
 except:
  pass
with open(sys.argv[1]) as f:
 while True:
  lines = list(islice(f, chunk_len))
  num =num +chunk_len
  sys.stdout.write('\r' + 'num:'+'%d' % num)
  sys.stdout.flush()
  bulk_es(lines)
  if not lines:
   print "\n"
   print "task has finished"
   break

总结

以上步骤介绍了利用Python将JSON文件写入Elasticsearch数据库的完整流程。希望本文能对大家有所帮助，如有疑问欢迎留言，小编会及时回复。感谢支持本站。

若觉得本文对您有帮助，欢迎转载，请注明出处，谢谢！