elasticSearch学习安装

资料:
    1.Elasticsearch学习，请先看这一篇！
        https://blog.csdn.net/laoyang360/article/details/52244917
    2. linux下elasticsearch 安装、配置及示例
        https://blog.csdn.net/sinat_28224453/article/details/51134978
    3.Linux下Elasticsearch-2.4.1的安装与简单配置（单节点）
        https://blog.csdn.net/yx0628/article/details/53769224
    4.全文搜索引擎 Elasticsearch 入门教程
        http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html
    5.ELK_Elastic Search和kibana版本对应关系
        https://blog.csdn.net/feifantiyan/article/details/53098896

默认端口:
    ES:9200
    Kibana:5601
Elastic安装:
    windows:
        简单
    linux:
        #单机模式和分布式模式
        单机单节点:
            1.
                下载es版本为 2.4.1 版本,按资料3流程走,没问题,
            2.//因需求6.1.1升级版本
                报错: //内存之类太少,需要设置  参考:#https://blog.csdn.net/weini1111/article/details/60468068
                                                   //https://blog.csdn.net/u012371450/article/details/51776505
                                                   //https://www.jianshu.com/p/89f8099a6d09
                    max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
                    max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
                    system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

                    //修改limits.conf文件需要重新登录用户
                配置文件: //配置文件实际只有3条
                    bootstrap.memory_lock: false
                    bootstrap.system_call_filter: false
                    network.host: 0.0.0.0

kibana安装:
    linux:

python库的安装:
    requests: //一个爬虫库,比urllib2简单
        pip install requests
    dateutil: //在dateutil中，吸引我的东西有2个，1个是parser,1个是rrule。
        pip install python-dateutil    

学习:
    1.ES数据架构的主要概念（与关系数据库Mysql对比）
        资料1中 1.6
    2.
        根据规划，Elastic 6.x 版只允许每个 Index 包含一个 Type，7.x 版将会彻底移除 Type。

查询语句:  //参考: https://blog.csdn.net/pilihaotian/article/details/52452014
    状态:
    curl http://127.0.0.1:9200/_cat/health?v
    列出所有索引：
    curl 'localhost:9200/_cat/indices?v'
    查询     //不指定返回10条

    curl 'http://127.0.0.1:9200/coinmarket_coinnews_index_v1/coinmarket_coinnews_alias_v1/_search?q=*&pretty&size=50'

    curl -H "Content-Type: application/json" 'http://127.0.0.1:9200/coinmarket_coinnews_alias_v1/_search?pretty' -d '{
        "query": { "match": {  "source" : "coinpost" } }, "from":0, "size":50}'

    curl -H "Content-Type: application/json" 'http://127.0.0.1:9200/coinmarket_coinnews_alias_v1/_search?pretty' -d '{
     "query": {
      "match_all": {}
    },
    "from":0,
    "size":25
    }'

    删除
        curl -XDELETE 'localhost:9200/coinmarket_coinnews_index_v1?pretty' 

问题:
1.ELK是什么？
ELK=elasticsearch+Logstash+kibana
elasticsearch：后台分布式存储以及全文检索
logstash: 日志加工、“搬运工”
kibana：数据可视化展示。
ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互配合，取长补短，共同完成分布式大数据处理工作。

response.xpath('//div[@class="_1xnd"]').css('._4-u2 ._4-u8').xpath('p/text()')