Merge branch 'udpate-string-tokenizer' into 'master'

Update string tokenizer to support sentences of words search

See merge request !1458

arkindex/documents/indexer.py

@@ -79,6 +79,15 @@ class Indexer(object):
         {
             'name': 'string',
             'class': 'solr.TextField',
+            'analyzer': {
+                'tokenizer': {'class': 'solr.ClassicTokenizerFactory'},
+                'filters': [{'class': 'solr.LowerCaseFilterFactory'}]
+            }
+        },
+        # Updated full_string analyzer to support facets with full text
+        {
+            'name': 'full_string',
+            'class': 'solr.TextField',
             'analyzer': {
                 'tokenizer': {'class': 'solr.KeywordTokenizerFactory'},
                 'filters': [{'class': 'solr.LowerCaseFilterFactory'}]
@@ -89,34 +98,34 @@ class Indexer(object):
         # Parent fields
         {'name': 'parent_id', 'indexed': False, 'required': True, 'type': 'uuid'},
         {'name': 'parent_name', 'indexed': False, 'required': True, 'type': 'string'},
-        {'name': 'parent_type', 'indexed': False, 'required': True, 'type': 'string'},
+        {'name': 'parent_type', 'indexed': False, 'required': True, 'type': 'full_string'},
         # Element fields
         {'name': 'element_id', 'indexed': False, 'required': True, 'type': 'uuid'},
         {'name': 'element_text', 'indexed': True, 'required': True, 'type': 'string'},
-        {'name': 'element_type', 'indexed': True, 'required': True, 'type': 'string'},
-        {'name': 'element_worker', 'indexed': True, 'required': False, 'type': 'string'},
-        {'name': 'element_image', 'indexed': False, 'required': False, 'type': 'string'},
+        {'name': 'element_type', 'indexed': True, 'required': True, 'type': 'full_string'},
+        {'name': 'element_worker', 'indexed': True, 'required': False, 'type': 'full_string'},
+        {'name': 'element_image', 'indexed': False, 'required': False, 'type': 'full_string'},
         # Transcription fields
         {'name': 'transcription_id', 'indexed': False, 'required': False, 'type': 'uuid'},
         {'name': 'transcription_text', 'indexed': True, 'required': False, 'type': 'string'},
         {'name': 'transcription_confidence', 'indexed': True, 'required': False, 'type': 'pfloat'},
-        {'name': 'transcription_worker', 'indexed': True, 'required': False, 'type': 'string'},
+        {'name': 'transcription_worker', 'indexed': True, 'required': False, 'type': 'full_string'},
         # Classification fields
         {'name': 'classification_id', 'indexed': False, 'required': False, 'type': 'uuid'},
-        {'name': 'classification_name', 'indexed': True, 'required': False, 'type': 'string'},
+        {'name': 'classification_name', 'indexed': True, 'required': False, 'type': 'full_string'},
         {'name': 'classification_confidence', 'indexed': True, 'required': False, 'type': 'pfloat'},
-        {'name': 'classification_worker', 'indexed': True, 'required': False, 'type': 'string'},
+        {'name': 'classification_worker', 'indexed': True, 'required': False, 'type': 'full_string'},
         # Metadata fields
         {'name': 'metadata_id', 'indexed': False, 'required': False, 'type': 'uuid'},
-        {'name': 'metadata_name', 'indexed': True, 'required': False, 'type': 'string'},
+        {'name': 'metadata_name', 'indexed': True, 'required': False, 'type': 'full_string'},
         {'name': 'metadata_text', 'indexed': True, 'required': False, 'type': 'string'},
-        {'name': 'metadata_type', 'indexed': True, 'required': False, 'type': 'string'},
-        {'name': 'metadata_worker', 'indexed': True, 'required': False, 'type': 'string'},
+        {'name': 'metadata_type', 'indexed': True, 'required': False, 'type': 'full_string'},
+        {'name': 'metadata_worker', 'indexed': True, 'required': False, 'type': 'full_string'},
         # Entity fields
         {'name': 'entity_id', 'indexed': False, 'required': False, 'type': 'uuid'},
         {'name': 'entity_text', 'indexed': True, 'required': False, 'type': 'string'},
-        {'name': 'entity_type', 'indexed': True, 'required': False, 'type': 'string'},
-        {'name': 'entity_worker', 'indexed': True, 'required': False, 'type': 'string'}
+        {'name': 'entity_type', 'indexed': True, 'required': False, 'type': 'full_string'},
+        {'name': 'entity_worker', 'indexed': True, 'required': False, 'type': 'full_string'}
     ]
 
     def __init__(self, corpus_id):