Loading
AVS CLI tool
Overview
This page describes how admins can use the asvec CLI tool to view node details, perform queries, manage indexes, and manage users.
Installation
The asvec tool is distributed through GitHub. Use the following the steps to download and install asvec:
- Navigate to the asvec releases page.
- Download the latest release package for your specific operating system.
- Install the downloaded package according to your operating system.
Configuration
You can configure asvec in two ways:
- Edit the
asvecconfiguration file. - Set
asvecenvironment variables in a shell.
Using the configuration file
You can configure asvec by editing its configuration file /etc/aerospike/asvec.yml, which is created during installation. If the configuration file is in a non-default location, you can specify its location using the --config-file flag.
The configuration file supports multiple clusters, identified by their cluster name. To specify a cluster name for asvec, use the --cluster-name flag. If no cluster name is provided, the default cluster name is used.
Example configuration file:
default:
# Host address of the Aerospike server.
# Uncomment and configure the 'host' field as needed.
host: 127.0.0.1:5000 # Use host when using a load-balancer
# seeds: 1.1.1.1:5000,2.2.2.2:5000 # Use seeds when not using a load-balancer
# Credentials for authenticating with the Aerospike server.
# Format: username:password
credentials: admin:admin
# TLS Configuration (optional)
# Uncomment and provide the paths to the respective TLS files if secure communication is required.
tls-hostname-override: server-name # The server name used for TLS verification. Overrides the hostname used during TLS handshake if it differs from the actual server hostname.
tls-cafile: ./ca.crt # Path to the CA certificate file.
tls-certfile: ./cert.crt # Path to the client certificate file. (mtls)
tls-keyfile: ./key.key # Path to the client key file. (mtls)
# Additional cluster configuration example:
cluster-2:
host: 192.168.0.1:5000
credentials: user:pass
tls-cafile: ./other/ca.crt
tls-certfile: ./other/cert.crt
tls-keyfile: ./other/key.key
Setting environment variables
You can connect asvec to your AVS cluster by setting your host and authentication details in environment variables, as shown in the following:
export ASVEC_HOST=<AVS_HOST_IP>:5000 ASVEC_CREDS=<username>[:<password>]
caution
The default asvec user is admin with a default password of admin.
Update the default password after installing to ensure secure access.
View nodes
You can use asvec to monitor your cluster's connectivity.
When connecting to a load-balancer using --host:
asvec node ls --host <avs-lb>
╭─────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Nodes │
├───┬──────┬───────┬─────────────────┬─────────────────────┬─────────┬────────────────────────────────────┤
│ │ NODE │ ROLES │ ENDPOINT │ CLUSTER ID │ VERSION │ VISIBLE NODES │
├───┼──────┼───────┼─────────────────┼─────────────────────┼─────────┼────────────────────────────────────┤
│ 1 │ LB │ N/A │ 127.0.0.1:10000 │ 7975277036330396396 │ 1.0.0 │ { │
│ │ │ │ │ │ │ 1103823447824: [1.1.1.1:10000] │
│ │ │ │ │ │ │ 2207646885648: [2.2.2.2:10000] │
│ │ │ │ │ │ │ 3311470323472: [3.3.3.3:10000] │
│ │ │ │ │ │ │ } │
╰───┴──────┴───────┴─────────────────┴─────────────────────┴─────────┴────────────────────────────────────╯
When connecting to a cluster using --seeds:
asvec node ls --seeds <avs-seed>
╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Nodes │
├───┬─────────────────┬────────────────────────────┬─────────────────┬──────────────────────┬─────────┬────────────────────────────────────────┤
│ │ NODE │ ROLES │ ENDPOINT │ CLUSTER ID │ VERSION │ VISIBLE NODES │
├───┼─────────────────┼────────────────────────────┼─────────────────┼──────────────────────┼─────────┼────────────────────────────────────────┤
│ 1 │ 139637976803088 │ [INDEX_QUERY] │ 127.0.0.1:10000 │ 14666869397921859532 │ 1.0.0 │ { │
│ │ │ │ │ │ │ 139637976803089: [127.0.0.1:10001] │
│ │ │ │ │ │ │ 139637976803090: [127.0.0.1:10002] │
│ │ │ │ │ │ │ } │
├───┼─────────────────┼────────────────────────────┼─────────────────┤ ├─────────┼────────────────────────────────────────┤
│ 2 │ 139637976803089 │ [INDEX_QUERY INDEX_UPDATE] │ 127.0.0.1:10001 │ │ 1.0.0 │ { │
│ │ │ │ │ │ │ 139637976803088: [127.0.0.1:10000] │
│ │ │ │ │ │ │ 139637976803090: [127.0.0.1:10002] │
│ │ │ │ │ │ │ } │
├───┼─────────────────┼────────────────────────────┼─────────────────┤ ├─────────┼────────────────────────────────────────┤
│ 3 │ 139637976803090 │ [INDEX_QUERY INDEX_UPDATE] │ 127.0.0.1:10002 │ │ 1.0.0 │ { │
│ │ │ │ │ │ │ 139637976803088: [127.0.0.1:10000] │
│ │ │ │ │ │ │ 139637976803089: [127.0.0.1:10001] │
│ │ │ │ │ │ │ } │
╰───┴─────────────────┴────────────────────────────┴─────────────────┴──────────────────────┴─────────┴────────────────────────────────────────╯
The NODE column shows the ID of the node where the request was sent.
When --host is used, this column only shows LB.
If --seeds is used, this column displays all the nodes in the cluster and the Node Roles are included.
If Seed is displayed, it indicates that asvec was unable to connect to the advertised-listener reported by your seeds.
tip
By default, our Kubernetes deployment guide deploys two query nodes and one indexing node. See the configuration guide for specific configuration settings.
danger
The node role string values required for the AVS service configuration do not match the values returned in the asvec CLI tool.
The configuration uses lowercase strings, while asvec returns uppercase strings. You must use lowercase strings in the configuration rather than copying and pasting the asvec strings.
Perform queries
You can use asvec to browse data with queries in the following three ways:
- Using a zero vector
- Using a record key to find neighboring records
- Using a custom vector
Additional flags control how information is displayed as well as how much information is displayed.
To learn more about these flags, run asvec query --help.
To perform a query using the zero vector, provide the --index and --namespace flags.
asvec query -i myindex -n test
╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Query Results │
├───┬───────────┬─────────┬────────┬──────────┬────────────┬────────────────────────────────────────────────────────┤
│ │ NAMESPACE │ SET │ KEY │ DISTANCE │ GENERATION │ DATA │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 1 │ test │ testset │ key100 │ 0 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 2 │ test │ testset │ key101 │ 1 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,1.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 3 │ test │ testset │ key102 │ 4 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,2.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 4 │ test │ testset │ key103 │ 9 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,3.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 5 │ test │ testset │ key104 │ 16 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,4.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
╰───┴───────────┴─────────┴────────┴──────────┴────────────┴────────────────────────────────────────────────────────╯
To perform a query using the vector from a record, provide the --index, --namespace, and --key-str or --key-int flags.
asvec query -i myindex -n test -k key104
╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Query Results │
├───┬───────────┬─────────┬────────┬──────────┬────────────┬────────────────────────────────────────────────────────┤
│ │ NAMESPACE │ SET │ KEY │ DISTANCE │ GENERATION │ DATA │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 1 │ test │ testset │ key103 │ 1 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,3.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 2 │ test │ testset │ key105 │ 1 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,5.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 3 │ test │ testset │ key102 │ 4 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,2.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 4 │ test │ testset │ key106 │ 4 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,6.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 5 │ test │ testset │ key101 │ 9 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,1.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
╰───┴───────────┴─────────┴────────┴──────────┴────────────┴────────────────────────────────────────────────────────╯
To perform a query using the vector from a record, provide the --index, --namespace, and --vector flags. Vectors passed in using the command-line should not contain spaces. Some shells require [] to be quoted.
asvec query -i myindex -n test -v "[0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,6.0]"
╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Query Results │
├───┬───────────┬─────────┬────────┬──────────┬────────────┬────────────────────────────────────────────────────────┤
│ │ NAMESPACE │ SET │ KEY │ DISTANCE │ GENERATION │ DATA │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 1 │ test │ testset │ key106 │ 0 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,6.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 2 │ test │ testset │ key105 │ 1 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,5.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 3 │ test │ testset │ key107 │ 1 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,7.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 4 │ test │ testset │ key104 │ 4 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,4.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
├───┼───────────┼─────────┼────────┼──────────┼────────────┼────────────────────────────────────────────────────────┤
│ 5 │ test │ testset │ key108 │ 4 │ 0 │ ╭────────┬───────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ KEY │ VALUE │ │
│ │ │ │ │ │ │ ├────────┼───────────────────────────────────────────┤ │
│ │ │ │ │ │ │ │ a │ 1 │ │
│ │ │ │ │ │ │ │ b │ foo │ │
│ │ │ │ │ │ │ │ c │ 3.14 │ │
│ │ │ │ │ │ │ │ d │ 1 │ │
│ │ │ │ │ │ │ │ vector │ [0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,8.0] │ │
│ │ │ │ │ │ │ │ ... │ ... │ │
│ │ │ │ │ │ │ ╰────────┴───────────────────────────────────────────╯ │
╰───┴───────────┴─────────┴────────┴──────────┴────────────┴────────────────────────────────────────────────────────╯
Manage indexes
You can use asvec to manage indexes. To learn about specific index properties, see the index management guide.
Monitor indexes
You can use asvec to view index details and monitor for index completion. In the following example, UNMERGED indicates the number records that have not been indexed. When the number of unmerged records reaches 0, index construction is complete.
asvec index list
╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Indexes │
├───┬───────────────────────┬───────────┬────────────┬─────────────────┬────────────┬─────────────────┬──────────┬────────────────┬──────┬────────────┤
│ │ NAME │ NAMESPACE │ SET │ FIELD │ DIMENSIONS │ DISTANCE METRIC │ UNMERGED │ VECTOR RECORDS │ SIZE │ UNMERGED % │
├───┼───────────────────────┼───────────┼────────────┼─────────────────┼────────────┼─────────────────┼──────────┼────────────────┼──────┼────────────┤
│ 1 │ quote-semantic-search │ avs-data │ quote-data │ quote_embedding │ 384 │ COSINE │ 5000 │ 10000 │ 1 GB │ 0.5% │
╰───┴───────────────────────┴───────────┴────────────┴─────────────────┴────────────┴─────────────────┴──────────┴────────────────┴──────┴────────────╯
To see the full list of index settings, add the --verbose flag (scroll right for full details).
asvec index list --verbose
╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Indexes │
├───┬───────────────────────┬───────────┬────────────┬─────────────────┬────────────┬─────────────────┬──────────┬────────────────┬──────┬────────────┬──────────┬─────────┬─────────────────────────────┬──────────────────────────────────────────────────────┤
│ │ NAME │ NAMESPACE │ SET │ FIELD │ DIMENSIONS │ DISTANCE METRIC │ UNMERGED │ VECTOR RECORDS │ SIZE │ UNMERGED % │ VERTICES │ LABELS* │ STORAGE │ INDEX PARAMETERS │
├───┼───────────────────────┼───────────┼────────────┼─────────────────┼────────────┼─────────────────┼──────────┼────────────────┼──────┼────────────┼──────────┼─────────┼─────────────────────────────┼──────────────────────────────────────────────────────┤
│ 1 │ quote-semantic-search │ avs-data │ quote-data │ quote_embedding │ 384 │ COSINE │ 5000 │ 0 │ 0 B │ 0% │ 0 │ map[] │ ╭───────────┬─────────────╮ │ ╭──────────────────────────────────────────────────╮ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Namespace │ avs-index │ │ │ HNSW │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Set │ quote-index │ │ ├───────────────────────────────┬──────────────────┤ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ ╰───────────┴─────────────╯ │ │ Max Edges │ 16 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Ef │ 100 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Construction Ef │ 100 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ MaxMemQueueSize* │ 1000000 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Batch Max Index Records* │ 100000 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Batch Index Interval* │ 30s │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Batch Max Reindex Records* │ 10000 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Batch Reindex Interval* │ 30s │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Index Cache Max Entries* │ 2000000 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Index Cache Expiry* │ 1h0m0s │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Record Cache Max Entries* │ 0 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Record Cache Expiry* │ 0s │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Healer Max Scan Rate / Node* │ 1000 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Healer Max Page Size* │ 10000 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Healer Re-index % * │ 10.00% │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Healer Schedule* │ 0 0/15 * ? * * * │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Healer Parallelism* │ 1 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Merge Index Parallelism* │ 80 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Merge Re-Index Parallelism* │ 26 │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ Enable Vector Integrity Check │ true │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ ╰───────────────────────────────┴──────────────────╯ │
╰───┴───────────────────────┴───────────┴────────────┴─────────────────┴────────────┴─────────────────┴──────────┴────────────────┴──────┴────────────┴──────────┴─────────┴─────────────────────────────┴──────────────────────────────────────────────────────╯
Values ending with * can be dynamically configured using the asvec index update command.
To save your index definition to a yaml file, use the --yaml flag. You can use the generated file to recreate
your index.
asvec index ls --yaml > indexDef.yaml
cat indexDef.yaml
indices:
- dimensions: 256
field: vector-field
hnswParams:
batchingParams:
indexInterval: 30000
maxIndexRecords: 100000
maxReindexRecords: 100000
reindexInterval: 30000
ef: 100
efConstruction: 100
enableVectorIntegrityCheck: true
healerParams:
maxScanPageSize: 10000
maxScanRatePerNode: 1000
parallelism: 1
reindexPercent: 10
schedule: 0 0/15 * ? * * *
indexCachingParams:
expiry: "3600000"
maxEntries: "2000000"
m: 16
maxMemQueueSize: 1e+06
mergeParams:
indexParallelism: 160
reIndexParallelism: 53
recordCachingParams:
expiry: "3600000"
maxEntries: "2000000"
id:
name: myindex
namespace: test
setFilter: testset
storage:
namespace: test
set: myindex
type: HNSW
vectorDistanceMetric: COSINE
Create indexes
When using asvec to create an index, you only need to specify the required fields.
asvec index create \
--index-name quote-semantic-search \
--namespace test \
--sets index-set \
--dimension 8 \
--distance-metric COSINE \
--vector-field img_vector
To re-create your index using a yaml file the --file flag.
asvec index create --file indexDef.yaml
Successfully created index test.testset.myindex
Successfully created all indexes from yaml
Update indexes
You can use asvec to update an existing index to tune specific settings related to the cache and index healer.
note
Not all values can be updated on an index. To learn about specific index properties, see the index management guide.
asvec index update \
--index-name quote-semantic-search \
--namespace test \
--hnsw-max-mem-queue-size 2000000 \
--hnsw-batch-index-interval 10000ms \
--hnsw-batch-max-index-records 1000
tip
AVS 0.9 has a known issue which requires specifying the hnsw-batch-interval and hnsw-batch-max-records properties when updating.
Manage users
We recommend that you manage users with asvec.
To learn about the user or role command, run the command with the --help option. See the user management guide for more information.
asvec user --help
A parent command for listing, creating, dropping, and granting roles to users.
To view a list of available roles, run the following:
asvec role ls