Token的不同含义：从AI、Web3到密码学
本文简单概括一下“Token”和“Tokenization”在AI、Web3和密码学领域的不同含义。
原文作者：Diario Rosy
原文来源：medium
人工智能（AI）和Web3都是最近关注度很高的领域，其中出现了很多大家平时不会接触到的名词，“Token”便是其中之一。尽管叫法相同，但在不同领域其定义和应用都存在区别。
本文简单概括一下“Token”和“Tokenization”在AI、Web3和密码学领域的不同含义。
AI领域中的Token
在AI领域，Token通常指的是文本处理过程中的最小单位。Tokenization是将连续的文本序列拆分为单个标记（tokens）的过程。这些标记可以是单词、短语、句子或其他更小的文本单元。因此NLP技术中 Tokenization 也是“word segmentation” — — 分词。
Tokenization主要关注文本处理中的最小单位和将文本转换为结构化数据，用于提高算法对文本的理解和分析能力。Tokenization在自然语言处理（NLP）任务中广泛应用，如文本分类、机器翻译和命名实体识别。
按照下面的流程图来理解【分词】的任务内容，就是将文本句子切成一个个子单元，然后将子单元数值化（映射为向量），接着将这些向量输入到模型进行编码，最后输出到下游的任务中进一步得到最终的结果。
图源：https://zhuanlan.zhihu.com/p/547152931
其中Tokenization按照切分的粒度，有三种不同的分类方法：
- 按词粒度来分
- 按字符粒度来分
- 按子词粒度（subword）来分
具体可以参考这篇文章：https://zhuanlan.zhihu.com/p/547152931
关于【Token的不同含义：从AI、Web3到密码学】的延伸阅读
知名交易员Ansem年初关注的项目最新进展如何？
加密交易员Ansem因抓住百倍币而闻名，2024年初在社交媒体上列举了13个认为会在2024年表现良好的项目，包括Monad、Dymension、io.net、Anoma、Sovereign和Oh Baby Games等。其中，Anoma是一个类似于EVM的资源机器，Sovereign是一个可在任何区块链上运行的生态系统，Oh Baby Games是一个加密游戏平台，Treeverse是一款基于开放世界、奇幻和科幻的MMORPG，Nillion是一个使用盲计算的L1，Lagrange是一种zk协处理协议，Ritual是一家dApp，可以在链上集成AI模型，Gensyn是一个去中心化计算网络，peaq是为Polkadot上的物联网提供支持的DePin区块链，Colony是一款AI驱动的Web3生存模拟游戏。目前，这些项目都已完成融资，并有不错的表现。
火星财经加密周报 | 5月17日
产业Spectral更新2024年路线图，计划推出新的AI代理和工具，与其他公司合作开发特定用例的代理。iFinex与萨尔瓦多达成合作协议，为数字资产和证券建立监管框架。DFINITY公布最新路线图，重点发展计算平台、去中心化AI、隐私等九个领域。CME计划推出比特币现货交易，推动华尔街进入数字资产行业。KIP Protocol旨在通过KnowledgeFi实现知识变现和劳动有所得，是一种新兴的基建赛道。创始人在香港演讲中强调比特币的强大和其他加密货币的脆弱，提出建设一个社交、博彩和娱乐生态的目标，希望看到更多人的创新和建设，让比特币得到更广泛的认可和使用。
Web3/Crypto领域中的Token
在Web3/Crypto领域，Token具有更广泛的含义。它指的是基于区块链技术发行的数字资产，可以代表实物或虚拟资产，并具有一定的价值。这些Token可以用于交换价值、代表权益或在去中心化应用程序中进行治理。
Token和Tokenization之间的联系主要体现在数字资产的创建和管理方面。Tokenization是将实物或虚拟资产转化为数字Token的过程。这些Token可以在区块链上进行交易和转移，为数字经济提供了更高的可互操作性和流动性（可交易）。
（在加密领域，token和coin也是两个经常被拿出来对比的概念，區別主要是，coin的有自己的链，主要功能是進行支付和交易，而Token沒有自己的区块链，除了交易之外，還具有許多其他功能，如投票、收息、質押。）
密码学领域中的Token
在密码学领域，Token和Tokenization与数字身份和安全密钥管理有关。Token通常指的是硬件或软件设备，用于生成和存储安全令牌或密码。这些令牌可以用于身份验证、授权和加密通信。Tokenization是将敏感数据（如信用卡号）替换为不可逆转的标记的过程，以提高数据的安全性。
为什么提到密码学？
在密码学（cryptography）和加密货币（crypto）领域中都存在Token的概念，容易混淆，但它们含义绝不相同。
联系
在某种程度上，密码学和加密货币领域中的Token都与安全性和身份验证有关。在密码学中，Token用于生成和验证安全令牌，以保护敏感数据和执行安全操作。在加密货币领域，Token的交易和转移也依赖于区块链的安全性和身份验证机制。
在加密货币领域中，Token的安全性和交易可追溯性依赖于密码学原理和算法。
总结
Token指的是一种特定的标记或符号，用于表示某种信息或资产，而Tokenization是将某种信息转化为一种特定的形式的概念。尽管在不同领域中都有Token的说法，但它们在具体定义和应用上有明显的区别。
免责声明：本文仅代表作者个人观点，不代表链观CHAINLOOK立场，不承担法律责任。文章及观点也不构成投资意见。请用户理性看待市场风险，以及遵守所在国家和地区的相关法律法规。
图文来源：Diario Rosy，如有侵权请联系删除。转载或引用请注明文章出处！
