UNIX：基于文件的协作小工具
为了追求简单性，我们可以尝试尽可能多的删除层和软件，并减少需要交付的自定义代码的数量。这将有助于降低运营费用和减少工作和维护的总量。在考虑这一点时，我们可以重用经典的UNIX文件方法和小型协作工具，这对基于UNIX的系统工程比基于DevOps或编程语言的基础架构的设置操作有益的多。
在FreeBSD的环境下我们讲的是UNIX这个词，我们知道它就是Linux。
Kernighan & Pike在 1985 年写了一本名为“UNIX 编程环境”的书。这是一本非常古老的书，C 代码甚至是 K&R pre-ANSI 的风格，但它仍然在 C 编程社区中广为人知；它可能是学习UNIX编程环境最好的书，我们可以轻松地重用小程序和工具，同时只需很少的努力即可构建解决方案。
广泛使用文件“一切皆文件”的UNIX 方法等概念已在很大程度上被舍弃，转而采用更复杂的结构和解决方案。我们可以停下来一分钟思考：我们真的需要一个数据库还是只是假设我们需要？我们真的需要一个基于 API 的云存储还是可以只使用一个普通的文件系统。它可以完美地备份或存储在云上。我们是否真的需要使用最新流行的框架在 Python 中编写 API 访问代码，还是在数据文件系统上安装HTTP服务或远程文件服务器可能就足够了，第一个选项甚至允许在不编写一行代码的情况下构建 REST 访问系统。
这些问题通常不会受到有偏见的专业人士的讨论，尤其是在专门研究一种技术或语言的专业人士中。因为这些工具和方法非常简单有效但不是常见的当前做法。
零维护对于有了一些经验的人来说非常重要，因为他们过去已经犯了构建过于复杂的错误。对于既缺乏资源又缺乏运营团队的小型机构来说，构建的简单是必要的。
我们在以下部分简单说说如何设置1秒聚合的数据基础设施服务。这是基础设置的一部分，用于回测和分析定量策略，说一说如何依靠 UNIX 框内小型协作工具的混合环境来加速操作。
业务需求：定量分析
一分钟聚合数据意味着仅价格信息替代交易量信息。这来自于合并市场概况，其中时间和价格等于利息或价值；交易量概况，其中成交量等于利息或价值的市场概念。因此，时间和价格可以代替成交量，因此可以用来成功驾驭市场。这是我们的前提，也是我们今天想要分析的。
要获得 1 分钟的市场概况，我们需要一定的粒度，理想情况下是逐笔报价数据，但让我们假设 1 秒的价格信息就足够了。
这是我们的业务需求：分析超过 1 分钟的蜡烛信息的市场概况是否可用于推动市场。这种业务需求转化为技术或基础设施需求：我需要能够在我的分析中轻松使用外汇中 1 分钟蜡烛图的市场概况。
因此，我需要存储每 1 分钟分组一次的数据，稍后可能会处理该数据并生成包含聚合信息的其他文件。
任何技术需求的背后，都必须有业务需求。在任何技术解决方案的背后，都必须有一个完整的成本/资源分析，包括项目和运营费用。这些基本检查并不总是专门为那些可能对中长期运营成本没有自然理解的纯技术背景的人进行的。
收集市场数据
我们需要数据，包括历史数据和实时数据。如果我们打算让我们自己的数据有意义，我们可以将我们的数据存储在本地或私有云中。专门的数据公司会确保优秀的数据连续性和可靠性。
有多种方法可以检索和存储这些数据，通常想到的第一种方法是使用编程语言和数据库。所以 Python 和 SQL 可能是一种选择。由于 Polygon.io 返回的记录数限制为 10.000，我们将需要执行多次调用来填充偏移参数，直到检索到所有信息，因此绝对需要某些编程。我们也可以用JSON检索，但我们绝对不想存储或处理 JSON，因为它非常低效。
