Форум сайта python.su
1
Уважаемые коллеги. Есть у меня задача.
Есть некий датчик, который выдаёт раз в 3-и или 2-е минуты числовые данные:
[-1.98, -0.98, -2.96, -1.96, -3.94, -5.92, -4.92, -3.92, -2.92, -4.9, -3.9000000000000004, -2.9000000000000004, -4.880000000000001, -3.880000000000001, -5.860000000000001, -4.860000000000001, -3.860000000000001, -2.860000000000001, -4.840000000000002, -3.8400000000000016, -2.8400000000000016, -1.8400000000000016, -0.8400000000000016, 0.15999999999999837, -1.8200000000000016, -0.8200000000000016, 0.17999999999999838, 1.1799999999999984, 2.1799999999999984, 3.1799999999999984, 4.179999999999998, 5.179999999999998, 3.199999999999998, 4.1999999999999975, 2.2199999999999975, 0.23999999999999755, 1.2399999999999975, 2.2399999999999975, 3.2399999999999975, 1.2599999999999976, -0.7200000000000024, 0.2799999999999976, -1.7000000000000024, -3.6800000000000024, -2.6800000000000024, -4.660000000000002, -6.640000000000002, -5.640000000000002, -7.620000000000003, -6.620000000000003, -5.620000000000003, -4.620000000000003, -6.600000000000003, -5.600000000000003, -7.580000000000004, -6.580000000000004, -5.580000000000004, -4.580000000000004, -3.5800000000000036, -2.5800000000000036, -1.5800000000000036, -0.5800000000000036, 0.4199999999999964, 1.4199999999999964, 2.4199999999999964, 3.4199999999999964, 4.419999999999996, 5.419999999999996, 6.419999999999996, 7.419999999999996, 5.439999999999996, 6.439999999999996, 7.439999999999996, 8.439999999999996, 9.439999999999996, 10.439999999999996, 11.439999999999996, 9.459999999999996, 10.459999999999996, 11.459999999999996, 9.479999999999995, 10.479999999999995, 11.479999999999995, 12.479999999999995, 13.479999999999995, 14.479999999999995, 15.479999999999995, 16.479999999999997, 14.499999999999996, 12.519999999999996, 13.519999999999996, 11.539999999999996, 12.539999999999996, 10.559999999999995, 11.559999999999995, 9.579999999999995, 10.579999999999995, 8.599999999999994, 6.619999999999994, 4.6399999999999935, 2.6599999999999935, 3.6599999999999935, 4.659999999999993, 2.679999999999993, 3.679999999999993, 4.679999999999993, 5.679999999999993, 3.6999999999999926, 4.699999999999992, 2.719999999999992, 3.719999999999992, 4.719999999999992, 5.719999999999992, 6.719999999999992, 4.739999999999991, 5.739999999999991, 6.739999999999991, 4.759999999999991, 2.779999999999991, 3.779999999999991, 4.7799999999999905, 2.7999999999999905, 3.7999999999999905, 4.79999999999999, 5.79999999999999, 6.79999999999999, 7.79999999999999, 5.81999999999999, 3.8399999999999896, 4.839999999999989, 5.839999999999989, 6.839999999999989, 4.859999999999989, 5.859999999999989, 3.879999999999989, 4.879999999999988, 5.879999999999988, 6.879999999999988, 7.879999999999988, 8.879999999999988, 6.899999999999988, 7.899999999999988, 8.899999999999988, 9.899999999999988, 10.899999999999988, 11.899999999999988, 12.899999999999988, 13.899999999999988, 14.899999999999988, 15.899999999999988, 16.899999999999988, 17.899999999999988, 18.899999999999988, 19.899999999999988, 20.899999999999988, 21.899999999999988, 22.899999999999988, 20.919999999999987, 21.919999999999987, 22.919999999999987, 20.939999999999987, 21.939999999999987, 22.939999999999987, 23.939999999999987, 24.939999999999987, 25.939999999999987, 26.939999999999987, 27.939999999999987, 28.939999999999987, 26.959999999999987, 24.979999999999986, 25.979999999999986, 23.999999999999986, 24.999999999999986, 25.999999999999986, 26.999999999999986, 27.999999999999986, 28.999999999999986, 29.999999999999986, 30.999999999999986, 31.999999999999986, 32.999999999999986, 31.019999999999985, 32.01999999999998, 30.03999999999998, 28.05999999999998, 26.07999999999998, 27.07999999999998, 25.09999999999998, 26.09999999999998, 27.09999999999998, 28.09999999999998, 26.11999999999998, 27.11999999999998, 28.11999999999998, 29.11999999999998, 30.11999999999998, 31.11999999999998, 32.119999999999976, 30.139999999999976, 31.139999999999976, 32.13999999999997, 33.13999999999997, 34.13999999999997, 35.13999999999997, 33.159999999999975, 34.159999999999975, 35.159999999999975, 33.17999999999998, 34.17999999999998, 35.17999999999998, 36.17999999999998, 37.17999999999998, 35.19999999999998, 36.19999999999998, 34.219999999999985, 35.219999999999985, 33.23999999999999, 34.23999999999999, 32.25999999999999, 33.25999999999999, 31.27999999999999, 32.27999999999999, 30.299999999999986, 31.299999999999986, 32.29999999999998, 33.29999999999998, 31.319999999999983, 29.339999999999982, 30.339999999999982, 31.339999999999982, 29.35999999999998, 30.35999999999998, 31.35999999999998, 32.359999999999985, 33.359999999999985, 31.379999999999985, 32.37999999999998, 33.37999999999998, 31.39999999999998, 29.41999999999998, 30.41999999999998, 31.41999999999998, 32.41999999999998, 33.41999999999998, 34.41999999999998, 35.41999999999998, 33.43999999999998, 34.43999999999998, 35.43999999999998, 33.45999999999999, 34.45999999999999, 35.45999999999999, 36.45999999999999, 34.47999999999999, 35.47999999999999, 36.47999999999999, 37.47999999999999, 38.47999999999999, 39.47999999999999, 37.49999999999999, 38.49999999999999, 39.49999999999999, 40.49999999999999, 41.49999999999999, 42.49999999999999, 40.519999999999996, 41.519999999999996, 42.519999999999996, 43.519999999999996, 44.519999999999996, 42.54, 43.54, 44.54, 45.54, 46.54, 47.54, 45.56, 43.580000000000005, 41.60000000000001, 42.60000000000001, 43.60000000000001, 41.62000000000001, 42.62000000000001, 40.640000000000015, 41.640000000000015, 42.640000000000015, 43.640000000000015, 44.640000000000015, 45.640000000000015, 43.66000000000002, 44.66000000000002, 42.68000000000002, 43.68000000000002, 41.700000000000024, 42.700000000000024, 43.700000000000024, 44.700000000000024, 45.700000000000024, 46.700000000000024, 44.72000000000003, 42.74000000000003, 43.74000000000003, 44.74000000000003, 42.76000000000003, 43.76000000000003, 44.76000000000003, 45.76000000000003, 46.76000000000003, 47.76000000000003, 48.76000000000003, 49.76000000000003, 50.76000000000003, 48.78000000000004, 46.80000000000004, 44.82000000000004, 45.82000000000004, 43.840000000000046, 41.86000000000005, 42.86000000000005, 40.88000000000005, 38.900000000000055, 39.900000000000055, 40.900000000000055, 38.92000000000006, 39.92000000000006, 40.92000000000006]
[u'2016-02-10T02:38:47Z', u'2016-02-10T02:41:05Z', u'2016-02-10T02:42:58Z', u'2016-02-10T02:44:25Z', u'2016-02-10T02:46:21Z', u'2016-02-10T02:47:50Z', u'2016-02-10T02:49:24Z', u'2016-02-10T02:51:58Z', u'2016-02-10T02:53:24Z', u'2016-02-10T02:55:02Z', u'2016-02-10T02:56:38Z', u'2016-02-10T02:58:35Z', u'2016-02-10T03:00:49Z', u'2016-02-10T03:02:17Z', u'2016-02-10T03:03:48Z', u'2016-02-10T03:05:25Z', u'2016-02-10T03:07:48Z', u'2016-02-10T03:09:22Z', u'2016-02-10T03:11:12Z', u'2016-02-10T03:12:45Z', u'2016-02-10T03:13:54Z', u'2016-02-10T03:16:06Z', u'2016-02-10T03:17:43Z', u'2016-02-10T03:19:16Z', u'2016-02-10T03:20:40Z', u'2016-02-10T03:22:55Z', u'2016-02-10T03:25:17Z', u'2016-02-10T03:26:46Z', u'2016-02-10T03:28:20Z', u'2016-02-10T03:30:42Z', u'2016-02-10T03:32:55Z', u'2016-02-10T03:34:42Z', u'2016-02-10T03:36:42Z', u'2016-02-10T03:38:38Z', u'2016-02-10T03:40:57Z', u'2016-02-10T03:42:35Z', u'2016-02-10T03:44:26Z', u'2016-02-10T03:45:55Z', u'2016-02-10T03:47:16Z', u'2016-02-10T03:49:29Z', u'2016-02-10T03:51:29Z', u'2016-02-10T03:53:18Z', u'2016-02-10T03:55:14Z', u'2016-02-10T03:56:38Z', u'2016-02-10T03:58:00Z', u'2016-02-10T04:00:38Z', u'2016-02-10T04:02:35Z', u'2016-02-10T04:04:09Z', u'2016-02-10T04:05:37Z', u'2016-02-10T04:07:53Z', u'2016-02-10T04:10:07Z', u'2016-02-10T04:11:34Z', u'2016-02-10T04:13:11Z', u'2016-02-10T04:15:04Z', u'2016-02-10T04:16:33Z', u'2016-02-10T04:18:34Z', u'2016-02-10T04:20:35Z', u'2016-02-10T04:22:28Z', u'2016-02-10T04:24:18Z', u'2016-02-10T04:26:37Z', u'2016-02-10T04:27:59Z', u'2016-02-10T04:29:51Z', u'2016-02-10T04:32:06Z', u'2016-02-10T04:34:01Z', u'2016-02-10T04:36:14Z', u'2016-02-10T04:37:39Z', u'2016-02-10T04:39:35Z', u'2016-02-10T04:41:27Z', u'2016-02-10T04:42:56Z', u'2016-02-10T04:45:08Z', u'2016-02-10T04:47:55Z', u'2016-02-10T04:49:52Z', u'2016-02-10T04:51:41Z', u'2016-02-10T04:53:54Z', u'2016-02-10T04:56:06Z', u'2016-02-10T04:58:03Z', u'2016-02-10T04:59:47Z', u'2016-02-10T05:01:12Z', u'2016-02-10T05:02:39Z', u'2016-02-10T05:04:08Z', u'2016-02-10T05:05:42Z', u'2016-02-10T05:07:06Z', u'2016-02-10T05:08:49Z', u'2016-02-10T05:10:40Z', u'2016-02-10T05:12:06Z', u'2016-02-10T05:13:39Z', u'2016-02-10T05:15:31Z', u'2016-02-10T05:17:32Z', u'2016-02-10T05:19:05Z', u'2016-02-10T05:21:47Z', u'2016-02-10T05:23:39Z', u'2016-02-10T05:25:29Z', u'2016-02-10T05:27:00Z', u'2016-02-10T05:28:51Z', u'2016-02-10T05:30:44Z', u'2016-02-10T05:32:57Z', u'2016-02-10T05:34:54Z', u'2016-02-10T05:36:46Z', u'2016-02-10T05:39:05Z', u'2016-02-10T05:40:57Z', u'2016-02-10T05:42:34Z', u'2016-02-10T05:43:55Z', u'2016-02-10T05:45:23Z', u'2016-02-10T05:47:14Z', u'2016-02-10T05:48:48Z', u'2016-02-10T05:50:16Z', u'2016-02-10T05:51:39Z', u'2016-02-10T05:53:40Z', u'2016-02-10T05:56:26Z', u'2016-02-10T05:58:03Z', u'2016-02-10T05:59:58Z', u'2016-02-10T06:01:49Z', u'2016-02-10T06:03:46Z', u'2016-02-10T06:05:16Z', u'2016-02-10T06:07:11Z', u'2016-02-10T06:08:32Z', u'2016-02-10T06:10:22Z', u'2016-02-10T06:12:34Z', u'2016-02-10T06:14:08Z', u'2016-02-10T06:15:28Z', u'2016-02-10T06:16:49Z', u'2016-02-10T06:18:52Z', u'2016-02-10T06:20:53Z', u'2016-02-10T06:22:26Z', u'2016-02-10T06:24:46Z', u'2016-02-10T06:26:47Z', u'2016-02-10T06:28:44Z', u'2016-02-10T06:30:16Z', u'2016-02-10T06:32:37Z', u'2016-02-10T06:33:36Z', u'2016-02-10T06:35:58Z', u'2016-02-10T06:37:51Z', u'2016-02-10T06:40:06Z', u'2016-02-10T06:42:01Z', u'2016-02-10T06:44:00Z', u'2016-02-10T06:45:28Z', u'2016-02-10T06:47:46Z', u'2016-02-10T06:49:19Z', u'2016-02-10T06:50:53Z', u'2016-02-10T06:52:59Z', u'2016-02-10T06:54:33Z', u'2016-02-10T06:56:05Z', u'2016-02-10T06:57:54Z', u'2016-02-10T07:00:32Z', u'2016-02-10T07:02:24Z', u'2016-02-10T07:03:54Z', u'2016-02-10T07:05:47Z', u'2016-02-10T07:08:10Z', u'2016-02-10T07:09:54Z', u'2016-02-10T07:11:19Z', u'2016-02-10T07:13:11Z', u'2016-02-10T07:15:06Z', u'2016-02-10T07:17:07Z', u'2016-02-10T07:18:40Z', u'2016-02-10T07:20:13Z', u'2016-02-10T07:21:39Z', u'2016-02-10T07:23:34Z', u'2016-02-10T07:25:49Z', u'2016-02-10T07:27:26Z', u'2016-02-10T07:29:15Z', u'2016-02-10T07:31:05Z', u'2016-02-10T07:33:24Z', u'2016-02-10T07:34:48Z', u'2016-02-10T07:36:14Z', u'2016-02-10T07:37:43Z', u'2016-02-10T07:39:17Z', u'2016-02-10T07:41:31Z', u'2016-02-10T07:43:00Z', u'2016-02-10T07:45:12Z', u'2016-02-10T07:46:55Z', u'2016-02-10T07:48:51Z', u'2016-02-10T07:50:23Z', u'2016-02-10T07:52:19Z', u'2016-02-10T07:54:16Z', u'2016-02-10T07:55:49Z', u'2016-02-10T07:57:22Z', u'2016-02-10T07:58:55Z', u'2016-02-10T08:00:51Z', u'2016-02-10T08:02:28Z', u'2016-02-10T08:03:54Z', u'2016-02-10T08:05:23Z', u'2016-02-10T08:07:15Z', u'2016-02-10T08:09:04Z', u'2016-02-10T08:10:33Z', u'2016-02-10T08:12:47Z', u'2016-02-10T08:14:39Z', u'2016-02-10T08:16:11Z', u'2016-02-10T08:17:35Z', u'2016-02-10T08:18:55Z', u'2016-02-10T08:20:15Z', u'2016-02-10T08:21:48Z', u'2016-02-10T08:23:18Z', u'2016-02-10T08:25:09Z', u'2016-02-10T08:27:04Z', u'2016-02-10T08:29:17Z', u'2016-02-10T08:30:54Z', u'2016-02-10T08:32:54Z', u'2016-02-10T08:35:30Z', u'2016-02-10T08:37:25Z', u'2016-02-10T08:39:02Z', u'2016-02-10T08:40:31Z', u'2016-02-10T08:41:58Z', u'2016-02-10T08:43:24Z', u'2016-02-10T08:45:15Z', u'2016-02-10T08:47:07Z', u'2016-02-10T08:48:40Z', u'2016-02-10T08:50:35Z', u'2016-02-10T08:52:57Z', u'2016-02-10T08:54:49Z', u'2016-02-10T08:56:45Z', u'2016-02-10T08:58:14Z', u'2016-02-10T09:00:07Z', u'2016-02-10T09:01:44Z', u'2016-02-10T09:03:35Z', u'2016-02-10T09:05:27Z', u'2016-02-10T09:07:18Z', u'2016-02-10T09:09:29Z', u'2016-02-10T09:11:02Z', u'2016-02-10T09:12:29Z', u'2016-02-10T09:14:29Z', u'2016-02-10T09:16:21Z', u'2016-02-10T09:18:17Z', u'2016-02-10T09:20:30Z', u'2016-02-10T09:22:53Z', u'2016-02-10T09:25:11Z', u'2016-02-10T09:27:07Z', u'2016-02-10T09:28:40Z', u'2016-02-10T09:30:14Z', u'2016-02-10T09:32:28Z', u'2016-02-10T09:34:29Z', u'2016-02-10T09:36:48Z', u'2016-02-10T09:39:05Z', u'2016-02-10T09:41:22Z', u'2016-02-10T09:43:14Z', u'2016-02-10T09:45:49Z', u'2016-02-10T09:47:45Z', u'2016-02-10T09:49:56Z', u'2016-02-10T09:51:47Z', u'2016-02-10T09:53:42Z', u'2016-02-10T09:55:14Z', u'2016-02-10T09:56:13Z', u'2016-02-10T09:58:05Z', u'2016-02-10T09:59:41Z', u'2016-02-10T10:01:01Z', u'2016-02-10T10:02:50Z', u'2016-02-10T10:04:50Z', u'2016-02-10T10:06:23Z', u'2016-02-10T10:07:52Z', u'2016-02-10T10:10:04Z', u'2016-02-10T10:11:39Z', u'2016-02-10T10:13:36Z', u'2016-02-10T10:15:54Z', u'2016-02-10T10:18:28Z', u'2016-02-10T10:20:47Z', u'2016-02-10T10:23:02Z', u'2016-02-10T10:24:35Z', u'2016-02-10T10:25:59Z', u'2016-02-10T10:27:49Z', u'2016-02-10T10:29:17Z', u'2016-02-10T10:31:01Z', u'2016-02-10T10:32:22Z', u'2016-02-10T10:34:35Z', u'2016-02-10T10:36:30Z', u'2016-02-10T10:38:42Z', u'2016-02-10T10:40:33Z', u'2016-02-10T10:42:25Z', u'2016-02-10T10:44:16Z', u'2016-02-10T10:45:49Z', u'2016-02-10T10:47:28Z', u'2016-02-10T10:49:01Z', u'2016-02-10T10:51:01Z', u'2016-02-10T10:52:30Z', u'2016-02-10T10:54:08Z', u'2016-02-10T10:56:03Z', u'2016-02-10T10:58:22Z', u'2016-02-10T10:59:51Z', u'2016-02-10T11:02:05Z', u'2016-02-10T11:04:19Z', u'2016-02-10T11:06:07Z', u'2016-02-10T11:08:25Z', u'2016-02-10T11:09:54Z', u'2016-02-10T11:11:44Z', u'2016-02-10T11:13:37Z', u'2016-02-10T11:15:06Z', u'2016-02-10T11:17:14Z', u'2016-02-10T11:18:35Z', u'2016-02-10T11:19:58Z', u'2016-02-10T11:21:54Z', u'2016-02-10T11:23:34Z', u'2016-02-10T11:25:07Z', u'2016-02-10T11:27:03Z', u'2016-02-10T11:29:15Z', u'2016-02-10T11:31:32Z', u'2016-02-10T11:33:02Z', u'2016-02-10T11:34:50Z', u'2016-02-10T11:36:47Z', u'2016-02-10T11:39:06Z', u'2016-02-10T11:40:35Z', u'2016-02-10T11:42:30Z', u'2016-02-10T11:44:24Z', u'2016-02-10T11:46:15Z', u'2016-02-10T11:48:38Z', u'2016-02-10T11:50:37Z', u'2016-02-10T11:52:27Z', u'2016-02-10T11:54:00Z', u'2016-02-10T11:55:52Z', u'2016-02-10T11:57:12Z', u'2016-02-10T11:58:35Z', u'2016-02-10T12:00:31Z', u'2016-02-10T12:01:58Z', u'2016-02-10T12:03:31Z', u'2016-02-10T12:05:53Z', u'2016-02-10T12:07:48Z', u'2016-02-10T12:09:49Z', u'2016-02-10T12:12:03Z', u'2016-02-10T12:13:59Z', u'2016-02-10T12:15:21Z', u'2016-02-10T12:17:38Z', u'2016-02-10T12:19:16Z', u'2016-02-10T12:20:40Z', u'2016-02-10T12:22:16Z', u'2016-02-10T12:24:28Z', u'2016-02-10T12:26:19Z', u'2016-02-10T12:28:33Z', u'2016-02-10T12:29:59Z', u'2016-02-10T12:31:46Z', u'2016-02-10T12:33:14Z']

Офлайн
49
Существует масса методов прогнозирования. От тупой апроксимации полиномом до нечетких моделей вывода или обучаемых нейросетей. Вам необходимо предварительно определится с методом прогнозирования. А уже потом, на основе него, реализовывать алгоритм применительно к Вашей задаче.
P.S. Оговорюсь сразу. Перепробовать все методы и выбрать наиболее адекватный - очень трудоемкая и почти не реализуемая одним человеком задача.
P.P.S. Ну и критерии для оценки адекватности прогноза реальным данным все же стоит предварительно отобрать. 100% совпадать не будут ни после какой модели. Определитесь хотя-бы с отклонением прогнозных значений и фактических по среднему или средневзвешенному.
Отредактировано 4kpt_IV (Фев. 10, 2016 15:07:51)
Офлайн
1
Я в этом новичок, вот и прошу помочь, я лишь вижу некоторую закономерность на графике.
Если проложить прямые линии от одной вершины, до другой, то в последующем это может стать вершиной другой или основанием.
Собственно готов пробовать разные методики. Есть шустрые сервера на ssd дисках.
Офлайн
49
Я не совсем понимаю какой род помощи нужен. Если нужны методы прогнозирования, то необходимо запастись терпением и литературой.
P.S. Возможно в питоне уже есть модули, которые реализуют какие-то подходы и Вы можете просто подождать. Кто-нибудь, кто сталкивался может подсказать. Но все равно без сформированных критериев оценки “адекватности” прогноза дальнейшие телодвижения с данными вижу бессмысленными.
Офлайн
1
4kpt_IV
Я не совсем понимаю какой род помощи нужен. Если нужны методы прогнозирования, то необходимо запастись терпением и литературой.P.S. Возможно в питоне уже есть модули, которые реализуют какие-то подходы и Вы можете просто подождать. Кто-нибудь, кто сталкивался может подсказать. Но все равно без сформированных критериев оценки “адекватности” прогноза дальнейшие телодвижения с данными вижу бессмысленными.
Отредактировано paraman (Фев. 10, 2016 15:44:18)
Офлайн
49
paramanОу. Абзец. Читаем про выборки и оценки адекватности моделей. Чаще всего, для простоты закладывают уровень погрешность в пределах скольки-то процентов. И на основе него оценивают адекватность построенной модели реальным данным (т.е. насколько реальные данные разбегаются с полученными из модели).
Очевидно же, что если ошибок 50%
Офлайн
1
Я в этом новичок. Какой по-вашему мнению адекватный % погрешности?
Офлайн
49
Зависит от задачи и ее предметной области. Поясню на пальцах. Есть такой метод для подсчета пассажиров в соответствии с емкостями районов. Называется “гравитационный”. Он дает погрешность до 100%. Причем я присутствовал на защите диссертации докторской, где эту ошибку, смогли свести до 80% при помощи учета дополнительных факторов. И это был прорыв. Т.е. для этой задачи такие огромные погрешности допустимы. А представим теперь, что задача связана с человеческими жизнями и испытанием лекарств. Там и выборка считается совсем по-другому и погрешности с высокими значениями никогда не используются. Надеюсь я понятно пояснил.
Вам бы что-то почитать по “основы научных исследований”. Можно любую книгу. Даже достаточно старую взять. Главное чтобы там была оценка адекватности моделей.
Офлайн
1
Хм… спасибо Вам за совет.
А нельзя ли опытным путём проверить на разных моделях % погрешностей.
Очень хочется познать область прогнозирования, так как стал с ней частенько встречаться, но что-то сделать самому не получается.
Офлайн
221
paramanтехнически можно. Для этого вы сначала должны реализовать хоть две хоть N моделей.
А нельзя ли опытным путём проверить на разных моделях % погрешностей.
Офлайн