Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": null,
2
  "author": null,
            
3
  "author_email": null,
3
  "author_email": null,
            
4
  "civity_metadataquality": {
4
  "civity_metadataquality": {
            
5
    "mandatory": {
5
    "mandatory": {
            
6
      "number": 17,
6
      "number": 17,
            
7
      "score": 0.29411764705882354,
7
      "score": 0.29411764705882354,
            
8
      "valid": 5
8
      "valid": 5
            
9
    },
9
    },
            
10
    "optional": {
10
    "optional": {
            
11
      "number": 21,
11
      "number": 21,
            
12
      "score": 0.0,
12
      "score": 0.0,
            
13
      "valid": 0
13
      "valid": 0
            
14
    },
14
    },
            
15
    "total": {
15
    "total": {
            
16
      "number": 38,
16
      "number": 38,
            
17
      "score": 0.13157894736842105,
17
      "score": 0.13157894736842105,
            
18
      "valid": 5
18
      "valid": 5
            
19
    }
19
    }
            
20
  },
20
  },
            
21
  "creator_user_id": "2da92da4-b919-40d6-9afe-60b6fa1310a9",
21
  "creator_user_id": "2da92da4-b919-40d6-9afe-60b6fa1310a9",
            
22
  "extras": [],
22
  "extras": [],
            
23
  "groups": [
23
  "groups": [
            
24
    {
24
    {
            
25
      "description": "",
25
      "description": "",
            
26
      "display_name": "Natuur en milieu",
26
      "display_name": "Natuur en milieu",
            
27
      "id": "af36ddfd-2ec1-4266-ad7b-53c089952591",
27
      "id": "af36ddfd-2ec1-4266-ad7b-53c089952591",
            
28
      "image_display_url": 
28
      "image_display_url": 
            
29
ads/group/2020-10-27-090104.5979272019-02-13-122638.391682natuur.png",
29
ads/group/2020-10-27-090104.5979272019-02-13-122638.391682natuur.png",
            
30
      "name": "natuur-en-milieu",
30
      "name": "natuur-en-milieu",
            
31
      "title": "Natuur en milieu"
31
      "title": "Natuur en milieu"
            
32
    }
32
    }
            
33
  ],
33
  ],
            
34
  "id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
34
  "id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
            
35
  "isopen": false,
35
  "isopen": false,
            
36
  "license_id": "notspecified",
36
  "license_id": "notspecified",
            
37
  "license_title": "License not specified",
37
  "license_title": "License not specified",
            
38
  "maintainer": null,
38
  "maintainer": null,
            
39
  "maintainer_email": null,
39
  "maintainer_email": null,
            
40
  "metadata_created": "2022-08-25T18:44:56.966263",
40
  "metadata_created": "2022-08-25T18:44:56.966263",
            
41
  "metadata_modified": "2022-08-25T18:53:16.044507",
41
  "metadata_modified": "2022-08-25T18:53:16.044507",
            
42
  "name": "energy-consumption-observed",
42
  "name": "energy-consumption-observed",
            
43
  "notes": "# Introduction\r\n\r\nWithin the frame of IRIS Utrecht, 
43
  "notes": "# Introduction\r\n\r\nWithin the frame of IRIS Utrecht, 
            
44
data regarding energy consumption is being collected from a number of 
44
data regarding energy consumption is being collected from a number of 
            
45
apartment buildings. Purpose of collecting these data is to be able to 
45
apartment buildings. Purpose of collecting these data is to be able to 
            
46
evaluate the result of energy saving measures. \r\n\r\nTo be able to 
46
evaluate the result of energy saving measures. \r\n\r\nTo be able to 
            
47
calculate energy consumption, the following variables are 
47
calculate energy consumption, the following variables are 
            
48
needed:\r\n\r\n* electricity delivered (from net to connection)\r\n* 
48
needed:\r\n\r\n* electricity delivered (from net to connection)\r\n* 
            
49
electricity generated (by PV panels)\r\n* electricity returned (from 
49
electricity generated (by PV panels)\r\n* electricity returned (from 
            
50
connection to net)\r\n\r\nUsing these variables, electricity 
50
connection to net)\r\n\r\nUsing these variables, electricity 
            
51
consumption can be calculated using the following 
51
consumption can be calculated using the following 
            
52
formula:\r\n\r\nelectricity consumed = electricity delivered + 
52
formula:\r\n\r\nelectricity consumed = electricity delivered + 
            
53
electricity generated - electricity returned\r\n\r\n![Electricity 
53
electricity generated - electricity returned\r\n\r\n![Electricity 
            
54
delivered, produced and generated 
54
delivered, produced and generated 
            
55
962b2c4b/download/energy_consumption_observed.png)\r\n\r\n*Electricity 
55
962b2c4b/download/energy_consumption_observed.png)\r\n\r\n*Electricity 
            
56
delivered, produced and generated explained*\r\n\r\nWe are collecting 
56
delivered, produced and generated explained*\r\n\r\nWe are collecting 
            
57
energy consumption from different sources. \r\n\r\n## Toon smart 
57
energy consumption from different sources. \r\n\r\n## Toon smart 
            
58
thermostat\r\n\r\nEvery night, Quby uploads a file containing energy 
58
thermostat\r\n\r\nEvery night, Quby uploads a file containing energy 
            
59
consumption data from Alexander de Grotelaan I, II, III and IV, 
59
consumption data from Alexander de Grotelaan I, II, III and IV, 
            
60
Columbuslaan II and Rooseveldlaan I and II to a Amazon S3 bucket. 
60
Columbuslaan II and Rooseveldlaan I and II to a Amazon S3 bucket. 
            
61
Theses data contain average electricity delivered (from net to 
61
Theses data contain average electricity delivered (from net to 
            
62
connection) and electricity received (from connection to net) for two 
62
connection) and electricity received (from connection to net) for two 
            
63
tariffs (low and normal tariff) at 15 minute intervals. In addition to 
63
tariffs (low and normal tariff) at 15 minute intervals. In addition to 
            
64
the average, the files contain the standard deviation and the number 
64
the average, the files contain the standard deviation and the number 
            
65
of connections involved in calculating the average and standard 
65
of connections involved in calculating the average and standard 
            
66
deviation values. The dataset does not contain energy generated, and 
66
deviation values. The dataset does not contain energy generated, and 
            
67
can thus not be used to calculate energy consumption. To work around 
67
can thus not be used to calculate energy consumption. To work around 
            
68
this issue, energy generated by Columbuslaan I (downloaded from the 
68
this issue, energy generated by Columbuslaan I (downloaded from the 
            
69
myBeNext API) is used to estimate energy generation by the other 
69
myBeNext API) is used to estimate energy generation by the other 
            
70
apartment buildings.  \r\n\r\nThe S3 file should contain four rows per 
70
apartment buildings.  \r\n\r\nThe S3 file should contain four rows per 
            
71
hour for each apartment building/variable combination. In the picture 
71
hour for each apartment building/variable combination. In the picture 
            
72
below, hours for which this is not the case have been marked red. This 
72
below, hours for which this is not the case have been marked red. This 
            
73
is probably due to the fact that there are no households producing 
73
is probably due to the fact that there are no households producing 
            
74
data for that timestamp/variable. If all variables are missing for a 
74
data for that timestamp/variable. If all variables are missing for a 
            
75
timestamp, this will lead to a missing data point  in this dataset. If 
75
timestamp, this will lead to a missing data point  in this dataset. If 
            
76
at least one variable is present for a timestamp, the missing ones 
76
at least one variable is present for a timestamp, the missing ones 
            
77
will be zero. \r\n\r\n![Missing data in S3 
77
will be zero. \r\n\r\n![Missing data in S3 
            
78
47dd-84ba-b508e1b24aa1/download/missing_rows_in_s3_file.png)\r\n\r\n## 
78
47dd-84ba-b508e1b24aa1/download/missing_rows_in_s3_file.png)\r\n\r\n## 
            
79
myBeNext API\r\n\r\nEvery hour, quarterly data is being downloaded 
79
myBeNext API\r\n\r\nEvery hour, quarterly data is being downloaded 
            
80
from the myBeNext API for two apartment buildings: Henriettedreef and 
80
from the myBeNext API for two apartment buildings: Henriettedreef and 
            
81
Columbuslaan I. For Henriettedreef, data regarding electricity 
81
Columbuslaan I. For Henriettedreef, data regarding electricity 
            
82
delivered, electricity returned and electricity produced is collected. 
82
delivered, electricity returned and electricity produced is collected. 
            
83
This information is available at the level of the individual 
83
This information is available at the level of the individual 
            
84
connections, but this information is never stored in the dataset. The 
84
connections, but this information is never stored in the dataset. The 
            
85
dataset contains the sum for the entire apartment building. \r\n\r\n## 
85
dataset contains the sum for the entire apartment building. \r\n\r\n## 
            
86
Access the data\r\n\r\n### CKAN datastore API\r\n\r\nThe data can be 
86
Access the data\r\n\r\n### CKAN datastore API\r\n\r\nThe data can be 
            
87
downloaded from the CKAN resource included in this package. Because of 
87
downloaded from the CKAN resource included in this package. Because of 
            
88
the size of the dataset, downloading the entire dataset in one go will 
88
the size of the dataset, downloading the entire dataset in one go will 
            
89
probably fail due to time outs. The CKAN datastore API can be used to 
89
probably fail due to time outs. The CKAN datastore API can be used to 
            
90
download the dataset in parts.Example code how that can be done can be 
90
download the dataset in parts.Example code how that can be done can be 
            
91
found [here](https://github.com/CivityNL/Snuffelfiets-examples). To be 
91
found [here](https://github.com/CivityNL/Snuffelfiets-examples). To be 
            
92
able to run this code, you will need a resource identifier (in this 
92
able to run this code, you will need a resource identifier (in this 
            
93
case energy_consumption_observed_cepontod) and (in case of a private 
93
case energy_consumption_observed_cepontod) and (in case of a private 
            
94
dataset) an API key. You can find your API key by logging in to CKAN 
94
dataset) an API key. You can find your API key by logging in to CKAN 
            
95
and clicking on your username in the top right corner of the page. You 
95
and clicking on your username in the top right corner of the page. You 
            
96
will then find your API key on the left. \r\n\r\n### FIWARE 
96
will then find your API key on the left. \r\n\r\n### FIWARE 
            
97
ContextBroker\r\n\r\nThe [get 
97
ContextBroker\r\n\r\nThe [get 
            
98
nl//smart-thermostat/orion/v2/entities?type=EnergyConsumptionObserved) 
98
nl//smart-thermostat/orion/v2/entities?type=EnergyConsumptionObserved) 
            
99
gets the current state of the different enties. It provides a list of 
99
gets the current state of the different enties. It provides a list of 
            
100
a) the entities and b) the attributes which can be used to compile 
100
a) the entities and b) the attributes which can be used to compile 
            
101
requests for the Short Term History API. \r\n\r\n### Short Term 
101
requests for the Short Term History API. \r\n\r\n### Short Term 
            
102
History API\r\n\r\nThe Short Term History (STH) API provides access to 
102
History API\r\n\r\nThe Short Term History (STH) API provides access to 
            
103
historical information for the different entities in both raw and 
103
historical information for the different entities in both raw and 
            
104
aggregated form. \r\n\r\n[Columbuslaan II, electricity consumed, raw 
104
aggregated form. \r\n\r\n[Columbuslaan II, electricity consumed, raw 
            
105
=EnergyConsumptionObserved&lastN=100&count=false)\r\n\r\n[Columbuslaan 
105
=EnergyConsumptionObserved&lastN=100&count=false)\r\n\r\n[Columbuslaan 
            
106
II, electricity delivered, aggregated values per month between January 
106
II, electricity delivered, aggregated values per month between January 
            
107
1, 2022 and January 1, 
107
1, 2022 and January 1, 
            
108
.0%2B02%3A00&dateTo=2023-01-01T00%3A00%3A00.0%2B02%3A00&count=false)",
108
.0%2B02%3A00&dateTo=2023-01-01T00%3A00%3A00.0%2B02%3A00&count=false)",
            
n
109
  "num_resources": 2,
n
109
  "num_resources": 3,
            
110
  "num_tags": 0,
110
  "num_tags": 0,
            
111
  "organization": {
111
  "organization": {
            
112
    "approval_status": "approved",
112
    "approval_status": "approved",
            
113
    "created": "2020-10-06T13:54:05.559242",
113
    "created": "2020-10-06T13:54:05.559242",
            
114
    "description": "Gemeente Utrecht organisatie aangemaakt om IRIS 
114
    "description": "Gemeente Utrecht organisatie aangemaakt om IRIS 
            
115
Utrecht data te kunnen publiceren.",
115
Utrecht data te kunnen publiceren.",
            
116
    "id": "c24f840a-2cbd-417b-8655-665e72a8366c",
116
    "id": "c24f840a-2cbd-417b-8655-665e72a8366c",
            
117
    "image_url": 
117
    "image_url": 
            
118
1-07-29-123833.980283logo-gemeente-utrecht-nederlands-groot-1200.png",
118
1-07-29-123833.980283logo-gemeente-utrecht-nederlands-groot-1200.png",
            
119
    "is_organization": true,
119
    "is_organization": true,
            
120
    "name": "gemeente-utrecht",
120
    "name": "gemeente-utrecht",
            
121
    "state": "active",
121
    "state": "active",
            
122
    "title": "Gemeente Utrecht",
122
    "title": "Gemeente Utrecht",
            
123
    "type": "organization"
123
    "type": "organization"
            
124
  },
124
  },
            
125
  "owner_org": "c24f840a-2cbd-417b-8655-665e72a8366c",
125
  "owner_org": "c24f840a-2cbd-417b-8655-665e72a8366c",
            
126
  "private": false,
126
  "private": false,
            
127
  "relationships_as_object": [],
127
  "relationships_as_object": [],
            
128
  "relationships_as_subject": [],
128
  "relationships_as_subject": [],
            
129
  "resources": [
129
  "resources": [
            
130
    {
130
    {
            
131
      "cache_last_updated": null,
131
      "cache_last_updated": null,
            
132
      "cache_url": null,
132
      "cache_url": null,
            
133
      "created": "2020-10-23T09:48:15.576528",
133
      "created": "2020-10-23T09:48:15.576528",
            
134
      "datastore_active": true,
134
      "datastore_active": true,
            
135
      "description": "Energy consumption at building level",
135
      "description": "Energy consumption at building level",
            
136
      "format": "",
136
      "format": "",
            
137
      "hash": "",
137
      "hash": "",
            
138
      "id": "energy_consumption_observed_cepontod",
138
      "id": "energy_consumption_observed_cepontod",
            
139
      "last_modified": null,
139
      "last_modified": null,
            
140
      "license_id": "notspecified",
140
      "license_id": "notspecified",
            
141
      "mimetype": null,
141
      "mimetype": null,
            
142
      "mimetype_inner": null,
142
      "mimetype_inner": null,
            
143
      "name": "Energy consumption observed",
143
      "name": "Energy consumption observed",
            
144
      "package_id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
144
      "package_id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
            
145
      "position": 0,
145
      "position": 0,
            
146
      "resource_type": null,
146
      "resource_type": null,
            
147
      "state": "active",
147
      "state": "active",
            
148
      "url": 
148
      "url": 
            
149
.dataplatform.nl/datastore/dump/energy_consumption_observed_cepontod",
149
.dataplatform.nl/datastore/dump/energy_consumption_observed_cepontod",
            
150
      "url_type": "datastore"
150
      "url_type": "datastore"
            
151
    },
151
    },
            
152
    {
152
    {
            
153
      "cache_last_updated": null,
153
      "cache_last_updated": null,
            
154
      "cache_url": null,
154
      "cache_url": null,
            
155
      "created": "2022-08-25T18:52:26.742432",
155
      "created": "2022-08-25T18:52:26.742432",
            
156
      "datastore_active": false,
156
      "datastore_active": false,
            
157
      "description": "Energy consumption observed picture",
157
      "description": "Energy consumption observed picture",
            
158
      "download_url": "",
158
      "download_url": "",
            
159
      "format": "PNG",
159
      "format": "PNG",
            
160
      "geonetwork_url": "",
160
      "geonetwork_url": "",
            
161
      "hash": "dd7674202866412ff06c4d658f21031aec99d4e9",
161
      "hash": "dd7674202866412ff06c4d658f21031aec99d4e9",
            
162
      "id": "4df5ddde-4320-49d2-b9e1-6d9a962b2c4b",
162
      "id": "4df5ddde-4320-49d2-b9e1-6d9a962b2c4b",
            
163
      "language": 
163
      "language": 
            
164
"http://publications.europa.eu/resource/authority/language/NLD",
164
"http://publications.europa.eu/resource/authority/language/NLD",
            
165
      "last_modified": "2022-08-25T18:52:26.364364",
165
      "last_modified": "2022-08-25T18:52:26.364364",
            
166
      "layer_extent": "",
166
      "layer_extent": "",
            
167
      "linked_schemas": "",
167
      "linked_schemas": "",
            
168
      "metadata_language": 
168
      "metadata_language": 
            
169
"http://publications.europa.eu/resource/authority/language/NLD",
169
"http://publications.europa.eu/resource/authority/language/NLD",
            
170
      "mimetype": "image/png",
170
      "mimetype": "image/png",
            
171
      "mimetype_inner": null,
171
      "mimetype_inner": null,
            
172
      "name": "Energy consumption observed picture",
172
      "name": "Energy consumption observed picture",
            
173
      "package_id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
173
      "package_id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
            
174
      "position": 1,
174
      "position": 1,
            
175
      "resource_status": "http://purl.org/adms/status/Completed",
175
      "resource_status": "http://purl.org/adms/status/Completed",
            
176
      "resource_type": null,
176
      "resource_type": null,
            
177
      "rights": "",
177
      "rights": "",
            
178
      "size": 10567,
178
      "size": 10567,
            
179
      "state": "active",
179
      "state": "active",
            
180
      "timestamp_identifier": "",
180
      "timestamp_identifier": "",
            
181
      "url": 
181
      "url": 
            
182
4320-49d2-b9e1-6d9a962b2c4b/download/energy_consumption_observed.png",
182
4320-49d2-b9e1-6d9a962b2c4b/download/energy_consumption_observed.png",
            
183
      "url_type": "upload",
183
      "url_type": "upload",
            
184
      "wfs_url": "",
184
      "wfs_url": "",
            
185
      "wms_url": ""
185
      "wms_url": ""
            
t
t
186
    },
            
187
    {
            
188
      "cache_last_updated": null,
            
189
      "cache_url": null,
            
190
      "created": "2022-08-25T18:54:14.956754",
            
191
      "datastore_active": false,
            
192
      "description": "The S3 file should contain for rows per hour for 
            
193
each apartment building/variable combination. In this picture, hours 
            
194
for which this is not the case have been marked red.",
            
195
      "download_url": "",
            
196
      "format": "PNG",
            
197
      "geonetwork_url": "",
            
198
      "hash": "a1929594d58f6f9d776d811c757ca9398ea2dde2",
            
199
      "id": "320177c1-1587-49d4-b3cf-e1c8fc1358e8",
            
200
      "language": 
            
201
"http://publications.europa.eu/resource/authority/language/NLD",
            
202
      "last_modified": "2022-08-25T18:54:14.610856",
            
203
      "layer_extent": "",
            
204
      "linked_schemas": "",
            
205
      "metadata_language": 
            
206
"http://publications.europa.eu/resource/authority/language/NLD",
            
207
      "mimetype": "image/png",
            
208
      "mimetype_inner": null,
            
209
      "name": "Example of missing rows in S3 file",
            
210
      "package_id": "ff31cc71-49d9-4e01-9825-68f8f38efe93",
            
211
      "position": 2,
            
212
      "resource_status": "http://purl.org/adms/status/Completed",
            
213
      "resource_type": null,
            
214
      "rights": "",
            
215
      "size": 120685,
            
216
      "state": "active",
            
217
      "timestamp_identifier": "",
            
218
      "url": 
            
219
7c1-1587-49d4-b3cf-e1c8fc1358e8/download/missing_rows_in_s3_file.png",
            
220
      "url_type": "upload",
            
221
      "wfs_url": "",
            
222
      "wms_url": ""
            
186
    }
223
    }
            
187
  ],
224
  ],
            
188
  "state": "active",
225
  "state": "active",
            
189
  "tags": [],
226
  "tags": [],
            
190
  "title": "Energy consumption observed",
227
  "title": "Energy consumption observed",
            
191
  "type": "dataset",
228
  "type": "dataset",
            
192
  "url": null,
229
  "url": null,
            
193
  "version": ""
230
  "version": ""
            
194
}
231
}